Ce stage a porté sur la conception et la mise en œuvre d’un observatoire mondial de la faune marine (cétacés, oiseaux marins, tortues, poissons) à partir des données hétérogènes d’OBIS-SEAMAP.
Le travail s’est articulé autour de deux axes majeurs :
1-L’ingestion et la valorisation des données (Modern Data Stack) : Développement d’un pipeline ETL automatisé sous Apache Airflow (Docker Compose) réalisant le nettoyage biologique, le calcul géospatial de l’effort de recherche (CPUE) pour corriger les biais d’observation, et la structuration en schéma en étoile sur Google BigQuery avec dbt pour alimenter un Dashboard interactif Streamlit.
2-L’extension intelligente (IA Générative / Systèmes Multi-Agents) : Conception d’une architecture multi-agents autonomes pour gérer de manière adaptative l’alignement sémantique des colonnes (Schema Mapping via Pandera), l’analyse exploratoire (EDA), et automatiser la demande et l’ingestion asynchrone des données à accès restreint par e-mail (Human-in-the-loop).