Pour nous accompagner dans notre croissance, nous sommes ravis d’ouvrir une opportunité pour un(e) Senior Data Engineer/Architect motivé(e) à rejoindre notre équipe dynamique et jouer un rôle crucial dans la définition de l'avenir de la stratégie de données d'EFOR.
À propos de votre rôle :
En tant que Senior Data Architect, vous jouerez un rôle clé dans la consolidation de notre infrastructure de données, en développant une architecture de données à la fois moderne et alignée sur nos objectifs stratégiques. Votre expertise sera cruciale pour piloter la gouvernance des données, garantissant leur conformité, leur qualité et leur facilité d'accès.
Vous serez responsable de la gestion des pipelines de données, notamment des transformations entre les couches Bronze (brutes), Silver (nettoyées et structurées) et Gold (transformations business), en utilisant les outils de Microsoft Fabrics. Votre expertise en traitement des données, optimisation des performances et gouvernance sera essentielle pour garantir une infrastructure robuste et performante.
Dans le contexte de notre stratégie de croissance externe, vous serez également chargé(e) d'intégrer les données issues des nouvelles entités acquises, en assurant une fusion fluide et cohérente avec notre écosystème existant.
En tant que Senior Data Engineer/Architect, vos enjeux seront les suivants :
1. Conception et mise en œuvre de pipelines de données :
* Concevoir, développer et optimiser des pipelines ETL/ELT pour transformer les données de la couche Bronze vers la couche Silver, en utilisant les outils de Microsoft Fabric (Dataflows Gen2, Notebooks Spark, Pipelines).
* Automatiser les workflows pour garantir la fiabilité et la reproductibilité des traitements de données.
2. Transformation des données :
* Nettoyer et structurer les données brutes (suppression des doublons, gestion des valeurs manquantes, validation des types de données).
* Effectuer des transformations avancées (jointures, enrichissements, colonnes calculées) pour produire des données prêtes à l’analyse.
* Assurer la conversion des données dans des formats optimisés (Parquet, Delta Lake) et leur partitionnement pour améliorer les performances.
3. Collaboration et documentation :
* Travailler en étroite collaboration avec les équipes Data Science, BI et métier pour comprendre leurs besoins et concevoir des solutions adaptées.
* Documenter les architectures, les pipelines et les transformations pour assurer leur maintenabilité.
* Former et accompagner les équipes sur les outils et bonnes pratiques liés à Microsoft Fabrics.
4. Intégration des données issues de nouvelles entités :
* Assurer une intégration fluide des données provenant des entreprises acquises.
* Harmoniser et structurer les données pour garantir leur cohérence avec les systèmes existants.
Prérequis:
* Une solide formation académique avec un diplôme en informatique, ingénierie, science des données ou un domaine technique connexe.
* Expérience avérée (5 ans min) dans la conception de pipelines de données et la gestion de projets de données à grande échelle, idéalement dans un environnement cloud Azure.
* Expertise dans les outils de Microsoft Fabric : Dataflows Gen2, Notebooks Spark, Pipelines, SQL Endpoints, OneLake.
* Maîtrise des langages SQL, Python et/ou Scala pour les traitements de données.
* Connaissance approfondie des formats de données (Parquet, JSON, CSV) et des frameworks comme Apache Spark.
* Une maîtrise de l'anglais, à l'écrit comme à l'oral.
* Être basé(e) à Paris ou Lyon.
Rejoignez-nous dans cette aventure visant à devenir un leader global du conseil spécialisé en sciences de la vie. Nous sommes enthousiastes à l'idée d'intégrer un(e) Senior Data Engineer/Architect.
Nous avons hâte de vous rencontrer !
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.