Data engineer f/h

Description du poste


MISSION :

Sous la responsabilité du Responsable Data Engineering, le Data Engineer est responsable de la conception, du développement, de l’optimisation et de l’intégration des pipelines de données nécessaires à l’analyse décisionnelle. Vous jouerez un rôle clé dans la mise en place de solutions pour transformer, nettoyer et valider les données, tout en assurant leur qualité tout au long de leur cycle de vie. Vous collaborerez étroitement avec les équipes de Data Science, les analystes et les autres ingénieurs pour garantir la fluidité du flux de données dans l’entreprise.

RESPONSABILITÉS :

1. Développement de Solutions d'Analyse et Décisionnel :

* Concevoir et développer des pipelines de données pour transformer et préparer les données en vue de l’analyse et de la prise de décision.
* Mettre en œuvre des modèles de données et des structures de base de données adaptées pour l’analyse et le reporting, tout en veillant à leur performance et scalabilité.
* Assurer la qualité et l'intégrité des données tout au long du processus, depuis leur collecte jusqu'à leur transformation en informations exploitables.
* Mettre en place des processus de nettoyage, de validation et de vérification des données pour garantir leur fiabilité.

2. Collaboration Inter-équipes :

* Collaborer avec les Data Scientists, Analystes de données et Ingénieurs pour comprendre leurs besoins spécifiques en matière de données et fournir des solutions adaptées.
* Travailler en étroite collaboration avec les équipes de développement pour intégrer les solutions d’analyse dans les produits et services de l’entreprise.
* Documenter les processus de transformation des données, les modèles de données et les pipelines afin de garantir une bonne traçabilité et une gestion transparente des flux de données.
* Fournir un support continu aux utilisateurs finaux sur l’utilisation des outils de data analytics et des rapports générés.

3. Technologies et Amélioration Continue :

* Utiliser et maintenir des outils et technologies de transformation de données, tels que dbt, Apache Spark, et autres outils modernes d’ingénierie des données.
* Mettre en place des processus d'automatisation des pipelines CI/CD en utilisant des outils comme GitHub Actions, GitLab CI/CD afin de garantir une intégration continue efficace.
* Identifier et proposer des opportunités d’optimisation dans le traitement et l’analyse des données pour améliorer l'efficacité et les performances des solutions BI.
* Participer activement à des projets d’innovation et d'amélioration continue pour faire évoluer les capacités d’analyse de l'entreprise.

Qualifications


PROFIL RECHERCHÉ :

Formation et expérience :

* Diplôme : Bac +3 minimum en informatique, science des données, ingénierie ou dans un domaine connexe. Un Master en Data Science ou Data Engineering est un atout.
* Expérience : Minimum de 5 ans d'expérience en ingénierie des données, analyse de données ou dans un rôle similaire.

Compétences techniques :

* Maîtrise du SQL : Solide expérience en SQL pour la gestion, l'intégration et la transformation des données.
* Modélisation de données : Expérience significative avec des outils de modélisation de données, notamment dbt Core et dbt Cloud.
* Outils de transformation de données : Bonne maîtrise des outils de transformation de données comme Apache Spark.
* Cloud computing : Compétences dans l’utilisation de plateformes cloud, notamment AWS, Azure, ou Google Cloud.
* Compétences en programmation : Maîtrise de Python ou R pour le traitement et l'analyse des données.
* Outils de visualisation : Connaissance des outils de visualisation de données comme Tableau, Power BI, ou Looker.
* CI/CD : Mise en place et gestion des pipelines CI/CD pour l’automatisation du flux de données à l’aide d’outils comme GitHub Actions et GitLab CI/CD.

Compétences personnelles :

* Compétences analytiques : Excellentes capacités à résoudre des problèmes complexes liés aux données.
* Autonomie et travail d’équipe : Capacité à travailler de manière autonome tout en collaborant efficacement avec les différentes équipes.
* Méthodes Agile : Expérience avec des méthodes Agile (préférablement Scrum ou Kanban) pour la gestion des projets et l’optimisation des processus de travail.
* Rigueur et souci du détail : Grande attention à la qualité et à la rigueur dans la gestion des données.
* Communication : Bonnes compétences en communication pour travailler avec les équipes transverses et expliquer des concepts techniques à des parties prenantes non techniques.