Data engineer (h/f)

🏢 Service / Département : Data & IT
📍 Localisation : Pornic / Sur site ou hybride
🛠 Statut : CDI

Description du poste

Mission principale

Concevoir, optimiser et automatiser les pipelines de données afin de structurer la gestion des données dans l'entreprise et d'accompagner la création d'une plateforme data en collaboration avec un prestataire.

Responsabilités et activités principales

Responsabilité 1 : Développement et maintenance des pipelines de données
● Activité 1.1 : Concevoir et implémenter des flux ETL/ELT pour intégrer différentes sources de données (API, bases de données relationnelles, …).
● Activité 1.2 : Assurer la qualité, la cohérence, la modélisation et l'historisation des données dans la plateforme data.

Responsabilité 2 : Collaboration avec les équipes IT et Data
● Activité 2.1 : Travailler avec l'équipe IT pour assurer l'intégration et la sécurité des bases de données et des processus DevOps & CI/CD.
● Activité 2.2 : Collaborer avec l'équipe Data pour fournir des datasets propres et exploitables, tout en mettant en place un système de versionning des données avec Git.

Responsabilité 3 : Accompagnement dans la mise en place de la plateforme data
● Activité 3.1 : Travailler conjointement avec l'équipe Data et le prestataire pour développer l'architecture data et assurer son intégration technique.
● Activité 3.2 : Participer au transfert de compétences pour limiter la dépendance externe et documenter les processus mis en place.

Responsabilité 4 : Optimisation et monitoring
● Activité 4.1 : Mettre en place un système de monitoring des pipelines.
● Activité 4.2 : Améliorer les performances des requêtes SQL et des traitements de données.

Responsabilité 5 : Contribution aux initiatives IA et MLOps
● Activité 5.1 : Assurer la mise en production et l'industrialisation des modèles de Machine Learning.
● Activité 5.2 : Mettre en place des pipelines MLOps pour automatiser l'entraînement et le déploiement des modèles (CI/CD, monitoring des performances, retraining).
● Activité 5.3 : Optimiser le stockage et le traitement des données utilisées par les modèles d'IA en assurant leur disponibilité et leur cohérence.

Profil :
Compétences et qualifications requises

Formation / Expérience

● 🎓 Bac+5 en Informatique, Big Data, ou équivalent.
● 📊 Expérience de 2 à 5 ans en tant que Data Engineer ou dans un rôle similaire.
● ➕ Expérience dans un contexte de structuration de la data appréciée.

Compétences techniques

1️⃣Maîtrise des langages SQL, Python (ou Scala).
2️⃣Expérience avec des bases de données relationnelles (PostgreSQL, MySQL) et NoSQL (MongoDB, Redis, etc.).
3️⃣Connaissance des outils ETL/ELT et d'orchestration.
4️⃣Bonne compréhension des Data Warehouses & architectures Cloud.
5️⃣Notions en DevOps & CI/CD pour l'automatisation des déploiements et versionning avec Git.

Langues

● 🌍 Français courant, anglais technique.

Compétences comportementales

● 💡 Capacité à travailler en équipe et à collaborer avec différents services.
● 🔍 Esprit analytique et résolution de problèmes.
● 📢 Bonne communication pour échanger avec les équipes.
● 🎯 Autonomie et organisation pour gérer plusieurs projets simultanément.

Profil du candidat

Savoir-être

✔️ Rigueur et organisation pour garantir la fiabilité des flux de données.
✔️ Esprit d'initiative pour proposer des solutions adaptées aux besoins métiers.
✔️ Adaptabilité dans un environnement en structuration.
✔️ Pédagogie pour accompagner les équipes internes sur les sujets data.