Data engineer databricks senior

Profil recherché : Data Engineer Databricks Senior

Contexte de la mission : Nous recherchons un Data Engineer Databricks qui interviendra au sein de l'équipe Data Office. Sa mission s'articulera autour de 2 grands axes :
· Concevoir, développer et maintenir des pipelines de données robustes et évolutifs sur la plateforme Databricks.

· Assurer l'intégrité, la fiabilité et la performance des flux de données dans l'environnement Databricks.

Tâches à réaliser :
· Développement de pipelines de données :

Créer et optimiser des pipelines ETL/ELT pour l'extraction, la transformation et le chargement des données.
Utiliser des outils et des technologies appropriés sur la plateforme Databricks (Spark, Delta Lake, etc.).
· Modélisation de données :

Concevoir des modèles de données efficaces pour répondre aux besoins métier.
Collaborer avec les équipes métier pour comprendre les exigences et les traduire en structures de données appropriées.
· Optimisation des performances :

Identifier et résoudre les problèmes de performance des requêtes et des jobs de traitement des données.
Mettre en œuvre des stratégies d'optimisation pour améliorer les temps de traitement et réduire les coûts.
· Gestion des environnements et des outils :

Configurer et maintenir les clusters Databricks pour assurer la disponibilité et la sécurité des données.
Collaborer avec les équipes DevOps pour gérer les déploiements et les mises à jour des environnements Databricks.
· Documentation et support :

Documenter les architectures de données, les flux de travail et les processus.
Fournir un support technique aux équipes internes pour résoudre les problèmes liés à Databricks.


Profil :
Compétences recherchées :

Obligatoires :
Maîtrise (niveau Expert) Databricks
Maîtrise (niveau Intermédiaire) SAP, modélisation
Solides compétences en programmation (Python, Scala, SQL).
Expérience avancée avec Apache Spark et les concepts associés (RDDs, DataFrames, Spark SQL).
Connaissance approfondie des architectures de données, des bases de données et des systèmes de traitement distribué.
Diplôme en informatique, en ingénierie des données ou dans un domaine connexe.

Optionnelles :
Agile, Contexte Indus

Langues : Français, Anglais B1