Description du poste
Dans le cadre d’une mission dans les métiers de l'Énergie, notre équipe, Segula Transform spécialisée dans les projets IA, recherche un(e) Data Engineer Senior pour effectuer l’ingestion de données via des Step Functions utilisant Glue et Lambda. Le candidat sera amené à optimiser l’ingestion en utilisant PySpark et les bonnes pratiques (caching, persist, partitioning, inférence des schémas, etc.). Il devra également maintenir et/ou mettre en place des politiques de qualité des données, développer avec une approche modulaire en encapsulant ces environnements.
Vos missions :
* Effectuer l’ingestion de données via des Step Functions utilisant Glue et Lambda.
* Optimiser l’ingestion de données en utilisant PySpark et les bonnes pratiques.
* Maintenir et mettre en place des politiques de qualité des données.
* Développer avec une approche modulaire en encapsulant les environnements.
* Orchestrer les différents pipelines d’ingestion avec une maîtrise des commandes Git.
* Développer des fonctionnalités telles que des fonctions enrichissantes ou de monitoring des données, et mettre en place de nouveaux logs.
* Assurer les tests de validation techniques, incluant la mise en place de tests unitaires et de tests d’intégration.
* Livrer la documentation technique (schémas, types, tables, processus d’évolution des tables).
* Vérifier et valider les nouvelles versions du code (maîtrise de Git, utilisation des branches Git dans Databricks serait un plus).
* Contribuer activement à l'édification de l'équipe Machine Learning Engineer.
Qualifications
* Diplôme de niveau bac+5 en Data Science ou Informatique.
* Une expérience de 6 ans minimum en Data engineering.
* Expérience dans l'utilisation des GitHub Actions avec des multibranches, triggers, if conditions, workflows, et jobs.
* Maîtrise des technologies AWS : EC2, S3, Lambda, Step Functions, CloudWatch.
* Expérience avec Glue pour l’ingestion de données.
* Maîtrise de Python et PySpark.
* Connaissance de Checkmarx et SonarQube pour veiller à la qualité du code.
* Esprit proactif
Compétences supplémentaires appréciées :
* Connaissance de AWS SNS, Inspector, Secret Manager, Athena pour requêter les données.
Si vous êtes passionné par le data engineering et que vous souhaitez rejoindre une équipe dynamique, nous serons ravis de recevoir votre candidature !
Informations supplémentaires
Chez SEGULA Technologies, diversité, équité et inclusion sont au cœur de notre politique RH. Nos métiers sont ouverts à tous et toutes, sans considération de genre, d‘origine sociale et culturelle, d’orientation sexuelle, de convictions religieuses ou de handicap et ce, quelle que soit la nature de celui-ci.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.