En tant que Data Engineer, vos principales responsabilités incluront :
Optimisation et migration des jobs existants : Optimiser des jobs déjà en place et migrer ceux écrits en Hive vers Spark pour améliorer leurs performances.
Modification et ajustement des workflows : Adapter les workflows actuels pour répondre aux nouvelles exigences des partenaires.
Tuning des applications Spark : Effectuer des ajustements techniques pour améliorer les performances des applications Spark.
Création et développement de nouveaux jobs : Concevoir et développer de nouveaux jobs de bout en bout en réponse aux besoins clients.
Développement de backend : Développer de nouveaux backends afin de faire évoluer la stack technique du train SAFe PNS.
Résultats attendus :
Amélioration significative des performances grâce à la migration vers Spark.
Refonte de l'architecture de certains jobs permettant de détecter et corriger des problèmes des anciennes versions.
Création de jobs répondant aux nouvelles attentes des clients dans les délais impartis.
Profil candidat:
Expérience professionnelle : Minimum de 2 ans en tant que Data Engineer.
Compétences techniques :
Langages : Spark, Python, Scala, Hadoop.
Logiciels : Elasticsearch, Cassandra, Airflow, Opensearch, GCP.
Méthodes de travail : Agile, SAFe, SCRUM.
Compétences supplémentaires : Capacité à travailler en équipe, esprit analytique, autonomie et sens de l'initiative.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.