Dans le cadre de sa transformation digitale et de l?optimisation de son exploitation des données, notre client, un acteur bancaire majeur, recherche un Data Engineer Spark.
Votre mission consistera à concevoir, développer et optimiser des pipelines de données massives en exploitant Apache Spark sur une infrastructure distribuée. Vous serez chargé(e) de garantir la robustesse, la performance et la scalabilité des traitements de données tout en assurant leur intégration fluide avec les autres composants du data lake.
En lien avec les équipes Data Science et IT, vous interviendrez sur l?optimisation des traitements distribués, l?industrialisation des flux et l?automatisation des processus, afin d?améliorer la qualité et la disponibilité des données en production. Vous contribuerez également à la mise en place des meilleures pratiques en matière de Big Data Engineering et de gestion des performances des architectures distribuées.
Profil candidat:
Profil : Expérience confirmée dans le développement avec Apache Spark et le traitement distribué des données.
Les qualifications et compétences attendues incluent :
? Expertise en PySpark, Scala ou Java pour la manipulation et la transformation des données.
? Maîtrise des bases de données NoSQL (Cassandra, MongoDB) et relationnelles.
? Expérience en optimisation de la performance et tuning de Spark.
? Bonne connaissance des architectures Big Data et Cloud (AWS, GCP ou Azure).
? Capacité à concevoir des pipelines de données robustes et scalables.
? Anglais opérationnel requis.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.