Description du poste
Nous recherchons un data engineer Hadoop / Spark / Scala. Vous jouerez un rôle clé dans l’évolution et la gestion des plateformes Big Data. Vous intégrerez une équipe dédiée et évoluerez dans un environnement agile, en interaction avec les équipes techniques et métiers.
Vos missions :
* Gérer la production et la dette technique du RiskLake.
* Revoir l’architecture actuelle et proposer des évolutions.
* Développer des pipelines d’ingestion et de traitement des données (batch & streaming).
* Assurer la collecte, la transformation et la mise à disposition des données aux équipes métiers.
* Mettre en place et industrialiser les traitements sur les données (ex : tableaux de bord, intégration de modèles statistiques).
* Développer et optimiser des jobs Spark / PySpark pour le traitement des données.
* Implémenter des API et des mécanismes de restitution (génération de fichiers, dashboarding).
* Participer à l’installation, administration et configuration des clusters Hadoop.
* Normaliser et agréger les données afin de produire des Business Views exploitables.
* Mettre en place des pipelines CI/CD et des scripts d’automatisation.
Environnement technique :
* Big Data & Traitement : Spark, PySpark, Scala, Hadoop (on-premise), Hive, HQL
* Stockage & Bases de données : Starburst, Indexima, SQL
* Développement & Automatisation : Unix/Bash, Jenkins, XLDeploy, XLRelease
* Orchestration & Monitoring : Jira, CI/CD, Spring Boot
* Streaming & API : Kafka, ingestion et restitution des données via API
Qualifications
* Titulaire d'un Bac +5 en informatique ou équivalent, vous justifiez d'au moins 3 ans d'expérience en tant que Data Engineer avec une expertise en Big Data & Hadoop.
* Bonne maîtrise de Spark, PySpark, Scala et des environnements on-premise.
* Connaissance approfondie des outils SQL/HQL, Hive, Starburst, Indexima.
* Expérience en développement et automatisation de pipelines CI/CD.
* Capacité à travailler en équipe agile et en interaction avec les métiers.
* Sens de l’analyse, autonomie et rigueur.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.