Ingénieur/intégrateur data h/f

L’objectif principal de la mission est de concevoir, réaliser, superviser et maintenir les pipelines d’ingestion des usages data métier dans la Plateforme Data Groupe (PDG) de notre client, acteur du transport, principalement sous Spark.Le prestataire contribuera également aux travaux de développement des frameworks du socle, visant à fiabiliser ces activités, lors des sprints de l’équipe socle. Son expertise sera également associée à l’équipe en charge du MCO de la plateforme, qui doit être disponible sur la plage horaire : 08h30-19h00 du lundi au vendredi (5j/7j) et de la résolution des incidents applicatifs, en tant que niveau 3. 2.1 Périmètre de la prestation : Le représentant du Titulaire de la prestation assure, sous la responsabilité de la squad Plateforme Data Groupe, la réalisation et le bon fonctionnement des activités qui lui seront confiées.Il sera encadré par un architecte solution et les intervenants devops et data ingénieurs seniors de l’équipe. 2.2 Les activités entrantes dans le cadre de la prestation : Les principales missions à réaliser dans le cadre de cette prestation :• Concevoir et mettre en oeuvre des jobs d’ingestion de données structurées et non structurées, en batch ou temps réel• Fournir les traitements de modélisation, transformation, et exposition des données dans les zones de consommation• Faire en sorte que les traitements, en particulier les tests de cohérence fonctionnelle pour les pipelines des cas d’usages, contribuent à l’application des règles de qualité des données édictées par la gouvernance de la donnée -plateforme• Participer aux ateliers avec les projets jusqu’à la mise en service de l’application métier, pour fournir un support technique sur leur modélisation, puis assurer le suivi de la production• Vérifier la complétude des contrats d’interface fournis par la squad Projet L’intervenant est amené à réaliser les points suivants : • Optimiser des traitements Spark, le stockage, la consommation des ressources et des services• Opérationnaliser les pipelines data dans une approche devops, les documenter et contrôler leur qualité dans le temps, c’est-à-dire concevoir, programmer et tester les traitements jusqu’à la recette des développements (tests d’intégration, recette interne, recette du cas d’usage)• Mettre en place l’automatisation de certaines tâches de son périmètre, à l’aide des outils• Documenter les codes sources, les guides d’utilisation des traitements, les guides de maintenance des développements• Préparer les livraisons et la mise en production, recetter ses travaux d’intégration• Participer aux phases de VSR des applications métier sur le périmètre de responsabilité de la plateforme.• En tant que support expert N3, contribuer au MCO et résolution d’incidents des applications métier en production (maintenance corrective, préventive et évolutive), participer à l’analyse des root cause des dysfonctionnements, réaliser les actes de restauration du service, comme par exemple de relancer un traitement d’ingestion en erreur• Contribuer à l’amélioration des frameworks d’ingestion et d’exposition de la plateforme• Rapporter l’avancement à son responsable de squad. De manière générale, l’intervenant contribuera à l’activité de la squad :• Apporter son expertise de développeur• Contribuer à des PoC, des études ciblées• Participer aux suivis quotidiens et hebdomadaires de son équipe, en particulier les cérémonies Scrum Agile,• Réaliser des démos et présentations de ses activités• et plus généralement communiquer sur l’avancement de ses travaux avec les acteurs de la Data Factory

Les compétences mandatory sont les suivantes :

• Expérience d’au moins 5 ans dans le développement et l’amélioration continue d’applications, en vue de la création et monitoring de flux de données, en Spark, Scala / Python sur des clouds publics, de préférence AWS.
• Expérience d’intégration de données de sources et format différents, y compris JSON, Parquet vers une architecture distribuée.
• Une certification AWS et une expérience d’au moins 1 an de provisioning de ressources dans le cloud AWS,
• Une expérience d’au-moins un an sur les activités de MCO d’un socle technique Data et d’applications big data en production, de préférence en niveau N3. Utilisation d’outils de monitoring et tableaux de bord comme Grafana, Kibana ou Datadog.
• Intégrateur, réalisation de mises en production avec les technologies : Terraform, ou Jenkins, Docker ou Kubernetes
• Sur l’expérience de développeur, connaître les méthodes de conception, de recettes et de validation technique et fonctionnelle d’applications informatiques
• Compétences en optimisation de code (performance)
• Expérience de développement des API en temps réel ou d’appels à API extérieures
• L’intégration du titulaire au sein d’équipes Agiles (Scrum) assure sa connaissance des pratiques de la méthode.

Compétences complémentaires
– La pratique de Databricks est fortement recommandée.

.fusion-button.button-1 {border-radius:4px;}Postulez ici !