Le groupe EDF est une entreprise innovante et leader en France de la production et la fourniture d’énergie. Le groupe compte parmi les premiers producteurs d’électricité bas carbone au monde. Acteur clé de la lutte contre le réchauffement climatique, EDF participe activement à la décarbonation des usages.
Curiosity est une solution logicielle expérimentale mise au point par la R&D d’EDF qui sert à ses utilisateurs via une IHM Web et une API Python, un grand volume de données hétérogènes et historisées, enregistrées sur les sites de production du parc nucléaire, allant de l’ensemble des mesures des capteurs aux comptes rendus des interventions.
Objectifs du stage
De nombreux indexes aux performances optimisées sont construits et mis à jour quotidiennement par un processus ETL reposant sur l’orchestrateur de flux Airflow, rendant possible des études big data sur des données récentes.
Le référentiel des capteurs installés dans toutes les unités de production du parc nucléaire joue un rôle central dans le requêtage des données par les utilisateurs puisque toute recherche commence par la sélection d’un périmètre de sites, de tranches, de capteurs. Le processus d’indexation de ce référentiel a été développé à l’origine du projet dans l’application Web, écrite en Java. L’objectif est de s’approprier sa logique fonctionnelle et de le développer en tant que traitement Python orchestré dans Airflow en s’assurant que son contenu est correct et complet.
Le/la stagiaire sera intégré(e) dans l’équipe projet et contribuera au développement des flux de données qui alimentent les bases de données, servies par Curiosity. Pour atteindre les objectifs, le stagiaire sera amené à travailler sur différentes tâches (en fonction de l’avancée du projet et du stage) :
* Analyser le type de données manipulées,
* Analyser l’alimentation des bases de données via l’orchestrateur de flux Airflow,
* Développer des nouveaux flux dans l’orchestrateur Airflow, en priorité celui d’indexation des données de recherche,
* Rédiger les tests et la documentation,
* Assurer la mise en production,
* Assurer la cohérence de l’environnement de l’orchestrateur,
* Améliorer la performance des flux.
Mots-clés : Indexation de données, Elasticsearch, traitement de données, langage Python, Java, SQL, orchestration, Airflow, réacteur nucléaire, Big Data
#J-18808-Ljbffr
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.