Stage - extension d'un framework de datascience pour supporter de multiples formats de données f/h

About the Role

"Vous rêvez de contribuer à un projet open source autour de l'IA, rejoignez-nous !" Bruno, Manager

Avec Khiops, l'apprentissage automatique sur des données tabulaires devient un jeu d'enfant. Ce stage consiste à étudier le format Parquet qui permet un accès rapide aux données et à déterminer les évolutions nécessaires de l'interface d'entrée/sortie de Khiops pour permettre son intégration.

Le principal verrou est la nature compressée et structurée du format Parquet, tandis que Khiops manipule habituellement des fichiers de type CSV au format texte. Cette différence de format implique qu'il faudra chercher des solutions afin que Khiops puisse accéder aléatoirement et efficacement au contenu, mais également bénéficier des métadonnées contenues dans les fichiers Parquet afin de convertir correctement les enregistrements.

Dans un premier temps, le support de ce format sera prototypé sous forme de module indépendant, afin de valider la faisabilité de l'extraction des informations nécessaires à Khiops. Ce module s'appuiera sur le SDK Apache Arrow et pourra servir de base à l'implémentation finale. Dans une seconde phase, il s'agira de faire évoluer le composant chargé de l'interfaçage avec les différents services de stockage des principaux clouds (Google, Amazon, Azure) afin de permettre toutes les combinaisons [cloud x format de données], ceci afin de permettre l'intégration future de nouveaux formats de données.


About You

Profil souhaité :

• BAC + 5, Master informatique ou école d'ingénieur.

Compétences :

* Connaissances en C/C++
* Génie logiciel
* Une connaissance du Big Data et des stockages associés serait un plus

"Ce stage dans un cadre exceptionnel est une opportunité de découvrir une magnifique région, à 5 km de la mer, pour pratiquer des sports nautiques ou sous-marins. Il faut avoir son permis B obligatoirement !" Bruno, Manager

#J-18808-Ljbffr