Ingénieur (h/f) en apprentissage de llm

Informations générales

Intitulé de l'offre : Ingénieur (H/F) en apprentissage de LLM
Référence : UMR7503-CHRCER-003
Nombre de Postes : 1
Lieu de travail : VANDOEUVRE LES NANCY
Date de publication : vendredi 28 février 2025
Type de contrat : IT en contrat CDD
Durée du contrat : 24 mois
Date d'embauche prévue : 31 mars 2025
Quotité de travail : Complet
Rémunération : Brut mensuel entre 2491,65€ et 2658,46€ ajustable selon expériences
Niveau d'études souhaité : BAC+3/4
Expérience souhaitée : Indifférent
BAP : E - Informatique, Statistiques et Calcul scientifique
Emploi type : Ingénieur-e en calcul scientifique

Missions

- Entraîner des grands modèles de langage (LLM) textuels et/ou multimodaux sur un cluster de GPU
- Scrapper, collecter, nettoyer, filtrer, compiler, le tout semi-automatiquement, de grandes collections de données pour l'apprentissage des LLM
- Contribuer aux activités de recherche pour améliorer la qualité des LLM et aux activités de gestion du projet BPI OpenLLM (réunions, rédaction de

Activités

- programmation python: adaptation et amélioration de LLM pré-entraînés (par ex. Qwen2.5, Llama3.1,
- programmation shell: écriture de scripts d'entraînement de LLMs (par ex. via les librairies SLURM, deepspeed, llamafactory, transformers,
- réunions avec une équipe de chercheurs pour proposer des améliorations des LLM
- réunions avec une équipe d'ingénieurs/doctorants/stagiaires pour gérer les campagnes d'apprentissage sur cluster de GPU
- réunions avec les partenaires du projet OpenLLM pour suivre le projet
- rédactions de rapports de projet et d'articles scientifiques en anglais et en français

Compétences

- Maîtrise de python et du shell linux
- Connaissances de base en apprentissage profond et sur les LLM
- Des connaissances sur l'apprentissage sur cluster de GPU (avec SLURM), et/ou sur le TAL (traitement du langage naturel) sont bienvenues et sont un plus au dossier
- Savoir bien communiquer (oral et écrit) en français et en anglais
- Esprit d'équipe, d'initiative, et engagement dans la mission

Contexte de travail

- Lieu de travail: laboratoire LORIA à Nancy au sein de l'équipe de recherche Mosaik
- Le poste prend place dans le cadre du projet de recherche collaborative OpenLLM financé par la BPI