About the role
*Sujet du stage :
Conception d'une métrique automatique pour l'évaluation des textes générés.
*Contexte :
De nombreuses mesures automatiques ont été proposées pour évaluer les capacités génératives des modèles de langage [1, 4-6, entre autres]. Cependant, la plupart de ces études se concentrent principalement sur l'anglais, ce qui limite leur applicabilité à d'autres langues. Afin d'améliorer la couverture linguistique, nous visons à développer une métrique automatique spécifique au français.
Durant ce stage, vous explorerez la littérature existante et les différentes approches pour créer des métriques automatiques, par exemple les méthodes de type Likert [1] et les méthodes basées sur l'empan [2,3]. L'accent sera mis sur le développement d'une métrique pour évaluer les textes générés par les grands modèles de langage (LLM). Les principales étapes consisteront à créer un corpus d'entraînement, à finetuner le modèle et à effectuer des évaluations. La métrique finale sera comparée à des évaluateurs basés sur des LLM en utilisant des ensembles de données internes et publiques.
Ce stage fait partie d'un programme de recherche consacré au traitement du langage naturel et à la modélisation de langage, couvrant des domaines tels que la modélisation du dialogue, le fine-tuning, la distillation des connaissances et l'analyse sémantique. Vous travaillerez dans un environnement collaboratif avec des collègues travaillant sur des sujets connexes.
*Vous participerez aux principales missions de :
- Création de données synthétiques : construction d'un corpus d'entraînement
- Fine-tuning supervisé des modèles de langage
- Analyse comparative des solutions existantes
- Evaluation de la méthode proposée sur des données internes et publiques
Bibliographie :
[1] Prometheus: Inducing Fine-grained Evaluation Capability in Language Models. Kim et al., ICLR 2024
[2] xcomet: Transparent Machine Translation Evaluation through Fine-grained Error Detection, Guerreiro et al., TACL 2024
[3] Beyond Traditional Benchmarks: Analyzing Behaviors of Open LLMs on Data-to-Text Generation, Kasner and Dušek, ACL 2024
[4] TIGERScore: Towards Building Explainable Metric for All Text Generation Tasks. Jiang et al., Transactions of Machine Learning Research, 2024.
[5] INSTRUCTSCORE: Towards Explainable Text Generation Evaluation with Automatic Feedback Xu et al., ACL 2023.
[6] CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation, Ke et al., ACL 2024.
about you
- Étudiant.e en dernière année d'École d'Ingénieur ou de Master 2 (BAC+5) dans le domaine de l’apprentissage automatique et/ou traitement du langage naturel (NLP)
- Expérience en Machine Learning, Deep Learning
- Solides compétences en informatique :
· Python
· Linux, shell
· git
- Expérience avec des grands modèles de langue (LLM)
- Langues : anglais obligatoire, la connaissance du français est un plus.
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.