Stage recherche – etude des biais dans le résumé de conversations f/h

About the role

Contexte :

Orange est une entreprise pionnière en matière d’éthique et de responsabilité de l’IA (charte de la data et de l’IA ? Conseil éthique de la data et de l’IA, membre fondateur d'Impact AI). Au sein du programme de recherche IAR (IA Responsable), le projet FAIR AI analyse les enjeux d’équité posés par l’usage de l’Intelligence Artificielle. Les modèles de langage constituent un nouveau défi dans la lutte contre les biais, les discriminations. La mise en application prochaine du AI Act rend par ailleurs obligatoire la lutte contre les biais dans certains cas.

Sujet du stage :

Vous travaillerez sur la création d’un benchmark qui servira à terme de référence pour l’évaluation des biais des modèles de langue sur la tâche spécifique de résumé de conversation et/ou de réunion en français notamment. Parmi les critères d’évaluation des modèles, en complément de la performance technique, nous visons l’équité via l’absence de biais que ce soient des biais liés aux attributs sensibles (biais de genre...) ou des biais propres à la tache de résumé (biais de position...).

Puis les activités associées au poste, dans le cadre du stage

Il s’agira d’abord d’effectuer une brève revue de littérature sur le sujet des biais des LLM sur la tache de résumé ; puis de construire un benchmark, de l’évaluer et d’en faire la synthèse.

Étapes de l’étude

§ Vous réalisez un état de l’art des biais des LLM sur la tâche de résumé de conversations

§ Vous proposez une taxonomie de ces biais et des métriques de mesure associées

§ Vous définissez le benchmark nécessaire au besoin d’Orange et le protocole d’évaluation

§ Vous construisez le benchmark (collecte, préparation, annotation et anonymisation des donnée puis proposition de métriques).

§ Vous testerez le benchmark sur plusieurs modèles LLM

§ Vous réaliserez une synthèse des résultats

§ Vous présentez vos résultats devant différents publiques experts, utilisateurs qui pourront être concernés par la décision ou par la prise en compte de l’éthique dans leurs propres travaux

about you

Vous terminez une formation de niveau Bac +5 (master ou école d’ingénieurs) en datascience

Vous avez une bonne connaissance :
- D’au moins un langage de programmation : Python, pour faire du prototype logiciel
- De quelques modèles de langage et de ses applications

Vous êtes à l’aise avec l’anglais technique.

Vous avez une bonne maitrise de la langue française (niveau avancé C1 minimum)

Compétences et qualité personnelles recherchées

Vous savez construire un objet de recherche et mobiliser la littérature académique pour le faire
Vous nourrissez une curiosité à l’égard des services numériques et des enjeux sociaux portés par l’innovation technologique
Vous savez être force de proposition, vous faites preuve d’organisation et d’autonomie
Vous avez un bon sens de l'analyse et êtes rigoureux dans l’exécution de votre mission
Vous êtes autonome, passionné(e) par le développement et l'innovation utilisant des données.
Vous avez un bon relationnel et appréciez le travail en équipe.