Stage de recherche - etude des biais dans le résumé de conversations h/f

Au sein d' Orange Innovation, la direction Data AI a pour ambition de développer
l'usage de la Data et de l'Intelligence Artificielle, en étroite collaboration avec les pays
dans lesquels Orange est implanté, sur leurs cas d'usages et leurs besoins métier.
Dans cette direction, l'équipe DESKIN développe des produits et des services à base
de technologies d'Intelligence Artificielle (IA), et d'IA Générative pour le Traitement
Automatique du Langage Naturel.
Plus précisément, les missions de l'équipe DESKIN sont les suivantes :
1. Développer des outils d'IA multilingues, concevoir des solutions complètes de
traitement, de manipulation, d'évaluation et visualisation de données textuelles à
destination des directions métiers d'Orange, en utilisant les dernières technologies et
modèles d'IA Génératives,
2. Accompagner les équipes métiers pays dans l'analyse de données textuelles et
conversationnelles, pour des besoins Orange ou des besoins. Contexte :
Orange est une entreprise pionnière en matière d'éthique et de responsabilité de l'IA (charte de la data et de l'IA ? Conseil éthique de la data et de l'IA, membre fondateur d'Impact AI). Au sein du programme de recherche IAR (IA Responsable), le projet FAIR AI analyse les enjeux d'équité posés par l'usage de l'Intelligence Artificielle. Les modèles de langage constituent un nouveau défi dans la lutte contre les biais, les discriminations. La mise en application prochaine du AI Act rend par ailleurs obligatoire la lutte contre les biais dans certains cas.
Sujet du stage :
Vous travaillerez sur la création d'un benchmark qui servira à terme de référence pour l'évaluation des biais des modèles de langue sur la tâche spécifique de résumé de conversation et/ou de réunion en français notamment. Parmi les critères d'évaluation des modèles, en complément de la performance technique, nous visons l'équité via l'absence de biais que ce soient des biais liés aux attributs sensibles (biais de genre) ou des biais propres à la tâche de résumé (biais de position).
Puis les activités associées au poste, dans le cadre du stage
Il s'agira d'abord d'effectuer une brève revue de littérature sur le sujet des biais des LLM sur la tâche de résumé ; puis de construire un benchmark, de l'évaluer et d'en faire la synthèse.
Étapes de l'étude
- Vous réalisez un état de l'art des biais des LLM sur la tâche de résumé de conversations
- Vous proposez une taxonomie de ces biais et des métriques de mesure associées
- Vous définissez le benchmark nécessaire au besoin d'Orange et le protocole d'évaluation
- Vous construisez le benchmark (collecte, préparation, annotation et anonymisation des donnée puis proposition de métriques).
- Vous testerez le benchmark sur plusieurs modèles LLM
- Vous réaliserez une synthèse des résultats
- Vous présentez vos résultats devant différents publiques experts, utilisateurs qui pourront être concernés par la décision ou par la prise en compte de l'éthique dans leurs propres travaux