Stage de recherche - etude des biais dans le résumé de conversations f/h

Au sein d' Orange Innovation, la direction Data AI a pour ambition de développer l'usage de la Data et de l'Intelligence Artificielle, en étroite collaboration avec les pays dans lesquels Orange est implanté, sur leurs cas d'usages et leurs besoins métier. Dans cette direction, l'équipe DESKIN développe des produits et des services à base de technologies d'Intelligence Artificielle (IA), et d'IA Générative pour le Traitement Automatique du Langage Naturel. Plus précisément, les missions de l'équipe DESKIN sont les suivantes : 1. Développer des outils d'IA multilingues, concevoir des solutions complètes de traitement, de manipulation, d'évaluation et visualisation de données textuelles à destination des directions métiers d'Orange, en utilisant les dernières technologies et modèles d'IA Génératives, 2. Accompagner les équipes métiers pays dans l'analyse de données textuelles et conversationnelles, pour des besoins Orange ou des besoins.
Contexte : Orange est une entreprise pionnière en matière d'éthique et de responsabilité de l'IA (charte de la data et de l'IA ? Conseil éthique de la data et de l'IA, membre fondateur d'Impact AI). Au sein du programme de recherche IAR (IA Responsable), le projet FAIR AI analyse les enjeux d'équité posés par l'usage de l'Intelligence Artificielle. Les modèles de langage constituent un nouveau défi dans la lutte contre les biais, les discriminations. La mise en application prochaine du AI Act rend par ailleurs obligatoire la lutte contre les biais dans certains cas. Sujet du stage : Vous travaillerez sur la création d'un benchmark qui servira à terme de référence pour l'évaluation des biais des modèles de langue sur la tâche spécifique de résumé de conversation et/ou de réunion en français notamment. Parmi les critères d'évaluation des modèles, en complément de la performance technique, nous visons l'équité via l'absence de biais que ce soient des biais liés aux attributs sensibles (biais de genre...) ou des biais propres à la tache de résumé (biais de position...). Puis les activités associées au poste, dans le cadre du stage Il s'agira d'abord d'effectuer une brève revue de littérature sur le sujet des biais des LLM sur la tache de résumé ; puis de construire un benchmark, de l'évaluer et d'en faire la synthèse. Étapes de l'étude - Vous réalisez un état de l'art des biais des LLM sur la tâche de résumé de conversations - Vous proposez une taxonomie de ces biais et des métriques de mesure associées - Vous définissez le benchmark nécessaire au besoin d'Orange et le protocole d'évaluation - Vous construisez le benchmark (collecte, préparation, annotation et anonymisation des donnée puis proposition de métriques). - Vous testerez le benchmark sur plusieurs modèles LLM - Vous réaliserez une synthèse des résultats - Vous présentez vos résultats devant différents publiques experts, utilisateurs qui pourront être concernés par la décision ou par la prise en compte de l'éthique dans leurs propres travaux
Vous terminez une formation de niveau Bac +5 (master ou école d'ingénieurs) en datascience Vous avez une bonne connaissance : - D'au moins un langage de programmation : Python, pour faire du prototype logiciel - De quelques modèles de langage et de ses applications Vous êtes à l'aise avec l'anglais technique. Vous avez une bonne maitrise de la langue française (niveau avancé C1 minimum) Compétences et qualité personnelles recherchées Vous savez construire un objet de recherche et mobiliser la littérature académique pour le faire Vous nourrissez une curiosité à l'égard des services numériques et des enjeux sociaux portés par l'innovation technologique Vous savez être force de proposition, vous faites preuve d'organisation et d'autonomie Vous avez un bon sens de l'analyse et êtes rigoureux dans l'exécution de votre mission Vous êtes autonome, passionné(e) par le développement et l'innovation utilisant des données. Vous avez un bon relationnel et appréciez le travail en équipe.