Thèse " détection et mitigation des biais de résumé par des llm dans les services entreprise" f/h

Votre rôle

Votre rôle est d’effectuer un travail de thèse sur la détection et la mitigation des biais de résumé par des LLM dans les services Entreprise, pour des usages de l'Intelligence Artificielle (IA) tels que : des résumés de réunions ou verbatims dans une organisation ; synthèses d’interactions client ; résumés d’échanges interpersonnels non structurés via des services de communication et de collaboration. Il ne s’agit pas ici simplement de résumer des échanges, mais d’en produire une synthèse utile pour son destinataire, dont les besoins peuvent être différents en fonction de son métier / de ses objectifs.

La production de cette synthèse peut néanmoins être entachée de biais qui peuvent entraîner des inégalités, des inexactitudes ou des préjudices, qu'ils soient intentionnels ou non. Ils résultent de divers facteurs, tels que les données d'entraînement, les choix de conception ou encore les interactions avec les utilisateurs. Or, avec l’apparition des self supervised pretrained large language model il n’est plus possible de mesurer des corrélations entre les signaux d'entrées, les choix algorithmiques et les biais observés. Concernant la détection de ces biais, seule une approche fondée sur des observations est réalisable, reposant sur la construction de métriques avec des évaluations effectuées par des humains et/ou des modèles de langage (LLM as a Judge).

Les étapes principales de la thèse seront donc :

1. Etudier puis élaborer une méthodologie et des protocoles d’évaluation adaptée, dans une optique de modularité et généricité (multi-LLM, multi-métriques et multi cas d’usages), et mise en place d’un benchmark les implémentant.

2. Conduire des tests basés sur ce benchmark en définissant des métriques dédiées.

3. Identifier des stratégies de mitigation des biais, en comparant les approches avec ou sans entraînement supplémentaire des modèles.

Un des points forts d’Orange dans ces travaux est la disponibilité de datasets privés qui n’ont pas pu contaminer les modèles que ce soit dans la phase de pré-entrainement ou d’alignement. Des datasets publics seront également utilisés. Les métriques seront élaborées par itération progressive, les biais se manifestant de manière statistique. Il sera nécessaire d’aller au-delà de l’aspect test et d’étendre à la recherche de règles heuristiques sur la corrélation entre les différentes étapes de construction et d’utilisation des LLMs avec la présence de biais. Enfin, il s’agira de construire une méthode adaptée pour les corriger en identifiant les stratégies d’alignement les plus adaptées : avec apprentissage supervisé pour fine-tuner un modèle pré-entrainé ; avec apprentissage par renforcement. La solution proposée sera comparée à des méthodes de mitigation de biais effectuées sans entrainement supplémentaire (auto-diagnostic, prompt engineering et roleplay).

Contexte: