Stage recherche - llm et dialogue multimodal f/h

About the role

Les grands modèles de langage et les modèles de langage visuel (LLMs et VLMs respectivement) ont révolutionné le traitement du langage naturel (NLP), le dialogue et la réponse à des questions visuelles (VQA) [1, 2]. Néanmoins, les interactions avec les LLMs sont souvent limitées à des réponses à des questions conversationnelles (CQA) (c'est-à-dire une séquence de questions, toujours posées par l'utilisateur, et de réponses, toujours fournies par le LLM), négligeant l'initiative mixte (c'est-à-dire que les interlocuteurs peuvent initier la conversation, affirmer, demander ou répondre de manière interchangeable), l’ancrage (c'est-à-dire que les interlocuteurs s'accordent sur leur compréhension mutuelle) et la planification (les interlocuteurs sélectionnent des actions le plus efficace pour accomplir une tâche). L'excès de confiance des LLMs peut non seulement être dangereux lorsqu'ils assistent des personnes sensibles, mais contredit également l'essence de l'ancrage, car commettre des erreurs et les exprimer explicitement est un aspect crucial de la capacité à s'ancrer. Enfin, les LLMs ont tendance à générer des réponses verbeuses, ce qui peut entraîner une surcharge cognitive de l’utilisateur.

Sous la responsabilité de votre maître de stage, vous collaborez aux activités de Recherche de l'équipe NADIA axées sur le dialogue multimodal.

Nous allons commencer par une étude de l'état de l'art, des ensembles de données et des modèles disponibles.

Dans un second temps, nous allons explorer certains de ces modèles à travers le fine-tuning ou d'autres techniques telles que l'adaptation de modèle, le prompting, l'augmentation basée sur la récupération d'information, etc., et les évaluer.

Nous allons également réfléchir sur les limitations potentielles des ensembles de données et des modèles existants pour répondre aux besoins des personnes malvoyantes.

[1] Long Ouyang et al. Training language models to follow instructions with human feedback. 2022. arXiv: 2203.02155 [].
[2] Stanislaw Antol et al. “VQA: Visual question answering”. IEEE ICCV 2015.

L'objectif de votre travail de recherche sera de :
- Comprendre les données de dialogue multimodal.
- Comprendre des modèles de Visual Language Model (VLM).
- Explorer le dialogue multimodal, les systèmes de question-réponse visuelle (Visual QA) associés aux systèmes de navigation 3D.
- Adapter les modèles pour l’ancrage entre locuteurs

Pour cela, vous interagirez avec différents membres de l'équipe : chercheurs, doctorants, data-scientists, développeurs.

about you

Dans le cadre de votre formation bac+5, école ingénieur ou master 2 informatique ou statistiques ou master 2 Tal ou Master 2 computer vision, vous êtes à la recherche d'un stage de 6 mois :

- Vous avez des connaissances en statistiques et informatique
- Des connaissances en Python sont impératives
- Des connaissances en apprentissage statistique sont requises
- Vous êtes familiarisé avec PyTorch
- Vous connaissez les Transformers
- Vous possédez des connaissances sur les modèles de langue génératifs

additional information

Cette proposition de stage est au cœur d'un sujet actuellement stratégique : les modèles de langue. Dans le cadre d'un environnement pointu tel que les laboratoires de recherche d'Orange, il ouvre ainsi beaucoup de perspectives de carrière.

department

L’équipe NADIA « NAtural DIAlogue interaction » travaille - au sein de la direction DATA-IA dans la division Innovation – sur les systèmes de dialogue en langage naturel et sur l’analyse de conversations et de parcours.

L’équipe partage une passion pour les données et l’IA, nous développons des produits et outils, nous opérons à la pointe de la technologie et nous croyons en une approche pragmatique pour résoudre les problèmes difficiles.
C’est une équipe pluridisciplinaire composée d’une vingtaine de chercheurs, data-scientists, ingénieurs logiciels, doctorants et apprentis.

contract

Internship

Duration : 6 months

Start date : 01 Mar 2025

Level : Master 2

Paid internship