Unité : Centre d'Enseignement de Recherche et d'Innovation Systèmes Numériques (CERI SN)
Responsable hiérarchique : Sylvain Lecomte, directeur du CERI SN
Nature de l'emploi : Contrat doctoral - CDD de 36 mois
Lieu de travail : Villeneuve d'Ascq
Intitulé du sujet de thèse : Augmenter l'interaction gestuelle humaine avec l'IA générative
CONTEXTE :
Ecole sous tutelle du ministère de l'économie, des finances et de la souveraineté industrielle et numérique, et école de l'Institut Mines Télécom, IMT Nord Europe a 3 missions principales : former des ingénieurs responsables aptes à résoudre les grandes problématiques du XXIème siècle ; mener des recherches débouchant sur des innovations à haute valeur ajoutée ; soutenir le développement des territoires notamment en facilitant l'innovation et les créations d'entreprises. Son objectif est de former les ingénieurs de demain, maîtrisant à la fois les technologies numériques et les savoir-faire industriels. Idéalement située au carrefour de l'Europe, à 1 heure de Paris, 30 minutes de Bruxelles et 1H30 de Londres, IMT Nord Europe a l'ambition de devenir un acteur majeur des grandes transformations industrielles, numériques et environnementales du XXIème siècle en combinant, tant dans ses enseignements et que dans sa recherche, les sciences de l'ingénieur et les technologies du digital.
Localisée sur 2 sites principaux d'enseignement et de recherche, à Lille et à Douai, IMT Nord Europe s'appuie sur plus de 20000m² de laboratoire pour développer un enseignement de haut niveau et une recherche d'excellence dans les domaines suivants :
- Systèmes Numériques
- Energie Environnement
- Matériaux et Procédés
Pour plus de détails, consulter le site internet de l'Ecole : www.imt-nord-europe.fr
Le poste est à pourvoir au sein du Centre d'Enseignement, de Recherche et d'Innovation Systèmes Numériques (CERI SN) oeuvrant dans le contexte de la fusion des mondes physique et numérique au travers de la modélisation (et l'optimisation) des systèmes complexes, la fluidification des interactions avec l'humain, et la conception de systèmes communicants et sécurisés.
Le Centre de recherche a à coeur l'excellence académique autour de sujets originaux et démarquants au travers d'une recherche appliquée, en réponse aux enjeux sociétaux et technologiques et d'une capacité d'interventions sur un large spectre TRL.
MISSIONS :
Les gestes humains constituent un aspect fondamental de la communication non verbale, fournissant un riche support d'interaction qui complète la parole. Malgré les progrès significatifs de l'IA, parvenir à une interaction gestuelle transparente et intuitive reste un défi. L'IA générative, en particulier les modèles tels que les GAN et les architectures basées sur Transformer, offrent des solutions prometteuses pour améliorer la reconnaissance des gestes et la génération de réponses.
Ce projet de thèse vise à étudier l'amélioration l'interprétation des interactions gestuelle humaines grâce à l'utilisation de l'IA générative. L'objectif est de développer des modèles avancés capables de reconnaître, d'interpréter et de répondre avec précision aux gestes humains en temps réel, permettant ainsi des interactions homme-machine (HCI) plus naturelles et intuitives. Les travaux aborderont les défis de la précision de la reconnaissance des gestes, de la compréhension contextuelle et de la génération de réponses, contribuant ainsi à des domaines tels que la réalité virtuelle (VR), la réalité augmentée (AR) et les technologies d'assistance.
D'un autre côté, générer avec précision des interactions main-objet réalistes dans des environnements virtuels est essentiel pour créer des expériences utilisateur immersives et intuitives. Cette recherche explorera également les avancées récentes en matière de modélisation générative avec des modèles de diffusion, tels que DALL-E 2 et Stable Diffusion, pour générer des données 3D réalistes d'interaction main-objet. Même si ces modèles de diffusion peuvent générer des images réalistes à partir d'instructions textuelles, ils peinent à produire des interactions physiquement ou géométriquement plausibles. Ils ne parviennent souvent pas à faire correspondre le résultat aux formes et poses 3D, en particulier lorsqu'il s'agit de capturer les détails de la façon dont les doigts sont placés autour d'un objet. Cette thèse vise à développer une solution permettant de générer des interactions main-objet 3D réalistes en conditionnant la représentation de la scène à la fois sur la forme de la main 3D et sur l'objet.
Les travaux de cette thèse seront réalisés au sein d'un consortium d'un projet intitulé 5GMetavers, composé de laboratoires académiques et d'entreprises industrielles, notamment Airbus et Orange
En cliquant sur "JE DÉPOSE MON CV", vous acceptez nos CGU et déclarez avoir pris connaissance de la politique de protection des données du site jobijoba.com.