Localisation 3d d'objets déformables dans une image par deep learning h/f

Rejoignez-nous en Stage !

CEA Tech Corporate from CEA Tech on Vimeo.

Contexte du stage :

La localisation 3D d’un objet dans une image consiste à estimer la position 3D et l’orientation 3D dudit objet par rapport à la caméra qui l’observe (eg. [ZebraPose]). Cette tâche est impliquée dans d’innombrables domaines d’applications (robotique autonome, Réalité Augmentée, contrôle de conformité, suivi de chantier...). Si cette problématique est étudiée depuis de nombreuses années, les solutions développées restent peu utilisées en raison de leurs contraintes de mise en oeuvre, parmi lesquelles la nécessité de disposer d’un modèle 3D précis de l’objet pour entrainer la méthode ainsi que leur restriction au cas d’objets rigides.

Objectifs du stage :
Ce stage aura pour objectif de mettre au point une méthode de localisation 3D d’objets déformables par Deep Learning qui soit à la fois performante et facile à mettre en oeuvre.
Plus précisément, ce stage explorera l’utilisation de méthodes de reconstruction 3D de type Neural Fields pour permettre, d’une part, l’entrainement de méthodes de localisation 3D d’objet lorsque le modèle 3D n’est pas initialement disponible, et, d’autre part, d’étendre ces méthodes de localisation 3D aux cas des objets déformables. En effet, ces méthodes de reconstructions 3D ont révolutionné le domaine de la reconstruction 3D au cours des dernières années en raison de leur simplicité de mise en oeuvre (simple caméra) [InstantNGP], y compris dans le cas d’objets déformables [Nerfies, shapeOfMotion].
Le stage aura donc pour objectifs de :
- mettre en place un processus de reconstruction 3D basée sur une représentation Neural Fields et l’exploiter pour l’entrainement d’une méthode de localisation 3D d’objet;
- étendre cette méthode de reconstruction, d’entrainement et de localisation au cas des objets déformables.
Pour y parvenir, l’étudiant bénéficiera des briques technologiques du laboratoire en termes de reconstruction 3D et de localisation 3D, ainsi que l’expertise des membres du laboratoire sur ces domaines.

Bibliographie :

[Zebrapose] Zebrapose: Coarse to fine surface encoding for 6dof object pose estimation, CVPR 2022.
[IntantNGP] Instant neural graphics primitives with a multiresolution hash encoding, SIGGRAPH 2022.
[Nerfies] Nerfies: Deformable neural radiance fields, ICCV 2021
[shapeOfMotion] Shape of Motion: 4D Reconstruction from a Single Video, ArXiv abs/2407.13764 (2024)

Qu’attendons-nous de vous ?
Le candidat devra disposer d’une bonne maîtrise de python, de connaissances en Vision par Ordinateur, et d’une forte connaissance en réseau de neurones. Une expérience sur Pytorch sera appréciée.

Compétences développées au cours du stage :
Ce stage permettra à l’étudiant de développer ses compétences en Deep Learning et de découvrir/approfondir ses connaissances sur la localisation 3D d’objet et la reconstruction 3D. L’étudiant aura l’opportunité de travailler avec une équipe de chercheurs seniors mais aussi de doctorants.

Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !

Vous avez encore un doute ? Nous vous proposons :
- L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,
- Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,
- Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,
- Des moyens expérimentaux exceptionnels et un encadrement de qualité,
- De réelles opportunités de carrière à l’issue de votre stage
- Un poste au cœur de la métropole grenobloise, facilement accessible via la mobilité douce favorisée par le CEA,
- Une participation aux transports en commun à hauteur de 85%,
- Un équilibre vie privée – vie professionnelle reconnu,
- Un restaurant d'entreprise,
- Une politique diversité et inclusion,

Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l’inclusion des travailleurs handicapés.