Stage recherche - compression vidéo immersive h/f

Orange est l'un des principaux opérateurs européens et africains du mobile et de
l'accès internet ADSL et l'un des leaders mondiaux des services de
télécommunications aux entreprises.
L'ambition de la Division Innovation est de porter plus loin l'innovation d'Orange et de
renforcer son leadership technologique, en mobilisant nos capacités de recherche
pour nourrir une innovation responsable au service de l'humain, éclairer les choix
stratégiques du Groupe à long terme et influencer l'écosystème digital mondial.
Nous formons les expertes et les experts des technologies d'aujourd'hui et de demain,
et veillons à une amélioration continue de la performance de nos services et de notre
efficacité.
La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche
et l'innovation dont 740 chercheurs. Porteurs d'une vision globale avec une grande
diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists,
sociologues, graphistes, marketeurs, experts en cybersécurité), les femmes et les
hommes de Innovation sont à l'écoute et au service des pays, des régions et des
unités d'affaire pour faire d'Orange un opérateur multiservices de confiance.
Vous serez intégré dans une équipe de recherche à la pointe de l'innovation et de
l'expertise sur la compression vidéo et la reconstruction vidéo 3D. Produire un modèle 3D d'une scène réelle est beaucoup plus difficile et en est encore au stade de la recherche.
Cependant, les progrès réalisés ces dernières années ont été remarquables, et la famille d'algorithmes à la pointe de la technologie (basée sur [1] 3d gaussian splatting) parvient à produire un modèle satisfaisant à partir d'un nombre raisonnable d'images d'entrée.
L'utilisation opérationnelle de tels modèles implique de les compresser, pour le stockage et surtout pour la transmission. En effet, un modèle 3D de cette famille nécessite des millions de points avec leurs positions, couleurs et autres caractéristiques, ce qui représente un volume de données substantiel. C'est particulièrement vrai lorsqu'il s'agit de vidéo 3D, qui implique de mettre à jour les données 30 fois par seconde. Certaines publications intéressantes ont déjà eu lieu sur le sujet. On peut penser à HAC [2] pour la compression d'un modèle statique, ou Spacetime Gaussian [3] pour la représentation de scènes dynamiques.
La compression des modèles 3d gaussian splatting est encore un domaine de recherche, et de nombreuses idées restent à explorer. Le sujet de ce stage est l'utilisation de la compensation de mouvement pour la compression de séquences de points 3D.
La mission de ce stage est d'entrainer un modèle représentant une scène à partir d'un ensemble de vidéos 2D d'entrée, en intégrant les données 3D et le mouvement. L'entrainement sera réalisé avec un objectif de débit/distorsion, de manière à se concentrer dès la création du modèle sur la compression.

Activités principales :
1. Lire la documentation sur le 3d gaussian splatting et les modèles vidéo 3D qui en dérivent.
2.Produire un modèle dynamique avec la solution à l'état de l'art au moment du stage. Le tester sur nos propres données et identifier les limitations.
3. Décider du modèle de mouvement à mettre en oeuvre, en collaboration avec le reste de l'équipe, en priorisant en fonction de l'impact attendu et de la complexité.
4. Mettre en oeuvre le modèle discuté, le tester et l'améliorer de manière incrémentale.
Réf :
[1] Kerbl, B., Kopanas, G., Leimkühler, T., & Drettakis, G. (2023). 3d gaussian splatting for real-time radiance field rendering https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
[2] Chen, Y., Wu, Q., Lin, W., Harandi, M., & Cai, J. (2025). Hac : Hash-grid assisted context for 3d gaussian splatting compression. In European Conference on Computer Vision (pp. 422-438). Springer, Cham.