Deep learning methods to improve 3d gaussian splatting training h/f

Description de l'offre

Il existe toujours des problèmes de reconstruction dans certaines parties des images, notamment dues aux réflexions (surfaces brillantes, miroirs) et aux zones uniformes (murs lisses, sols unis). Ces environnements difficiles peuvent entraîner des artefacts ou des zones floues, dégradant la qualité visuelle du rendu final. Des techniques comme la segmentation [3], l’inpainting multi-vues [4][5] et les modèles de diffusion multi-vues [6][7] montrent un fort potentiel pour isoler et traiter ces problèmes. Ils pourraient nous permettre d’améliorer ou recréer ces zones mal reconstruites.

Le sujet de ce stage consistera donc à explorer de telles techniques, évaluer leur efficacité et développer un prototype capable de détecter les zones à améliorer et appliquer les modèles adéquats de manière optimale.

[3] J. Cen, J. Fang, C. Yang, L. Xie, X. Zhang, W. Shen, and Q. Tian. Segment any 3d gaussians. 2023

[4] Liu, Z., Ouyang, H., Wang, Q., Cheng, K. L., Xiao, J., Zhu, K., Xue, N., Liu, Y., Shen, Y., and Cao, Y. Infusion: Inpainting 3d gaussians via learning depth completion from diffusion prior. 2024

[5] Mirzaei, A., De Lutio, R., Kim, S. W., Acuna, D., Kelly, J., Fidler, S., Gilitschenski, I., and Gojcic, Z. Reffusion: Reference adapted diffusion models for 3d scene inpainting. 2024

[6] Wang, P., and Shi, Y. Imagedream: Image-prompt multi-view diffusion for 3d generation. 2023

[7] Liu, R., Wu, R., Van Hoorick, B., Tokmakov, P., Zakharov, S., and Vondrick, C. Zero-1-to-3: Zero-shot One Image to 3D Object. 2023

Moyens / Méthodes / Logiciels

Rendering, Gaussian Splatting, Diffusion Model, Inpainting, Segmentation.

Profil du candidat

Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche.

Conformément aux engagements pris par le CEA en faveur de l’intégration de personnes en situation de handicap, cet emploi est ouvert à tous et toutes.