Reconstruction 3d à partir de vues synthétiques de modèles nerf.

Les
modèles Nerfs spécialisées dans l’imagerie spatiale [1, 2, 3, 4, 5], sont en
mesure de reconstituer une scène en 3D à partir d’images prises avec des stéréo
/ tri-stéréo Pléiades voire de futures quadri-stereo de la mission CO3D. Les
travaux récents au CNES [5] permettent de s’affranchir du temps d’apprentissage
de ces modèles longs. Avec
la décomposition de la radiance apprise par le modèle NeRF [3, 4] il est
désormais possible de séparer les différentes contributions d’une scène, on se
concentre ici sur les contributions liées à l’albedo, les ombres et les objets
transitoires par exemple des voitures.

Le
stage viserait à exploiter l'information multi-vue / multi-temporelle /
multi-contribution du modèle NERF afin d’extraire le contenu libre de toute
ombre et d’objets transitoires (équivalent à une Albedo) de la scène au sol et
de quantifier l’apport de ces données enrichies dans la production de modèle
numérique de surface par stéréo (CO3D ou Pléiades) voire de production de
cartes d’occupation des sols. Cela
pourrait aussi servir à enrichir un jumeaux numérique portant sur une
contribution.

En
effet, les algorithmes de mise en correspondance 3D (PANDORA [6], MCCNN...)
ainsi que de classification de l’occupation des sols (chaînes AI4GEO, SLURP…)
sont souvent gênés par la présence d’occlusions, d’ombres, et d’objets
transitoires. Les méthodes de reconstruction plus 3D récentes comme S-NeRF /
SAT-NeRF sont basées sur une dizaine d’images de la scène et permettent de
générer des images sans ombres et sans objets transitoires depuis n’importe
quels angles de vue. L'idée du stage est d'utiliser la sortie 'albedo' pour la
mise en correspondance stéréo en s'appuyant sur CARS à partir des images
d'albedo.

Les
ombres, occlusions, et objets transitoires traités, nous espérons plus de
régularité sur le MNS généré par CARS [7] avec moins de no-data. Il serait
aussi intéressant de regarder l’évolution de la confiance associée sur ces
scènes. La
classification de l'occupation des sols ou des objets transients pourrait se
faire dans un second temps en s'appuyant sur SLURP, ou alors en faisant un
entrainement sur une base de données existante (DFC2019), et d’espérer une
meilleure distinction des classes d’occupation usuelles (eau, bâti, routes,
parking, végétation haute/basse).

[1] SparseSat-NeRF : Zhang, L., & Rupnik, E. (2023).
Sparsesat-NeRF: Dense depth supervised neural radiance fields for sparse
satellite images. arXiv preprint arXiv:2309.00277.

[2] EONerf :
Marí, R., Facciolo, G., & Ehret, T. (2023). Multi-date earth observation
NeRF: The detail is in the shadows. In Proceedings of the IEEE/CVF Conference
on Computer Vision and Pattern Recognition (pp. 2035-2045).

[3] S-Nerf :
Derksen, D., & Izzo, D. (2021). Shadow neural radiance fields for
multi-view satellite photogrammetry. In Proceedings of the IEEE/CVF Conference
on Computer Vision and Pattern Recognition (pp. 1152-1161).

[4] SUNDIAL :
Behari, N., Dave, A., Tiwary, K., Yang, W., & Raskar, R. (2024). SUNDIAL:
3D Satellite Understanding through Direct Ambient and Complex Lighting
Decomposition. In Proceedings of the IEEE/CVF Conference on Computer Vision and
Pattern Recognition (pp. 522-532).

[5] SAT-NGP
: C. Billouard, D. Derksen, E. Sarrazin and B. Vallet, "SAT-NGP :
Unleashing Neural Graphics Primitives for Fast Relightable Transient-Free 3D
Reconstruction From Satellite Imagery," IGARSS 2024 - 2024 IEEE
International Geoscience and Remote Sensing Symposium, Athens, Greece, 2024,
pp. 8749-8753, doi: 10.1109/IGARSS53475.2024.10641775.

[6]
Cournet, M.,
Sarrazin, E., Dumas, L., Michel, J., Guinet, J., Youssefi, D., Defonte, V.,
Fardet, Q., 2020. Ground-truth generation and disparity
estimation for optical satellite imagery. ISPRS - International Archives of the
Photogrammetry, Remote Sensing and Spatial Information Sciences.

[7] https://github.com/CNES/cars

Le stage pourrait débuter en février/mars 2025.

Master ou ingénieur.e en informatique, avec une option en science du numérique ou intelligence artificielle. Il est attendu du candidat une appétence pour la programmation informatique, les modèles d’apprentissage profonds (Pytorch) et le rendu graphique avec idéalement une première expérience dans un des domaines.