Macro Splats 2025

• Les Gaussian splats sont composés de plusieurs ellipsoïdes flous, avec la particularité de pouvoir être observés sous différents angles comme une photo 3D
• Ils permettent de reproduire efficacement les textures complexes et très fines de sujets macro comme les insectes
• Pour résoudre les problèmes liés à une faible profondeur de champ, la technique du focus stacking a été introduite
• Un équipement automatisé et une méthode de prise de vue optimisée améliorent l’efficacité et la qualité de la capture
• Au final, un modèle 3D haute résolution a été réalisé et publié à l’aide de COLMAP et Postshot

---

Résumé de Macro Splats 2025

Concept de Gaussian Splat et transformation en photo 3D

• Le Gaussian splat est une technique qui superpose des ellipsoïdes flous dans l’espace 3D, en attribuant à chacun une couleur dépendante du point de vue
• Comme pour l’entraînement d’un modèle d’IA, il est possible de générer un résultat réaliste de photo 3D en fournissant plusieurs photos puis en répétant l’optimisation
• Cette approche permet d’obtenir des images 3D que l’on peut observer de manière immersive sous différents angles

Motivation pour l’application aux sujets macro

• Les sujets macro comme les insectes, avec leur pilosité ou leurs structures complexes, se prêtent particulièrement bien à la représentation par Gaussian splats
• Il est souligné que ces textures font partie des éléments difficiles à décrire avec les techniques classiques de reconstruction 3D

Processus de prise de vue avec le focus stacking

• En photographie macro, la profondeur de champ est extrêmement faible, ce qui rend difficile l’obtention d’une image nette sur l’ensemble du sujet
• Le focus stacking consiste à prendre, depuis un même angle, de nombreuses images avec des mises au point légèrement différentes, puis à les fusionner en une photo entièrement nette
• En général, un stack nécessite 50 à 500 photos, mais pour améliorer l’efficacité de la prise de vue, le nombre a été ramené à 16 images par stack avec une ouverture de f/18
• Un disque rotatif, un boom arm et un rail de mise au point automatique permettent de photographier systématiquement les insectes sous de multiples angles
• Au total, 1776 photos ont été prises depuis 111 angles, pour une durée de prise de vue d’environ 4 heures

Construction du modèle 3D et post-traitement

• Toutes les images ont été assemblées via un focus stacking par lots pour produire 111 photos haute résolution
• Les informations de position de la caméra ont été reconstruites avec COLMAP, puis une correction colorimétrique et un masquage de l’arrière-plan ont été appliqués
• Les données finales ont ensuite été entraînées dans Postshot pour créer le modèle splat, avec suppression de la partie de support (montage) par un minimum de retouches

Publication et usages du modèle 3D

• Les modèles d’insectes finalisés peuvent être librement visualisés en 3D sur superspl.at
• Le modèle de cluster fly est publié gratuitement ici, avec autorisation d’usage commercial et non commercial sous réserve d’attribution

[GN⁺]

Commentaires Hacker News

• Parmi tout ce que j’ai vu en infographie, je pense que cette guêpe mandarine est à la fois l’un des travaux les plus impressionnants et un exemple de photo macro au plus haut niveau. Le fait que ce soit rendu en temps réel est aussi étonnant. Il y a eu une discussion sur la PS6 il y a quelques jours, et si j’étais encore impliqué dans la création de consoles ou de jeux, j’aurais énormément réfléchi à la manière d’intégrer ce genre d’assets dans un jeu
  • Les Gaussian splats manquent de la flexibilité requise pour un vrai jeu vidéo. Ce n’est pas du vrai PBR, donc l’éclairage est presque entièrement hardcodé. Le rigging ne fonctionne pas bien, et l’édition est très difficile. C’est bien pour visualiser un seul objet, mais pas vraiment adapté à la construction d’une scène avec plusieurs éléments
• C’est vraiment superbe. Petit retour sur le site web : du texte noir sur fond gris, ce n’est pas très lisible, au point que j’ai dû utiliser le mode lecture
  • La saturation des couleurs sur la page est tellement forte que j’ai eu l’impression de rater un premier plan mis en valeur, comme si toute la page était traitée comme un arrière-plan
  • Moi, j’ai eu exactement l’expérience inverse. Ce site fait partie des rares que je peux lire nettement même avec mes lunettes, sans que les lettres bavent
• Ce travail est vraiment magnifique, et je n’avais jamais pensé à combiner photo macro et Gaussian splatting. Merci beaucoup d’avoir publié ça comme fichier de culture libre (CC BY)
• Une collaboration avec l’artiste d’Exquisite Creatures Revealed serait géniale. Il préserve toutes sortes d’insectes et les expose d’une manière qui met en valeur les couleurs et les effets irisés de la nature. J’ai été tellement impressionné par l’exposition que j’y suis retourné une deuxième fois. Les infos sur l’artiste sont disponibles ici
• Je me demande s’il existe des recherches sur l’ajustement de Gaussian splats dépendants de la distance focale. En gros, un modèle qui intègre le bokeh : si on lui donne les images raw d’origine, on pourrait peut-être obtenir un modèle globalement net
  • Plusieurs équipes travaillent sur ce sujet : projet dof-gs, projet dof-gaussian
• Je me demande comment ils capturent les reflets irisés sur le corps de la mouche. On a presque l’impression de voir l’arrière-plan à travers les zones réfléchissantes. Comme les couleurs des reflets changent selon l’angle, je me suis dit qu’un Gaussian splat aurait du mal à trouver une solution qui satisfasse tous les rayons. Je pensais au minimum que les surfaces réfléchissantes rendraient très mal, donc je me demande s’il y a une astuce secrète, ou si je comprends mal le Gaussian splatting
  • La couleur change selon le point de vue, ce qui veut dire que l’éclairage est baked-in. Du coup, ce n’est probablement pas directement exploitable pour de l’animation 3D ou des environnements temps réel (même si des recherches sur l’éclairage dynamique sont peut-être en cours). Il y a parfois des artefacts visuels : par exemple, si on s’approche trop du modèle de mouche, certaines parties du corps paraissent transparentes, et les specular highlights ressemblent à des splats situés sur la face arrière d’une surface interne. Sur le modèle du miroir, c’est encore plus visible, et on peut même traverser le miroir et entrer dedans
  • Les Gaussian splats peuvent avoir des couleurs dépendantes du point de vue. À ma connaissance, cela se fait avec des harmoniques sphériques (spherical harmonics). La résolution angulaire dépend du nombre de composantes harmoniques : s’il y en a trop peu, tous les reflets changent lentement et en douceur, et les reflets deviennent flous
  • Selon FTA, « un Gaussian splat, c’est essentiellement un ensemble d’ellipsoïdes flous, chacun ayant une couleur qui dépend du point de vue ». J’espère que cette explication aide
  • Il peut être utile de consulter la section « View-dependant colors with SH » : article connexe
• La démo pivotable qui tourne en temps réel dans le navigateur, même sur téléphone, fonctionne vraiment bien. Le coût de rendu du Gaussian splatting ne semble pas si élevé ; on dirait surtout que le gros du calcul est dans le prétraitement
  • La taille des fichiers est également impressionnante. Le lien n’est plus disponible pour le moment, mais il y avait aussi un splat 4D incluant le mouvement — on pouvait le regarder comme une vidéo tout en se déplaçant dans la scène — et le fichier ne faisait que quelques mégaoctets
• Travail très impressionnant. En revanche, sur mobile, la 3D est totalement inutilisable. Dès que je touche la 3D en mode orbite, la vue se bloque sur l’hémisphère sud, et peu importe comment j’essaie de tourner, l’écran part dans tous les sens
  • Développeur PlayCanvas ici. Je serais curieux de savoir sur quel téléphone ou appareil cela s’est produit. Ça pourrait être un bug (sans jeu de mots)
• Ça a aussi été utilisé récemment pour revisiter "The Matrix" : vidéo YouTube
• C’est un progrès énorme par rapport au rendu temps réel de 23 806 triangles montré dans Stars/NoooN [1]. [1] vidéo YouTube
  • Je me demande à quelle époque ça a été fait. La vidéo YouTube date d’il y a 14 ans, mais ça donne l’impression d’être bien plus ancien