Show HN : le Gaussian Splat d’une fraise
(superspl.at)- Strawberry est une scène 3D téléchargeable de fraise publiée par danylyon sur SuperSplat, avec une licence indiquée comme CC BY 4.0
- Les données de la scène sont indiquées avec 46 530 éléments et une taille de fichier de 22,94 Mo, et la publication est affichée comme datant d’il y a 13 heures
- La capture a été réalisée depuis 90 points de vue, avec 88 images de focus stacking utilisées pour chaque point de vue
- Le matériel utilisé comprend un Nikon Z8 plein format, f/7.1, 1/160 s, ISO 100, un objectif macro Laowa 180 mm, un éclairage LED et un fond sur écran bleu
- L’entraînement a été effectué avec slang-splat, et COLMAP ainsi que le jeu de données COLMAP sont fournis
Aperçu de la scène
- Strawberry est une scène 3D de fraise publiée sur SuperSplat par danylyon
- Les données de la scène sont indiquées comme contenant 46 530 éléments, avec une taille de fichier de 22,94 Mo
- Le moment de publication est affiché comme il y a 13 heures, et le téléchargement est disponible
- La licence est indiquée comme CC BY 4.0
Conditions de prise de vue
- La scène de la fraise a été capturée depuis 90 points de vue, avec 88 images de focus stacking utilisées pour chaque point de vue
- Le matériel et les réglages de prise de vue sont un Nikon Z8, plein format, f/7.1, 1/160 s, ISO 100, avec un objectif macro Laowa 180 mm
- L’éclairage est assuré par des LED, avec un fond sur écran bleu
Entraînement et données
- L’entraînement a été effectué avec slang-splat
- Le logiciel utilisé indiqué est COLMAP
- Le jeu de données COLMAP est également fourni et disponible gratuitement sur Patreon
Conditions d’utilisation
- La scène peut être téléchargée sous licence CC BY
- Il est précisé que l’attribution n’est pas une obligation, mais recommandée à titre de remerciement
- Il est indiqué que cette œuvre peut être utilisée même sans attribution
1 commentaires
Commentaires sur Hacker News
J’ai créé PlayCanvas en 2011 pour faire tourner des jeux vidéo, et en 2026 je fais tourner une fraise
Waouh, le temps file. J’ai fini par arriver jusque-là, et c’est magnifique : https://superspl.at/scene/ff1d0393
Cela dit, j’ai quand même eu un choc en découvrant qu’on pouvait monter les escaliers à pied. Il faut maintenir Shift pour courir
La scène aurait vraiment besoin de clipping sur ses bords. Avec une app comme Scaniverse, on peut ajouter une boîte englobante pour supprimer les points lointains, qui sont généralement mal reconstruits
Si vous avez un iPhone récent avec scanner LiDAR, je recommande vivement. On peut rendre sa maison ou son jardin comme une maison de poupée, et c’est étonnamment utile pour planifier et mesurer des murs ou d’autres structures
C’est une scène vraiment superbe, avec une résolution très correcte tout en restant explorable
J’ai lu [1], mais je ne comprends toujours pas exactement ce que je regarde. Si je devais deviner, je dirais que c’est un modèle 3D reconstruit à partir de nombreuses photos haute résolution
[1] https://en.wikipedia.org/wiki/Gaussian_splatting
Il n’y a ni mesh ni modèle. La surface visuelle de la fraise peut être composée d’amas éloignés les uns des autres, et non d’une surface correspondant à une position physique réelle
C’est pour cela qu’on appelle ce genre de chose des champs de radiance : on modélise la lumière, pas la géométrie
En pratique, on peut contraindre la position et la rotation des amas pour mieux correspondre à la forme géométrique de la fraise
Le point important, c’est qu’il n’y a pas de surface géométrique définie, donc pas de mesh. Et il est très difficile de produire un bon splat, parce qu’il faut énormément de photos prises sous des angles très variés ; en revanche, faire un mauvais splat est très facile. Mais quand c’est bien fait, c’est stupéfiant
C’est beau
Ce que j’aime dans les Gaussian splats, c’est leur façon de se dégrader. Au lieu d’une coupure nette, d’un changement de niveau de détail ou d’une sphère qui devient un cube, l’image devient progressivement plus “onirique”. La forme de base reste, et seuls les détails diminuent
Par exemple cette scène : https://superspl.at/scene/e721ea7c
Quand on s’approche de l’arbre, l’environnement autour devient flou, comme si le tissu du réel se défaisait
https://bayardrandel.com/gaussographs
Mes travaux plus récents sont sur Instagram
https://www.instagram.com/bayardrandel/
On ne voit pas le surcroît de “faux détail” qu’on pourrait attendre en zoomant ; on a plutôt l’impression de traverser la peau et d’entrer dans un intérieur imaginé
Moins il y a de cohérence, plus l’exploration devient difficile et imprévisible
Plus qu’un modèle 3D classique, cela semble beaucoup plus proche de la façon dont l’esprit stocke et traite l’information spatiale
Si vous ne voyez qu’une image floue et que rien ne charge ni ne fonctionne, vérifiez si la console JavaScript affiche "WebGL not supported"
Ceci est intéressant aussi : https://github.com/apple/ml-sharp
C’est un modèle Apple qui génère des Gaussian splats à partir d’une seule image. Il faut environ 30 secondes sur un M1 Pro
Si on bouge trop, tout s’écroule, mais pour un léger balancement gauche-droite ou un second point de vue en VR, c’est excellent. C’est bien plus agréable à regarder que mon ancienne méthode, profondeur + vertex shader, utilisée dans https://github.com/combatwombat/tiefling
En revanche, ml-sharp a des poids de 2.6GB, donc c’est un peu gros pour tourner dans un navigateur
Ça semble désormais fonctionner bien plus vite que 30 secondes sur iDevice et Mac
J’ai découvert le Gaussian splatting il y a quelques semaines, et c’est peut-être une question drôle, naïve ou stupide. Y a-t-il des avancées sur l’éclairage dynamique, ou est-ce au moins théoriquement possible ?
Mais dès qu’on dépasse la réflexion diffuse, il devient difficile d’obtenir des matériaux corrects
Le relighting basé sur l’IA devrait probablement commencer à bien fonctionner bientôt
Ça pourrait donner l’impression d’un éclairage temps réel de vieux moteur de jeu appliqué à des assets très modernes. Un peu comme à l’époque de Quake 2~3
Ou alors, peut-être qu’on pourrait construire un volume voxel sparse à partir des splats, puis faire une sorte de “pré-passe d’occlusion” donnant à chaque voxel une valeur d’opacité voxel qui absorbe la lumière. Ce ne serait pas si différent des éclairages globaux précalculés actuels
Cela dit, je ne suis pas spécialiste du rendu, juste un passionné qui a bricolé avec OpenGL autrefois
Juste wow !
En explorant le site, j’ai été encore plus impressionné par cette scène : https://superspl.at/scene/c67edb74
Quelques autres liées dans les commentaires étaient navigables et utilisables, donc c’est étrange
Si j’ai bien lu Chrome, le site et les données réunis font 171MB
Si je calcule bien, cela correspond à environ 40 secondes de bande passante au débit maximal de Netflix
Selon votre degré d’étrangeté, on se sent soit Quasimodo, soit dieu
En regardant cela, je suis tombé dans un terrier de lapin qui m’a mené jusqu’à cette entreprise qui fait de la vidéo en Gaussian splat : https://www.4dv.ai/. Intéressant
On dirait une belle petite miniature. C’est agréable de voir du Gaussian splatting appliqué à un petit objet détaillé plutôt qu’à une grande scène
Ce qui m’intrigue le plus dans cette fraise, c’est probablement son aspect le plus ennuyeux : la licence. Il est écrit “téléchargeable sous licence CC BY, mais l’attribution n’est pas obligatoire, même si elle est appréciée”. Je ne suis pas juriste, mais il ne me semble pas possible de publier sous CC-BY tout en levant l’exigence BY dans la description
Si l’on veut rendre l’attribution facultative, ne faudrait-il pas utiliser une licence plus permissive comme CC0 et simplement demander une attribution ?
Enfin, dans une certaine mesure. Dans des pays comme la France, le droit à la paternité est fondamentalement inaliénable, donc même si l’auteur y renonce à perpétuité, il pourrait toujours exiger l’attribution plus tard
Mais aux États-Unis, la partie qui bénéficie d’une clause contractuelle peut généralement choisir de l’ignorer ou d’y renoncer. Reste à savoir si on peut encore appeler cela “CC BY”, puisque l’attribution en est l’élément central
Malgré tout, publier d’abord sous CC BY puis lever immédiatement cette exigence me semble défendable