« Gaussian splatting », c’est vraiment assez bluffant

• Article sur le papier intitulé « Real-Time Radiance Field Rendering using 3D Gaussian Splatting »
• Le Gaussian splatting est une méthode qui représente des scènes 3D à l’aide de millions de particules dotées d’une position, d’une rotation, d’une taille, d’une opacité et d’une couleur
• Les particules sont rendues sous forme de gaussiennes 2D dans l’espace écran, et non comme des sphères étendues
• Les auteurs du papier ont mis au point une méthode utilisant la descente de gradient et le rendu différentiable pour générer des millions de particules représentant des scènes décrites par des photos
• Les auteurs ont également développé une méthode pour rendre rapidement ces millions de particules mises à l’échelle
• L’auteur de l’article implémente dans Unity la partie visualisation en temps réel du Gaussian splatting et réfléchit à des moyens de réduire la taille des données
• L’article aborde aussi l’histoire du Gaussian splatting, inventé vers 2001-2002, ainsi que ses applications antérieures
• L’auteur partage sur GitHub son implémentation du Gaussian splatting, en précisant qu’elle fonctionne mais n’est pas aussi rapide que l’implémentation officielle
• L’auteur mentionne aussi que la taille des données et l’utilisation mémoire sont des points importants à prendre en compte avec le Gaussian splatting, et que la scène d’exemple utilisée dans l’article nécessite 1,5 Go de données sur disque

[GN⁺]

Discussion Hacker News

• Article sur le potentiel du Gaussian splatting, une technique permettant de reconstruire des scènes 3D à partir de nombreuses images, qui suscite de l’enthousiasme chez les passionnés de technologie
• Le Gaussian splatting est vu comme un outil prometteur pour la reconstitution d’environnements passés, avec un potentiel pour faire remonter des vagues de souvenirs
• Utilise la descente de gradient et le "rendu différentiable", en évitant le vocabulaire lié au "neural" ; certains lecteurs saluent le fait qu’il ne suive pas la tendance dominante
• Cependant, d’autres estiment que l’évitement des réseaux neuronaux n’est pas en soi un objectif méritant des éloges, rappelant qu’ils sont populaires pour de bonnes raisons et qu’ils sont de bons approximateurs de fonctions
• L’article mentionne aussi le rendu basé sur des points, au cœur des systèmes de particules dans les jeux ; les lecteurs remarquent les évolutions récentes des systèmes de particules dans les jeux modernes
• Certains lecteurs se demandent si le Gaussian splatting peut prendre en charge l’éclairage dynamique et le mouvement, les scènes/champs radiatifs étant généralement statiques et intégrant déjà l’éclairage
• Cette technique est comparée au concept de Braindance dans Cyberpunk 2077, qui permet au joueur de se déplacer dans les souvenirs visuels d’une autre personne
• Les lecteurs attendent avec intérêt la première implémentation optimisée WebGPU pour le rendu par 3D Gaussian splatting, ainsi qu’une compression et une décompression efficaces des données de scène
• Certains partagent des ressources sur l’utilisation du Gaussian splatting, par exemple un guide pour débutants sur YouTube
• La technique n’est pas nouvelle : référence au splatting pour le volume rendering en 1991 et mention de l’usage des iso-surfaces voxel à la fin des années 1990
• Les lecteurs s’interrogent sur l’état de l’art en structure-from-motion, une technique qui transforme des vidéos d’un espace en scène 3D.