Le 3D Gaussian Splatting comme chaîne de Markov Monte Carlo

Conversion du 3D Gaussian Splatting en chaîne de Markov Monte Carlo

Vue d’ensemble

• Le 3D Gaussian Splatting gagne en popularité dans le neural rendering.
• Les méthodes existantes s’appuient sur des stratégies complexes de clonage et de division pour placer les gaussiennes.
• La qualité de ces méthodes peut se dégrader selon l’initialisation.

Nouvelle approche

• Les gaussiennes 3D sont considérées comme des échantillons aléatoires tirés d’une distribution de probabilité décrivant la représentation physique de la scène.
• Cela permet de transformer la mise à jour des gaussiennes 3D en une mise à jour de descente de gradient stochastique de Langevin (SGLD) en introduisant simplement du bruit.
• Les stratégies existantes de densification et d’élagage sont réécrites comme des transitions d’état déterministes d’échantillons MCMC.

Techniques clés

• Le « clonage » des gaussiennes est modifié en une méthode de relocalisation qui conserve approximativement la probabilité des échantillons.
• Une régularisation supprimant les gaussiennes inutilisées est introduite afin de favoriser une utilisation efficace des gaussiennes.

Résultats

• Offre une meilleure qualité de rendu sur divers ensembles de scènes d’évaluation standard.
• Permet de contrôler facilement le nombre de gaussiennes.
• Montre une robustesse à l’initialisation.

Avis de GN⁺

• Cet article présente une nouvelle approche du 3D Gaussian Splatting qui réduit la dépendance à l’initialisation et améliore la qualité.
• L’usage de la chaîne de Markov Monte Carlo (MCMC) et de la descente de gradient stochastique de Langevin (SGLD) est intéressant.
• Cette technique pourrait aider à générer des images de meilleure qualité dans le domaine du neural rendering.
• Elle offre une robustesse à l’initialisation, ce qui renforce son potentiel pour des applications pratiques.
• Il serait utile d’analyser ses avantages et ses inconvénients par rapport à d’autres techniques de neural rendering.

[GN⁺]

Commentaires sur Hacker News

• Il est appréciable que la technique 3DGS originale soit initialisée avec un nuage de points généré à l’aide du processus COLMAP traditionnel.
• Les résultats de l’article sont bons et j’apprécie qu’il fournisse une meilleure base formelle pour la manière de choisir les positions des splats, mais je ne comprends pas ce que représente l’image du haut.
• Le Gaussian Splatting est une technique très impressionnante et, à l’heure actuelle, c’est la meilleure façon de montrer des scènes photoréalistes en VR. J’aimerais voir davantage de cas d’usage concrets.
• J’aimerais clarifier si la principale différence de cet article consiste à ajouter une petite quantité de bruit à chaque mise à jour. J’ai lu tout l’article, mais je n’en suis toujours pas certain.
• Je me demande quelles sont les applications « grand public » de la 3D splatting. C’est très impressionnant, mais je ne vois pas bien si cela deviendra une technologie destinée aux utilisateurs finaux.
• C’est dommage que le PDF n’utilise pas hyperref. Il serait plus pratique de pouvoir cliquer sur les liens pour aller aux références citées.
• Encore un article basé sur la méthode d’Inria (licence non commerciale), alors qu’il existe plusieurs alternatives open source.
• Je ne comprends pas le texte.
• Contrairement aux approches existantes de 3D Gaussian Splatting, nous interprétons le processus d’entraînement consistant à placer et optimiser les gaussiennes comme un processus d’échantillonnage. Je me demande quelle est la différence concrète. Comme le MCMC échantillonne lui-même davantage dans les zones de plus forte probabilité, je me demande s’il s’agit simplement d’échantillonner davantage dans la partie basse de la distribution, ou bien de formaliser l’algorithme précédent afin de faciliter la manipulation de divers paramètres.