CityGaussian : rendu en temps réel de grande scènes à haute qualité grâce aux gaussiennes

 (dekuliutesla.github.io)
1 points par GN⁺ 2024-04-03 | 1 commentaires | Partager sur WhatsApp

CityGaussian : une méthode gaussienne pour le rendu rapide et haute qualité de scènes à grande échelle

  • CityGaussian (CityGS) propose une nouvelle approche pour l'entraînement efficace et le rendu en temps réel du 3D Gaussian Splatting (3DGS) à grande échelle.
  • Grâce à des connaissances globales préalables sur la scène et à une sélection adaptative des données d'entraînement, cette approche permet un entraînement efficace et une fusion sans couture.
  • À partir de données primitives gaussiennes, elle génère de manière compressée plusieurs niveaux de détail, puis réalise un rendu rapide à différentes échelles via la stratégie proposée de sélection et d'agrégation du niveau de détail par blocs.
  • Des résultats expérimentaux étendus sur des scènes de grande taille montrent que cette approche atteint une qualité de rendu de pointe et permet un rendu cohérent en temps réel de grandes scènes à des échelles très différentes.

Comparaison avec l'état de l'art

  • Technique LoD sans CityGS : MatrixCity est représenté avec 25 millions de gaussiennes et, testé sur A100, n'atteint que 18 FPS, ce qui entraîne une expérience de déplacement désagréable.
  • Technique LoD avec CityGS : grâce à la prise en charge du LoD, CityGS peut être rendu en temps réel à des échelles très différentes, avec une vitesse moyenne de 36 FPS lors des tests sur A100.

Comparaison visuelle

  • La qualité de rendu supérieure de CityGS est comparée visuellement à celle de techniques existantes comme MegaNeRF, SwitchNeRF, GPNeRF et 3DGS.

Avis de GN⁺

  • CityGaussian représente une avancée technique importante pour le rendu en temps réel de grandes scènes 3D. Cela renforce son potentiel d'application dans des domaines comme la réalité virtuelle, le développement de jeux, l'urbanisme et la simulation.
  • Le rendu en temps réel améliore fortement l'expérience utilisateur, et la fréquence d'images élevée offerte par CityGaussian devrait rendre cette expérience plus fluide et plus réaliste.
  • Cependant, les technologies de rendu en temps réel nécessitent généralement des ressources de calcul haute performance, ce qui peut constituer une limite en matière de coût et d'accessibilité.
  • Pour que cette technologie soit largement adoptée, il faudra, en parallèle des progrès matériels, une amélioration continue des techniques d'optimisation.
  • Par ailleurs, d'autres projets ou produits utilisant des technologies similaires à CityGaussian peuvent exister sur le marché ; les utilisateurs devront donc comparer plusieurs options afin de choisir la solution la mieux adaptée à leurs besoins.

À lire aussi

1 commentaires

 
GN⁺ 2024-04-03
Avis Hacker News
  • Présentation d’un projet expérimental combinant les tuiles 3D de Google Maps et le Gaussian Splatting. Cette technique permet d’obtenir un rendu proche du réel, avec des exemples de code fournis.
  • Le jeu de données utilisé dans la vidéo est « Matrix city », qui semble avoir été extrait de la démo Matrix d’Unreal Engine 5 sortie il y a quelques années. Il est supposé avoir été produit avec des techniques de photoréalisme plutôt qu’à partir de photos.
  • La fréquence d’images moyenne est de 36 images par seconde, testée sur une carte graphique A100. Cette carte graphique coûte environ 8 000 $.
  • La technique appelée Gaussian Splatting porte le nom de Gauss ; même s’il ne l’a pas inventée lui-même, il a fortement contribué à ses fondements mathématiques.
  • Une question technique est posée sur le fait de savoir si la technologie qui a permis à Unreal Engine de montrer récemment des démos impressionnantes est bien le Gaussian Splatting.
  • Un commentaire dit attendre de voir sous quelle licence cette technologie sera publiée et aimerait la voir utilisée dans des jeux open source.
  • On trouve aussi des réactions curieuses sur cette technique avancée de rendu de grandes scènes à l’aide de gaussiennes 3D, avec l’envie de tester le code.
  • Un avis souligne que cette technologie ne semble pas faire nettement mieux que le jeu de simulation urbaine existant « Cities: Skylines » et qu’il est difficile d’évaluer l’effet réel puisqu’on ne voit qu’un nombre limité d’images.
  • Un commentaire met en doute l’utilité réelle du Gaussian Splatting 3D. Il exprime la crainte que le rendu soit trop lent et que la quantité de données le rende peu pratique, tout en affirmant que la rastérisation sera toujours plus rapide que le ray tracing. Il mentionne aussi qu’il serait intéressant de générer une géométrie et des matériaux traditionnels à partir d’un nuage de points gaussien, tout en rappelant que la photogrammétrie est déjà utilisée depuis longtemps.
  • Une question est également posée sur les besoins en mémoire et en calcul de cette technologie.