MeshAnything, une technique qui convertit des représentations 3D en maillages 3D efficaces

MeshAnything : génération de maillages créés par des artistes

Vue d’ensemble

• MeshAnything imite la manière dont des artistes humains extraient des maillages à partir de représentations 3D.
• Il peut être combiné à divers pipelines de production d’actifs 3D afin de générer des maillages créés par des artistes (AM) exploitables dans l’industrie 3D.

Comparaison avec les méthodes existantes

• MeshAnything génère des maillages avec des centaines de fois moins de faces, ce qui améliore fortement l’efficacité du stockage, du rendu et de la simulation.
• Il atteint un niveau de précision comparable à celui des méthodes existantes.

Méthode

• MeshAnything est un transformeur autorégressif qui génère des maillages créés par des artistes adaptés à une forme 3D donnée.
• Il échantillonne un nuage de points à partir de l’actif 3D fourni, l’encode en caractéristiques, puis l’injecte dans un transformeur à décodeur seul.
• Au lieu d’apprendre la distribution de formes 3D complexes, il construit efficacement la forme via une topologie optimisée.

Plus de résultats

• En s’intégrant à diverses méthodes de production d’actifs 3D, il permet une génération de maillages créés par des artistes hautement contrôlable.
• MeshAnything produit des maillages avec une meilleure topologie et moins de faces, et peut générer une topologie totalement différente tout en conservant une forme similaire.

L’avis de GN⁺

• Efficacité : MeshAnything génère des maillages avec bien moins de faces que les méthodes de génération existantes, améliorant fortement l’efficacité du stockage et du rendu.
• Applicabilité : il peut s’intégrer à divers pipelines de production d’actifs 3D, ce qui lui donne un fort potentiel d’usage dans l’ensemble de l’industrie 3D.
• Atout technique : il peut construire efficacement des formes via une topologie optimisée sans apprendre la distribution de formes 3D complexes.
• Regard critique : l’adoption d’une nouvelle technologie peut poser des problèmes de compatibilité avec les systèmes existants ou entraîner une courbe d’apprentissage initiale.
• Alternative recommandée : parmi les projets aux fonctionnalités proches, on peut citer MeshGPT ; il est utile de comparer les avantages et les limites de chaque projet.

[GN⁺]

Avis Hacker News

• Dans un contexte où les articles sur la génération de modèles 3D sont souvent critiqués, cette recherche est bienvenue. Dommage toutefois pour la licence non commerciale. D’après les informations sur GitHub, la génération d’un mesh prend environ 7 Go et 30 secondes sur un GPU A6000, et ne permet de produire que des meshes de moins de 800 faces.
• C’est l’un des meilleurs résultats vus pour la génération low-poly. Cela reste encore un mesh triangulaire, mais on progresse.
• L’objectif final est d’obtenir des polygones majoritairement en quadrilatères, du lissage/pli des arêtes, des UV de texture naturels, et la génération de textures PBR via des textures répétées. Ensuite, il faudra aller vers l’inférence de modèles CAD à partir d’images.
• Il faut un PC puissant et des logiciels coûteux pour traiter de gros meshes ou des nuages de points générés par scan LiDAR ou photogrammétrie. Pouvoir réduire la taille des meshes afin de les partager sur le web serait utile.
• J’ai déjà traité manuellement des scans de nuages de points. Cela avait généré 450 Go de données, et un projet précédent faisait 2,1 To. L’échelle de cet article donne l’impression d’un jouet, mais il faut bien commencer quelque part.
• Présenter des meshes générés par IA comme s’ils étaient « créés par des artistes » est trompeur.
• J’ai apprécié que la section sur l’impact social mentionne la réduction du coût du travail. Il est important de souligner qu’il ne s’agit pas de supprimer le besoin d’artistes.
• Je compte tester quelques modèles complexes.
• MeshAnything génère des meshes avec des centaines de fois moins de faces, ce qui améliore fortement l’efficacité du stockage, du rendu et de la simulation.
• J’ai essayé la démo en ligne, mais des trous sont apparus dans le mesh de sortie alors qu’ils n’existaient pas dans l’original. Je me demande s’il n’y a pas un problème dans l’algorithme.
• Le mesh converti n’est pas efficace, et il contient beaucoup de n-gons, ce qui nécessite un travail de retopologie.