Meta 3D Gen - générer des assets 3D à partir de texte

• Nouveau pipeline rapide de pointe pour générer des assets 3D à partir de texte
• 3DGen peut générer en moins d’une minute des formes et textures 3D de haute qualité avec une forte fidélité au prompt
• Prend en charge le PBR (rendu basé sur la physique), nécessaire au rééclairage des assets 3D dans des applications du monde réel
• Peut modifier de manière générative les matériaux de formes 3D déjà créées (ou réalisées par des artistes) à l’aide d’une entrée textuelle supplémentaire fournie par l’utilisateur
• 3DGen intègre deux composants technologiques clés développés par Meta : Meta 3D AssetGen pour la génération de 3D à partir de texte et Meta 3D TextureGen pour la génération de textures à partir de texte
• En combinant ces deux technologies, 3DGen représente les objets 3D simultanément de trois façons : dans l’espace de vue, l’espace volumique et l’espace UV (ou texture)
• Atteint un taux de victoire de 68 % par rapport à un modèle en une seule étape
• 3DGen est bien plus rapide tout en dépassant les benchmarks de l’industrie en matière de fidélité au prompt et de qualité visuelle sur des prompts textuels complexes

Article associé

Meta 3D AssetGen : génération texte-vers-maillage avec géométrie, textures et matériaux PBR de haute qualité

• AssetGen constitue une avancée importante de la génération 3D à partir de texte, en produisant des maillages fidèles et de haute qualité avec contrôle des textures et des matériaux
• Contrairement au baking de l’éclairage sur l’apparence d’objets 3D, AssetGen produit des matériaux PBR compatibles avec un vrai rééclairage
• AssetGen génère d’abord plusieurs vues de l’objet avec des canaux d’apparence factorisés d’ombrage et d’albédo, puis reconstruit en 3D la couleur, la métallité et la rugosité en utilisant une perte de deferred shading pour une supervision efficace
• Il utilise aussi une signed distance function pour représenter la forme 3D de manière plus stable et introduit la perte correspondante pour une supervision directe de la géométrie
• Après extraction du maillage, un transformeur d’amélioration de texture opérant dans l’espace UV améliore fortement la netteté et le niveau de détail
• AssetGen obtient des améliorations de 17 % sur la distance de Chamfer et de 40 % sur LPIPS par rapport au meilleur travail contemporain pour la reconstruction à partir d’un petit nombre de vues, et atteint une préférence humaine de 72 % face au meilleur concurrent industriel de vitesse comparable prenant en charge le PBR

Meta 3D TextureGen : génération de textures rapide et cohérente pour les objets 3D

• La disponibilité récente et l’adaptabilité des modèles texte-image ont ouvert une nouvelle ère dans de nombreux domaines connexes, comme la génération de textures
• Les méthodes récentes de génération de textures obtiennent des résultats impressionnants avec des réseaux texte-image, mais la combinaison cohérence globale, qualité et vitesse est essentielle pour faire progresser la génération de textures vers des applications réelles
• Présentation de Meta 3D TextureGen, une nouvelle méthode feed-forward composée de deux réseaux séquentiels pour générer, en moins de 20 secondes et pour une géométrie arbitraire, des textures de haute qualité cohérentes à l’échelle globale
• 3DGen obtient des résultats de pointe en qualité et en vitesse en conditionnant des modèles texte-image sur la sémantique 3D dans l’espace 2D, puis en les fusionnant en une carte de texture UV complète et haute résolution
• Introduit aussi un réseau d’amélioration de texture capable d’upscaler les textures à un facteur arbitraire afin de générer des textures en résolution 4k

Avis de GN+

• 3DGen semble être une avancée majeure dans le domaine de la génération d’assets 3D. Une technologie capable de produire rapidement des modèles 3D de haute qualité à partir de prompts textuels pourrait être utilisée dans de nombreux domaines, notamment le jeu vidéo, le cinéma et le design
• En particulier, la prise en charge des matériaux PBR et la possibilité de modifier les textures de modèles 3D déjà créés devraient renforcer son utilité en pratique
• Il restera toutefois difficile d’interpréter précisément le sens des prompts textuels et de générer des modèles 3D exactement conformes à l’intention. Des progrès en prompt engineering semblent aussi nécessaires
• On peut se demander comment les experts du modeling 3D exploiteront cette technologie et quel impact elle aura sur l’expression de la créativité. Il semble aussi nécessaire de comparer ses différences, avantages et limites par rapport aux outils de modélisation 3D existants
• Il existe aussi d’autres solutions offrant des fonctions similaires, comme GET3D de Nvidia et Imagine 3D de Luma Lab. Une analyse comparative de leurs avantages et inconvénients en matière de performances et d’utilisabilité serait utile
• À mesure que les progrès de la génération de modèles 3D permettront à tout le monde de créer facilement les modèles souhaités, de nouvelles questions pourraient émerger, comme le droit d’auteur sur les modèles 3D ou les risques d’abus. Une discussion sociale et un consensus sur ces sujets semblent nécessaires

[GN⁺]

Avis sur Hacker News

• Un utilisateur voit d’un bon œil les progrès de la modélisation 3D comme un aspect majeur de l’IA générative, et mentionne en particulier la difficulté de créer des assets pour la VR

  • Il s’intéresse à la possibilité qu’une IA puisse créer, à partir d’entrées textuelles, de photos, de LIDAR, etc., des modèles permettant d’imprimer en 3D des objets du monde réel

• Un autre utilisateur souligne que la création de contenus VR demande énormément de travail et espère que les outils de génération de modèles 3D seront un moteur majeur du métavers

• Un autre utilisateur estime que tous les services récents de conversion de texte/image en modèles 3D ont produit des résultats inutilisables

• Un utilisateur mentionne qu’il est très impressionnant de faire tourner tout le système avec une pipeline de texturing PBR

  • Il se demande si l’utilisation des SDFs (signed distance fields) peut entraîner une mauvaise topologie
  • Il mentionne un article sur la construction d’une topologie prête pour le jeu et pense qu’un rigging pour l’animation serait possible

• Un autre utilisateur fait remarquer qu’on peut voir que la topologie n’est pas bonne à cause de l’absence de wireframe

• Un utilisateur pense qu’il s’agit d’une nouvelle étape pionnière dans la reproduction numérique du réel

  • Il estime que si cela peut réagir à l’état d’une personne, on pourrait apprendre dans un environnement sûr des scénarios difficiles à gérer dans la réalité
  • Il ajoute qu’on pourrait ensuite revenir dans le monde réel comme après une nouvelle naissance, fort des leçons apprises dans le monde virtuel

• Un autre utilisateur s’attend à ce qu’une simple conversion 3D-to-3D devienne bientôt possible

  • Il aimerait s’en servir pour upscaler les meshes et textures d’anciens jeux

• Un utilisateur imagine qu’avec l’apport d’un artiste, les modèles générés pourraient être modifiés plus tard ou utilisés comme point de départ

  • Il mentionne aussi la possibilité d’appliquer un filtre PS1 pour créer un jeu rétro

• Meta 3D Gen est considéré comme une avancée importante dans la génération de contenu 3D pour les applications VR

  • Sa capacité à générer des modèles 3D détaillés à partir d’une entrée textuelle pourrait considérablement raccourcir le processus de création de contenu
  • Cependant, la technologie actuelle rencontre encore des difficultés pour générer une géométrie détaillée de haute qualité
  • L’intégration du texturing PBR est prometteuse, mais la vraie question est de savoir à quel point les modèles pourront être affinés et exploités dans des applications réelles

• Enfin, un utilisateur dit vouloir voir une technique de remplacement à la reconstruction de surface par screened Poisson utilisant des réseaux de neurones

  • Il mentionne avoir vu MeshAnything, mais estime que ce n’est pas l’objectif final