- LL3M utilise plusieurs grands modèles de langage pour écrire automatiquement du code Python et générer et éditer des assets 3D dans Blender
- À partir d’instructions textuelles, il crée directement des formes créatives et précises et implémente en code des manipulations géométriques complexes
- Contrairement aux outils existants de génération de modèles 3D, il offre une création d’assets sans contrainte et des interactions fines
- Le code Blender généré est clair et présente une forte transparence des paramètres, ce qui permet aux utilisateurs ou aux agents de le modifier facilement ou de l’améliorer de façon itérative
- Il montre de larges possibilités de traitement d’assets 3D, comme la stylisation cohérente, l’édition de matériaux et la mise en œuvre de hiérarchies
Présentation de LL3M
- LL3M est un framework innovant dans lequel plusieurs agents LLM écrivent du code Python pour générer et éditer des assets 3D dans Blender
- Lorsque l’utilisateur donne des instructions en texte, LL3M automatise la génération de formes créatives et les manipulations géométriques précises, et utilise du code de haut niveau comme représentation 3D afin de permettre l’amélioration itérative et le travail collaboratif
- Le code est expliqué de manière claire, avec des paramètres et des structures rendus transparents, ce qui facilite les éditions supplémentaires et le feedback continu de l’utilisateur
Vue d’ensemble du pipeline
- Le pipeline se compose de trois grandes étapes (génération initiale, amélioration automatique, amélioration fondée sur le feedback utilisateur)
- Lors de l’étape de génération initiale, une forme de base est créée, tandis que LL3M détecte et améliore automatiquement les structures logiquement inadaptées ou les éléments géométriques trop simples
- La deuxième étape applique des corrections automatiques plus raffinées et prend aussi en compte des formes ou relations complexes
- La dernière étape accepte les demandes d’édition supplémentaires de l’utilisateur et permet une génération d’assets 3D interactive et itérative
- Chaque étape met en œuvre une méthode d’amélioration itérative et progressive fondée sur une répartition des rôles entre les agents
Galerie et performances
- Génération de formes variées : moulins à vent, pianos, batteries, etc., avec implémentation en code d’agencements complexes et de détails fins
- Application d’un style cohérent : en appliquant la même instruction
steampunk à plusieurs meshes (chapeaux), le système produit des résultats variés tout en conservant un style commun
- Prise en charge de l’édition des matériaux : par exemple, seule la partie lame peut être définie avec des nœuds de shader distincts afin d’en modifier le matériau
Interprétabilité du code
- Le code généré inclut une logique structurelle, des noms de variables explicites et des commentaires, ce qui le rend facile à comprendre et à modifier
- Exemple : il est possible de modifier directement la logique du motif d’un clavier ou les variables de largeur des touches
- Les nœuds Blender et les paramètres restent visibles tels quels, ce qui permet d’ajuster intuitivement des propriétés visuelles comme la couleur ou les motifs
Réutilisabilité et généralité du code
- Même entre des formes différentes, des motifs de code de haut niveau comme les boucles, modificateurs et configurations de nœuds sont réutilisés
- Cela permet de générer, à partir de prompts variés, un code modulaire et modifiable
Scène et hiérarchie
- Le système crée plusieurs objets et place automatiquement leurs relations spatiales via instancing et parenting
- Exemple : lors de la création d’un objet composite comme une lampe, il reflète une structure de relation parent-enfant afin que les transformations se propagent de manière hiérarchique
- Chaque partie reçoit un nom sémantique pertinent, ce qui permet une gestion efficace dans le scene graph de Blender
Aucun commentaire pour le moment.