Créer un modèle de personnage 3D avec Stable Diffusion (Tales of Syn)

Tales of Syn applique largement l’IA générative au processus de développement du jeu, depuis les dialogues avec les PNJ jusqu’aux images d’arrière-plan des niveaux (cartes) et à la création des personnages. Cet article présente le processus (workflow) de création d’un modèle de personnage 3D avec Stable Diffusion.

[Processus de travail]

1. Conversion dans Automatic1111 WebUI d’un croquis réalisé sur iPad avec Artstudio Pro.

2. Lors de la génération, plusieurs images sont créées (environ 9 par génération, puis l’opération est répétée), puis les résultats sont superposés en calques dans Photoshop avant de sélectionner et combiner uniquement les parties souhaitées.

3. Le croquis initial de l’étape 1 est transformé en modèle dans ZBrush à l’aide de DynaMesh.

4. L’image finale du personnage de l’étape 2 est importée dans Spotlight, puis, à l’aide d’un outil pinceau configuré avec RGB et Zadd désactivés, les informations de l’image sont appliquées en polypainting sur le mesh dont les vertex colors sont enregistrées.

5. Création des UV avec UVMaster, génération d’une Normal Map dans Substance Painter, puis export pour Unity URP.

[Améliorations à venir]

• Création d’un mesh de base détaillé pouvant être réutilisé pour d’autres personnages similaires

• Exécuter un second passage de projection de texture dans Substance Designer pour obtenir des textures de meilleure qualité

• Création d’animations personnalisées adaptées à ce personnage

• Explorer d’autres processus d’IA pour automatiser ou améliorer le workflow