Créer des images d’arrière-plan de jeu avec Stable Diffusion (le cas de Tales of Syn)

Tales of Syn( https://www.youtube.com/watch?v=ejw6OI4_lJw ) explique en détail le processus utilisé pour créer les décors d’un RPG 2D isométrique (souvent appelé vue en quart) avec Stable Diffusion.

Outils utilisés :

• Stable Diffusion v1.5
• Automatic1111 WebUI
• Plugin Photoshop Alpaca
• Boosting Monocular Depth
• Substance Designer
• Unity URP
• Amplify Shader Editor

Au début, le nombre de steps était réglé trop bas, ce qui donnait de mauvais résultats, mais en l’augmentant à plus de 100 et en appliquant un CFG (classifier free guidance) de 15 à 30, ils ont obtenu des résultats plus intéressants.

Les images générées ont été retouchées dans Photoshop, puis leur résolution a été augmentée à l’aide d’un plugin Stable Diffusion appelé Alpaca.

Pour supprimer l’éclairage existant et ajouter l’éclairage souhaité, il fallait une normal map de la scène 2D. La génération de la depth map de l’image a donc été automatisée à l’aide de MiDaS et LeRes de Boosting Monocular Depth.

La depth map MiDaS ainsi générée et l’image de depth map LeRes inversée ont ensuite été converties en normal map dans Substance Designer à l’aide du nœud Height to Normal World Units, puis combinées avec un nœud de normal blend.

En utilisant les depth maps et normal maps d’un shader Unity URP personnalisé créé avec Amplify Shader Editor, ils ont tenté d’ajouter un subtil faux effet de perspective 3D aux mouvements de caméra via le parallax occlusion mapping, mais comme la profondeur n’était pas précise pour une vue isométrique, le résultat n’était pas très convaincant.

Ils ont aussi essayé d’ajouter des ombres de lumière directionnelle en implémentant des ombres par normal mapping, mais cela ne convenait pas à un véritable éclairage. Cela pourrait toutefois servir dans un pass d’éclairage personnalisé pour gérer l’ombrage de personnages 3D.

Après avoir découpé une image 2K en quatre parties, ils ont augmenté la résolution de chacune via img2img en réutilisant le même prompt qu’au départ, mais les raccords entre les bords ne correspondaient pas. Ils ont donc finalement créé, par le même procédé, des images de jonction pour relier les quatre images upscalées existantes, puis les ont assemblées dans Photoshop pour obtenir au final une image 4K.

GeekNews associé :
https://fr.news.hada.io/topic?id=7206

[kaykim]

Le développeur a également partagé les autres étapes du processus de développement :

Créer des modèles de personnages 3D avec Stable Diffusion :
https://talesofsyn.com/posts/creating-3d-character-models

Ajuster finement un modèle DreamBooth au style isométrique :
https://talesofsyn.com/posts/fine-tuning-isometric-style