- Récit du parcours autour d’un projet de création d’un jeu de plateforme 2D dans lequel le joueur conçoit son propre niveau et l’IA génère l’image rendue.
- À partir d’une image de blocs dessinés, une tentative de génération a été faite avec le mode ControlNet Depth sur un modèle entraîné sur des images pixelisées, mais les résultats n’étaient pas bons.
- En passant au mode Scribble et en affinant continuellement le prompt, des résultats un peu meilleurs ont été obtenus.
- Comme il n’était pas nécessaire que les tuiles se répètent, le modèle pixel a été remplacé par un modèle d’illustration pour enfants, ce qui a permis d’obtenir des images picturales non répétitives.
- Même si les résultats semblaient bons, les limites du mode Scribble faisaient apparaître trop souvent des images où il était impossible de savoir où se trouvait le sol.
- Retour au mode Depth, mais en ajoutant des plateformes blanches au-dessus des blocs, il a été possible d’obtenir des images où le sol sur lequel le joueur peut se tenir était toujours clairement distingué.
- Cependant, même en ajustant le prompt, seuls des arrière-plans monotones étaient obtenus.
- Pour résoudre cela, les éléments comme les plateformes, les blocs, les piliers des blocs et l’arrière-plan ont tous été séparés afin d’ajuster la profondeur, ce qui a permis d’obtenir des images de bien meilleure qualité.
- Enfin, en remplaçant les blocs carrés par des formes irrégulières, le sol n’était plus rectangulaire et l’image finale a pu paraître plus proche du monde réel.
- Comme une depth map est disponible, le monde est segmenté à partir de celle-ci afin de placer les objets et le joueur aux positions appropriées.
- L’ensemble de ces éléments a été réuni pour être publié sous forme de jeu réel.
2 commentaires
Il y aura sans doute davantage de développeurs solo. C’est une évolution souhaitable.
Je me dis à quel point ControlNet est vraiment impressionnant, et que le jour où une révolution de l'IA arrivera aussi dans le jeu vidéo n'est probablement plus très loin.