Show GN : le plugin OpenClaw permet à des agents IA de contrôler directement les éditeurs Unity/Godot/Unreal

Dans les moteurs de jeu, des agents IA modifient directement les scènes, créent des objets et testent les jeux.

Je l’ai créé parce que je voulais générer un document de conception en Markdown et voir jusqu’où un agent IA pouvait aller.

On peut lui donner des consignes via Telegram depuis l’extérieur, et si on lui demande de prendre une capture d’écran et de l’envoyer, l’agent s’en charge.

J’ai créé trois plugins de moteur de jeu pour OpenClaw :

Plugin Unity (~100 outils)
• Création, modification et suppression de GameObject/Component
• Manipulation de Transform, Physics, Material
• Contrôle du mode Play + simulation des entrées clavier/souris
• Fonctionne aussi en mode éditeur (mode Play non requis)

Plugin Godot (30 outils)
• Gestion des scènes/nœuds, manipulation des ressources
• Contrôle de l’éditeur, lecture des scripts
• Mode Play + simulation des entrées

Plugin Unreal (40+ outils)
• Création, modification et suppression de Actor/Component
• Gestion des Blueprint et des niveaux
• Contrôle Play/Stop/Pause + simulation des entrées

Mode de fonctionnement :
• Installation via le gestionnaire de paquets de chaque moteur (Unity : UPM, Godot : AssetLib, Unreal : Marketplace)
• Le plugin exécute un serveur HTTP dans l’éditeur
• OpenClaw s’y connecte et expose l’API de l’éditeur comme outils d’agent
• Par chat, « place 3 personnages ennemis » → ils sont réellement placés dans la scène

Exemples de cas d’usage :
• « Trouve toutes les lumières de cette scène et réduis leur intensité de 50 % »
• « Crée un objet mur devant le personnage joueur »
• « Lance le jeu, avance pendant 10 secondes avec la touche W et prends une capture d’écran »

Au lieu de copier-coller du code depuis ChatGPT, l’IA manipule directement l’éditeur.

Je l’ai développé seul, et tout est open source (Apache 2.0).
• Unity : https://github.com/TomLeeLive/openclaw-unity-plugin
• Godot : https://github.com/TomLeeLive/openclaw-godot-plugin
• Unreal : https://github.com/TomLeeLive/openclaw-unreal-plugin

Et il existe aussi des personas IA spécialisées dans le développement de jeux pour OpenClaw : https://clawsouls.ai/souls (gamedev-mentor, game-designer, etc.)

Questions et retours bienvenus.