unityctl - un outil CLI qui permet à des agents IA de contrôler directement l’éditeur Unity

Même si divers agents d’IA pour le code progressent rapidement ces derniers temps, dans des outils centrés sur une interface graphique comme Unity, il reste difficile pour l’IA d’exécuter seule la boucle de feedback consistant à « corriger le code, lancer réellement le jeu, puis vérifier le résultat ».

Le projet a été développé pour créer un environnement où des agents IA peuvent manipuler Unity comme s’il s’agissait d’un programme en ligne de commande et effectuer des tests de manière autonome.

​Fonctionnalités principales
​Contrôle du mode Play : permet de piloter les états Play/Stop/Pause d’Unity depuis un environnement CLI.

​Compilation et tests : déclenche depuis le terminal le rechargement des scripts de l’éditeur, la compilation des assets et l’exécution des tests unitaires.

​Capture d’écran : capture l’écran pendant le mode Play afin que l’IA puisse vérifier visuellement le résultat via un modèle multimodal (Vision).

​Cas d’usage
​En fournissant à un agent d’IA pour le code des instructions sur l’utilisation de unityctl, il est possible de mettre en place une boucle d’automatisation où l’IA lance le jeu, prend des captures d’écran et corrige les bugs de manière autonome.

​Pratique aussi bien dans un environnement de développement local que dans un environnement CI/CD, en laissant Unity ouvert pour écrire des scripts d’automatisation basés sur le terminal.
​Tous les retours et PR sont les bienvenus pour celles et ceux qui s’intéressent à l’automatisation d’Unity ou à son intégration avec l’IA.