civStation – un agent basé sur un VLM de computer-use pour contrôler Civilization VI au niveau stratégique (avec Human in the loop)

• Un harness de computer-use VLM pour jouer à Civilization VI via des commandes en langage naturel
  « Étendre vers l’est », « se concentrer sur l’économie », « victoire scientifique », etc. : saisie d’intentions de haut niveau → l’agent exécute les manipulations réelles

• Architecture en 3 couches séparant stratégie et exécution (Strategy / Action / HITL)

  • Strategy Layer : conversion du langage naturel en objectifs structurés, maintien d’une stratégie de long terme et décomposition des tâches
  • Action Layer : perception de l’état à l’écran (VLM) + exécution via souris/clavier (sans API du jeu)
  • HITL Layer : structure d’autonomie contrôlable permettant d’intervenir, de corriger ou d’interrompre pendant l’exécution

• Une stratégie est décomposée en plusieurs séquences d’actions, avec 2 à 16 appels au modèle par tâche

• Exécution par sous-agents, sur des tâches bornées comme la gestion des villes ou le déplacement des unités

• Une expérimentation d’« interface intent → action » plutôt que des approches classiques en RL/IL/script

• Une approche fondée non sur la manipulation directe, mais sur la délégation stratégique et l’orchestration d’agents

• Principaux enjeux techniques :

  • erreurs de perception du VLM,
  • dérive d’exécution,
  • difficulté à vérifier la réussite
  • hausse de la latence et du coût API dans les exécutions multi-étapes, baisse de qualité des stratégies de fallback

• Pas une automatisation complète, mais un pilotage avec human-in-the-loop permettant la modification et le contrôle stratégiques en temps réel

• Un système expérimental qui traite les problèmes de contrôle et de vérification d’agent dans un environnement limité à l’UI

• L’accent est mis moins sur le gameplay lui-même que sur « l’élévation de l’interface humain-système au niveau stratégique »

[bus710]

Quand on fonce à fond vers une victoire par domination, culturelle, scientifique ou diplomatique, on finit toujours par se faire prendre à revers par une victoire religieuse venue de nulle part.