Google SIMA - Agent IA génératif pour les environnements virtuels 3D

• DeepMind a présenté Scalable Instructable Multiworld Agent (SIMA)
  • Google DeepMind possède une longue histoire dans l’IA et le jeu vidéo, des jeux Atari jusqu’au système AlphaStar capable de jouer à StarCraft II au niveau de grands maîtres humains
• SIMA est un agent IA généraliste pour les environnements virtuels 3D, capable de suivre des instructions en langage naturel dans différents univers de jeux vidéo
• Cette recherche vise à passer d’une approche centrée sur des jeux individuels à un agent d’IA de gameplay généraliste et pilotable par instructions
• Le système a été entraîné en collaboration avec plusieurs développeurs sur différents jeux vidéo
• Elle montre pour la première fois qu’un agent IA peut comprendre un large éventail d’univers vidéoludiques et y exécuter des tâches à partir d’instructions en langage naturel

Apprendre à partir des jeux vidéo

• SIMA a été entraîné et testé sur 9 jeux vidéo différents, dont Hello Games No Man’s Sky et Teardown de Tuxedo Labs
• Pour l’exposer à des environnements variés, DeepMind a travaillé avec des développeurs de jeux et noué des partenariats avec 8 studios
• SIMA a appris diverses compétences, de l’exploration simple et de l’utilisation des menus jusqu’à l’extraction de ressources, le pilotage d’un vaisseau spatial et la fabrication d’un casque
• Il a également été utilisé dans 4 environnements de recherche, dont Construction Lab, un nouvel environnement construit avec Unity

SIMA : un agent IA polyvalent

• SIMA est un agent IA capable de percevoir et de comprendre différents environnements, puis d’agir pour atteindre l’objectif demandé
• Il comprend un modèle destiné à un alignement image-langage précis ainsi qu’un modèle vidéo qui prédit ce qui va se passer ensuite à l’écran
• Il n’a pas besoin d’accéder au code source des jeux ni à des API spécifiques : seules l’image à l’écran et de simples instructions en langage naturel fournies par l’utilisateur sont nécessaires
• SIMA exécute ces instructions en contrôlant le personnage principal du jeu via des sorties clavier et souris

Généralisation dans les jeux et au-delà

• Les agents entraînés sur plusieurs jeux obtiennent de meilleures performances que ceux entraînés sur un seul jeu
• Davantage de recherche est nécessaire pour atteindre des performances de niveau humain, non seulement dans les environnements d’entraînement, mais aussi dans des environnements jamais vus
• Les performances de SIMA dépendent du langage ; sans entraînement linguistique ni instruction, il agit de manière adéquate mais sans objectif

Faire progresser la recherche sur les agents IA

• Les résultats de SIMA montrent le potentiel du développement d’agents IA généralistes fondés sur le langage
• Il s’agit d’une recherche à un stade précoce, et l’on peut s’attendre à de nouveaux progrès en intégrant davantage d’environnements d’entraînement et des modèles plus performants
• L’objectif final est de construire des systèmes et agents d’IA généralistes capables de comprendre et d’exécuter en toute sécurité diverses tâches utiles pour les personnes, en ligne comme dans le monde réel

L’avis de GN⁺

• SIMA constitue une recherche importante qui montre la capacité de l’IA à comprendre des consignes et à agir comme un humain dans des environnements variés
• Ce type de recherche pourrait ouvrir la voie à un futur où l’IA irait au-delà de la simple exécution de tâches pour mener des plans stratégiques complexes et du multitâche
• Cependant, beaucoup de recherche et de progrès restent nécessaires pour que l’IA atteigne un niveau de performance humain
• Il faut discuter de la manière dont cette technologie pourrait être appliquée à la résolution de problèmes du monde réel, ainsi que des limites potentielles de la capacité de généralisation de l’IA
• Parmi les autres projets d’IA aux fonctionnalités similaires, on trouve OpenAI Gym, une plateforme d’IA permettant d’apprendre à partir de différents jeux vidéo

[GN⁺]

Commentaires sur Hacker News

• Impossible d’oublier la présentation d’OpenAI à TI7, où il pouvait affronter des joueurs professionnels de Dota. Dota est un jeu extrêmement complexe et difficile. Cette expérience a provoqué un grand tournant dans ma carrière.
• J’espère que les développeurs pourront utiliser cette technologie pour insuffler davantage de vie aux PNJ. La promesse de PNJ menant une vie autonome dans plusieurs RPG n’a jamais vraiment débouché sur des résultats visibles, mais avec l’IA, on s’en rapproche peut-être enfin.
• L’usage de bots, déjà un problème grave dans les MMORPG, déforme l’économie des joueurs et dégrade l’expérience de jeu de tout le monde. Le jeu du chat et de la souris pour stopper ces gold farmers va devenir bien plus difficile.
• La science-fiction selon laquelle l’apocalypse robotique deviendrait réalité n’est plus vraiment de la science-fiction. En effet, des jeux violents « intéressants » sont bien moins coûteux et bien plus riches qu’un simulateur de réalité ennuyeux.
• Son utilisation comme outil de CI pour le développement de jeux serait intéressante. Des tests de playthrough de bout en bout qui valident non seulement l’UI, mais aussi l’écriture et le déroulement du jeu. J’imagine recevoir des rapports comme : « Temps nécessaire pour couper le premier arbre : +20 % ».
• Cette technologie + la technologie Vtuber + un chatbot qui interagit avec le public + la technologie de conversion vocale == automatisation des influenceurs gaming
• Je me demande à quel point SIMA pourrait bien se comporter par rapport à AlphaStar de DeepMind dans StarCraft II, si je donnais des instructions de haut niveau et que SIMA les exécutait. Puis j’ai ce pressentiment inquiétant que ce type de jeu de guerre est peut-être déjà en cours de test. Il faudra aussi des garde-fous inversés pour que l’IA soulève des inquiétudes et demande confirmation avant d’exécuter certaines requêtes.
• Ça fait penser à Ender’s Game : on trompe un enfant en lui faisant croire qu’il joue à un jeu vidéo sur ordinateur, alors qu’en réalité il extermine une espèce extraterrestre.
• La blague « GeForce GTX G-Assist » de Nvidia en avril 2017 pourrait bientôt devenir réalité.
• Étonné de voir qu’ils utilisent Transformer-XL depuis 2019 — je ne savais pas qu’il y avait encore des gens qui utilisaient des architectures comme XLNet.