"Generative Interactive Environments"
- Un foundation world model entraîné sur des vidéos d’Internet, capable de générer des mondes jouables d’une diversité infinie à partir d’images synthétiques, de photos ou de croquis
- Entraîné sur de vastes jeux de données de vidéos Internet issus de jeux de plateforme 2D et de robotique, il peut être appliqué à n’importe quel domaine et étendu avec des jeux de données d’Internet
Apprendre le contrôle sans labels d’action
- Il est capable d’apprendre un contrôle fin à partir de seules vidéos Internet, ce qui est particulièrement difficile lorsque ces vidéos ne contiennent aucun label sur les actions ni sur les parties de l’image à contrôler
- Genie peut inférer quelles parties observables sont généralement contrôlables, ainsi qu’une variété cohérente d’actions latentes à travers les environnements générés
Rendre possible une nouvelle génération de créateurs
- Un seul image suffit pour créer un nouvel environnement interactif, offrant une nouvelle manière de générer et d’explorer des mondes virtuels
- Il est possible d’utiliser un modèle de génération texte-image de pointe pour créer l’image de départ, puis de lui insuffler de la vie avec Genie afin de créer un monde virtuel
- Il est également possible de générer des environnements virtuels à partir de croquis ou d’images du monde réel
Une base pour les agents généralistes
- Les environnements de jeu peuvent constituer un testbed efficace pour le développement d’agents IA, mais ils restent limités par le nombre de jeux disponibles
- Avec Genie, il devient possible d’entraîner des agents IA dans une infinité de nouveaux environnements générés, et il a été démontré que les actions latentes apprises par Genie peuvent se transférer vers des environnements réels conçus par des humains
L’avenir des mondes virtuels générés
- Ce site met l’accent sur les résultats des jeux de plateforme, mais Genie est une méthodologie générale applicable à de nombreux domaines
- Genie peut aussi simuler des objets déformables, une tâche difficile pour les simulateurs conçus par des humains qui peuvent apprendre à partir de données
- Genie devrait ouvrir l’ère de la génération de mondes entièrement interactifs à partir d’images ou de texte, et servir de catalyseur pour l’entraînement des futurs agents IA généralistes
1 commentaires
Gamini Gemini
Lui-là Gemma
Celle-là Genie