L’univers dans un Transformer, Oasis

Oasis : l’univers dans un Transformer

• Présentation d’Oasis

  • Oasis est un jeu vidéo en monde ouvert en temps réel généré par l’IA.
  • Il reçoit les entrées clavier de l’utilisateur et génère en temps réel la physique, les règles du jeu et les graphismes.
  • Il fonctionne uniquement à partir d’un modèle de base, sans moteur de jeu.
  • Il montre qu’une vidéo en temps réel est possible grâce au moteur d’inférence de Decart.

• Résultats de gameplay

  • Oasis comprend des mécaniques de jeu complexes.
  • Il est capable de générer divers paramètres, lieux et objets.
  • Il peut gérer dans le jeu la construction, la physique de l’éclairage, la gestion de l’inventaire, etc.

• Architecture

  • Le modèle se compose d’un autoencodeur spatial et d’un backbone de diffusion latente.
  • Il est basé sur des Transformer, en s’appuyant sur ViT et DiT.
  • Il génère les frames de manière autorégressive, ce qui permet une interaction en temps réel.

• Performances

  • Oasis génère une sortie en temps réel à 20 images par seconde.
  • Il atteint une cadence d’images jouable grâce à la stack d’inférence de Decart.
  • Il est optimisé pour le Transformer ASIC d’Etched, Sohu.

• Exploration future

  • Certains problèmes peuvent être résolus en faisant évoluer le modèle et en élargissant le dataset.
  • Des techniques d’optimisation supplémentaires sont en cours de développement pour réaliser efficacement un entraînement à grande échelle.

Le résumé de GN⁺

• Oasis est un jeu en monde ouvert en temps réel généré par l’IA, qui met en avant une technologie innovante basée sur les Transformer.
• Il se distingue par une vitesse d’inférence rapide qui permet une interaction en temps réel.
• Combiné à un nouveau matériel comme Sohu, il ouvre la possibilité de prendre en charge des modèles à grande échelle.
• Cette technologie a un potentiel d’application non seulement dans le jeu vidéo, mais aussi dans divers produits grand public.
• Parmi les projets aux fonctions similaires figurent Sora d’OpenAI et Mochi-1 de Genmo.