Le jeu vidéo le plus profond : un excellent outil cognitif pour la recherche
(thoughtforms.life)- Le puzzle game Baba is You entraîne la flexibilité mentale nécessaire pour comprendre la vie et l’esprit, et brouille les frontières entre données et algorithmes, systèmes cognitifs et contenu
- Sa structure, où changer la disposition des objets-mots modifie les règles du monde, remet en cause la distinction entre objets et règles, entre objets physiques et messages informationnels
- En biologie aussi, l’information moléculaire et bioélectrique influence la manière dont les cellules, les organes et les organismes interprètent le monde, ainsi que l’évolution ultérieure, créant des dynamiques autoréférentielles qui se transforment de l’intérieur
- Les expériences de cannibalisme chez les planaires de McConnell, les traces mnésiques, les active data et les agential memories montrent qu’une même matière peut être à la fois objet et support cognitif selon le niveau d’organisation
- Baba is You peut servir de prothèse mentale en réalité virtuelle pour entrer dans l’espace où se rencontrent biologie du développement, informatique et sciences cognitives, avec des possibilités d’extension basées sur le framework TAME et de combinaison avec l’IA
Le type de pensée que Baba is You entraîne
- Baba is You est à la fois un puzzle game exigeant et un outil qui pousse à casser les catégories habituelles quand on traite de la vie et de l’esprit
- Il amène en particulier à voir les distinctions suivantes non comme des dichotomies fixes, mais comme des relations plus continues et fluides
-
Données et algorithmes
-
Systèmes cognitifs et leur contenu
- Objets et messages informationnels
- Il convient bien comme outil d’introduction pour acquérir la souplesse mentale des domaines concernés, au point de pouvoir figurer sur une liste de préparation avant de rejoindre un laboratoire
- Le classique GEB de Hofstadter est aussi cité comme ressource de préparation comparable
-
Une structure de jeu qui fait s’effondrer la distinction entre objets et règles
- Dans le monde de Baba is You, il existe non seulement des propriétés physiques comme la position ou l’impassabilité, mais aussi des objets porteurs de sens
- Certains sens déterminent directement la physique du monde, et modifier la position relative des mots change le comportement des objets ainsi que les actions possibles pour le joueur
- Le fait de déplacer des objets pour former de nouvelles phrases devient en soi une manipulation qui modifie le fonctionnement du monde
- Cette structure débouche sur des questions concernant les messages, l’observateur, l’interprétation et les règles
- Comment distinguer dans le monde réel un objet qui serait simplement une chose d’un objet qui serait de l’information
- Existe-t-il vraiment une séparation dichotomique entre les deux
- La forme et les motifs peuvent-ils eux-mêmes devenir des agents
Une façon de reposer la question des lois physiques et biologiques
- La manipulation des règles dans le jeu s’étend à la question du statut des lois physiques dans le monde matériel
- Si les lois physiques émergent d’un certain aspect de l’univers, elles devraient en principe pouvoir être modifiées depuis l’intérieur de cet univers
- À l’inverse, si les lois physiques n’émergent pas de l’univers, alors se pose la question de l’origine de ces lois dans le concept de Universe avec un grand U
- Certaines lois biologiques, elles, peuvent être modifiées de l’intérieur
- L’information moléculaire et l’information bioélectrique influencent la manière dont les voies moléculaires, les cellules, les organes et les organismes interprètent l’information biologique
- Cette information peut aussi influer sur la manière dont se déploie l’évolution par la suite
- Ce processus est fondamentalement une dynamique autoréférentielle
Des cas biologiques où objet et message coexistent
- Dans l’étude classique de McConnell sur le cannibalisme chez les planaires, des planaires entraînés sont mangés par des hôtes sans expérience préalable, et de l’information comportementale est transmise
- L’archive d’articles associée est disponible ici : Cannibalism and learning in planaria
- Dans ce cas, la trace chimique de mémoire du donneur est à la fois de la nourriture pour l’hôte et une mémoire que les tissus de l’hôte interprètent pour orienter le comportement
- Plus largement, les traces de mémoire constituées d’ARNm, de protéines et d’autres substrats ont des caractères différents selon le niveau d’organisation
- Au niveau moléculaire, ce sont des objets physiques
- Au niveau de l’organisme, ce sont des supports cognitifs
Logiciel, matériel et données actives
- Baba is You fait éclater la vision dichotomique entre logiciel et machine, entre données et matériel
- Cette perspective rejoint des thèmes au fort potentiel de développement dans le champ de la Diverse Intelligence
- les active data comme les self-sorting arrays
- les agential memories
- Il peut exister un continuum entre les pensées comme motifs informationnels passifs et les êtres pensants comme agents cognitifs actifs
- Le gameplay peut permettre d’acquérir intuitivement ce cadre, difficile à saisir à partir des seuls articles scientifiques
Le token « YOU » et la métaplasticité
- Dans le jeu, l’un des tokens que le joueur peut contrôler, YOU, désigne le joueur lui-même
- En créant de nouvelles phrases incluant ce token, les capacités du joueur et sa relation au monde changent, ce qui rend possible une forme de métaplasticité
- Cela évoque des processus biologiques comme le développement ou la métamorphose, où le comportement modifie brutalement la forme et la fonction d’un système
- Ce type de changement est aussi lié aux éléments suivants
- l’espace dans lequel on agit
- les objectifs poursuivis
- les préférences possédées
- Cela peut aussi mener à des extensions de théorie des jeux où le comportement du joueur modifie le nombre de joueurs et les préférences
- Dans ce cas, la matrice des gains devient dynamiquement transformée
Le jeu comme prothèse mentale en réalité virtuelle
- Baba is You n’est pas seulement un jeu, il se rapproche d’une prothèse mentale en réalité virtuelle
- Il fonctionne comme un ensemble actif, dynamique et immersif de pompes à intuition, et peut aider à entrer dans des aspects importants d’un nouveau champ scientifique
- Ce champ se situe à l’intersection de
- la biologie du développement
- l’informatique
- les sciences cognitives
Idées d’extension basées sur le framework TAME
- À partir du framework TAME, au moins trois directions d’extension sont possibles
-
Implémentation du polycomputing
- Le polycomputing est un cadre dans lequel plusieurs observateurs interprètent et hackent chacun à leur manière les caractéristiques physiques d’un monde
- Cela peut être implémenté via des dynamiques multijoueur, ou via des PNJ inspirés du vivant qui lisent les objets de l’environnement selon leurs propres objectifs
- Le joueur peut ainsi s’habituer à une vision centrée sur l’observateur et sur le point de vue, et changer de cadre de sens selon les besoins
-
Renforcement de l’agentivité autonome
- Des messages textuels peuvent mettre en œuvre un spectre d’intelligence dans lequel ils possèdent leurs propres objectifs liés à la transmission d’information, à l’interprétabilité et à l’adoption par un système cognitif plus vaste
-
Implémentation de dynamiques multi-échelles
- Cela pourrait permettre des agents imbriqués, comme dans agents within agents
- Cela pourrait mettre en œuvre une structure où objets et messages virtualisent et génèrent d’autres objets et messages le long de la hiérarchie
IA et ressources associées
- Il existe aussi un fort potentiel pour combiner de l’IA à ce type de mondes virtuels
- Trois liens associés sont fournis
- evolutionary optimization of Baba Is You agents : article sur l’optimisation évolutionnaire d’agents Baba Is You
- Baba Is You is undecidable : article montrant que Baba Is You est indécidable
- baba-is-auto : simulateur en C++ et code Baba is You pour l’apprentissage par renforcement
1 commentaires
Commentaires Hacker News
Le jeu à l’origine de cet article est Baba Is You : https://store.steampowered.com/app/736260/Baba_Is_You/
C’est un jeu de puzzle logique, et même si l’objectif semble être d’amener le « you » jusqu’au « flag », plus précisément il s’agit d’atteindre « win ». En général, la règle de base est « flag is win », et le jeu consiste à combiner divers objets et mots pour modifier les règles elles-mêmes du jeu. Fortement recommandé pour les goûts typiques de HN.
Ce n’est pas comme Portal, où l’on résout des énigmes à côté d’un récit amusant ; ici, c’est dans le langage même des énigmes que le cadre se renverse, de façon absurde mais réjouissante, en multipliant les subversions à plusieurs niveaux jusqu’à approcher la solution. J’avais l’impression que la partie de mon cerveau dédiée aux maths riait pendant que je jouais
Le jeu ne vous prend pas gentiment par la main, et j’ai l’impression qu’il m’a fallu une dizaine d’heures pour suffisamment maîtriser son langage de puzzle avant de vraiment l’adorer. Dans les sections profondes de la fin de jeu, cela devenait parfois agaçant tant c’était minutieux, mais les 30 heures du milieu comptent parmi les expériences de gameplay les plus satisfaisantes que j’aie jamais eues
Ça m’a donné une impression de contre-Witness. The Witness est méticuleusement juste et tellement raffiné qu’on ne peut qu’être admiratif avec le recul, mais à jouer, c’était assez formel et sans humour. Baba is You peut être un peu bancal et injuste, mais il est chaleureux, amusant et drôle, et l’artisanat de ses énigmes est, à sa manière, du plus haut niveau
En revanche, elle est réservée à Windows. Plus récemment, un demake pour Pico-8, avec moins de niveaux, est aussi sorti, et se joue dans le navigateur : https://www.lexaloffle.com/bbs/?tid=142638
Nous n’y avons joué qu’environ trois heures pour l’instant, mais c’est un vrai plaisir. Comme dans le commentaire à côté, les énigmes font souvent rire nous trois, et le plus jeune est lui aussi capable de proposer et de trouver des solutions. Il y a même eu un niveau où mon enfant de 7 ans a trouvé la solution avant moi
Il a complètement ruiné mon programme de sommeil hier soir, et il a pulvérisé en quelques minutes mes attentes sur ce que signifie « déplacer un personnage »
Ça fait un peu penser au jeu de cartes Fluxx, où les règles changent à chaque carte jouée : https://www.looneylabs.com/games/fluxx
Moi aussi, je bloque souvent, mais je peux quand même le recommander. Il y a énormément de moments aha
L’auteur a déjà écrit auparavant sur l’aspect cognitif qu’il évoque :
https://blog.jtoy.net/examining-concepts-through-different-f...
https://blog.jtoy.net/on-the-wondrous-human-simulation-engin...
https://arxiv.org/abs/2210.12068
Le cerveau humain possède au moins plus de 12 systèmes de coordonnées différents, et je me réfère souvent à cette image : https://cln.sh/gpqhwrw2Hg92MQz62TY6
Les humains peuvent examiner n’importe quoi sous l’angle qu’ils souhaitent, comme avec un système de simulation de jeu vidéo en temps réel dans l’esprit. Il semble manquer aux réseaux neuronaux artificiels la capacité clé à encoder et transformer les points de vue lors du traitement des données. Il suffit de voir l’échec des LLM de base face à la malédiction de l’inversion, et cela ne semble pas pouvoir être corrigé simplement en ajoutant davantage de GPU et de données d’entraînement : https://arxiv.org/abs/2309.12288
Dans le cortex entorhinal humain, il existe des neurones spécialisés appelés cellules de grille qui, avec les cellules de l’hippocampe, effectuent des transformations de coordonnées généralisées. La découverte des cellules de grille a reçu le prix Nobel de physiologie ou médecine : https://www.nobelprize.org/prizes/medicine/2014/advanced-inf...
Personnellement, j’y vois un candidat sérieux pour une couche de transformation de coordonnées. J’aimerais créer un ANN intégrant ce « système de transformation de coordonnées », mais je ne sais pas encore comment le traduire en code, et c’est mon projet rêvé
L’idée est que les algorithmes et les agents n’apprennent pas principalement à partir de jeux de données d’images, de vidéos et de textes sélectionnés sur Internet, mais en interagissant avec l’environnement via une perception égocentrée similaire à celle des humains
Fait intéressant, le terme n’apparaissait pas dans l’article, mais le contraste entre représentations égocentrées et allocentrées y était bien traité, et c’est au cœur du sujet
L’un des grands défis de l’AGI sera sans doute d’intégrer ces deux points de vue pour en tirer les avantages respectifs tout en réduisant les risques de déséquilibre, un peu comme la physique avec la gravité et la mécanique quantique
Une perspective allocentrée est nécessaire pour prendre des décisions globalement optimales, tandis qu’un raisonnement égocentré est aussi nécessaire pour permettre une autonomie robuste dans un environnement local spécifique
L’apprentissage de représentations multimodales semble réaliser intrinsèquement, dans une certaine mesure, un fonctionnement intermodal de type cellules de grille. Cela dit, dans les travaux que je connais, la position physique n’est pas donnée en entrée. Ce n’est pas la même chose que l’encodage positionnel
Le tout récent article sur les Clifford Group-Equivariant networks pourrait aussi être intéressant. Il s’applique non seulement aux transformations de l’espace-temps euclidien, mais aussi à l’espace-temps de Minkowski
Les implémentations de synthèse de nouvelle vue comme instantngp ou d’autres modèles de la famille NeRF pourraient aussi vous intéresser. Personnellement, InstantNGP me paraît ridiculement simple par rapport à la plupart des architectures de réseaux neuronaux récentes
Concernant le problème de l’inversion, je me demande aussi à quel point cela reste vrai dans les modèles encodeur-décodeur (comme T5) ou dans les modèles « autoregressifs sans ordre » (comme sigma-GPT la semaine dernière)
Ils permettent des types de transformations de coordonnées très similaires
Ce jeu est vraiment renversant
Les règles sont simples et claires, sans astuces cachées particulières, mais presque toutes les énigmes passent de « c’est impossible » à « ah, je n’avais pas pensé à ça ». Il pulvérise sans cesse les présupposés
Puisqu’on parle de jeux qui font changer sa manière de penser ou apprendre des compétences, vous en recommandez ?
Personnellement, ceux qui m’ont aidé sont les échecs, Vim Adventures et DuoLingo.
Les échecs m’ont appris la débrouillardise, la créativité, le calcul, à marquer une pause avant d’agir, et à être à l’aise avec les situations non résolues. Par exemple, même si plusieurs échanges de pièces sont possibles, il faut résister à cette impulsion si simplifier la position l’aggrave. Ça m’a aussi fait comprendre à quel point la distraction et le manque de sommeil affectent la cognition. Si je manque vraiment de sommeil, mon Elo chute de 100 points, et jouer dans un lieu public bruyant peut facilement m’en faire perdre encore 100.
Vim Adventures n’est pas assez passionnant pour être recommandé comme jeu en soi, mais il l’a rendu supportable pour répéter les frappes Vim 3 à 4 heures par jour pendant quelques jours, construire une mémoire musculaire et devenir moins maladroit avec Vim dans la plupart des tâches de code.
DuoLingo est plus proche d’un outil pédagogique que d’un « jeu », mais mérite d’être mentionné parce qu’il rend l’apprentissage d’une langue étrangère bien plus facile qu’avec des livres ou de l’audio.
Ça inculque une manière de penser logistique, où l’on se met à réfléchir en construisant d’abord la chaîne d’approvisionnement avant de faire quoi que ce soit. C’est devenu une compétence très abstraite que j’ai commencé à appliquer à différents domaines de la vie.
Ensuite, à force de construire des usines qui construisent des usines qui construisent des usines, ma pensée est montée à un niveau d’abstraction supérieur.
Troisièmement, on y apprend une pensée polymorphe de haut niveau. Des produits deviennent des objets complètement différents selon les procédés qu’ils traversent, et une partie d’entre eux est réinjectée dans le système.
Je n’y ai joué que quelques dizaines d’heures, mais ça a concrètement élargi ma manière de penser. Je recommande fortement Factorio.
Les échecs m’ont aussi aidé à voir un avenir plus proche. C’était particulièrement vrai avec un concurrent réel, mais même sans concurrent.
Le Scrabble m’a appris très tôt, comme une leçon prise en pleine figure, que les combines astucieuses et le pragmatisme aident davantage à gagner que des qualités comme « l’élégance ».
while True: learn().On y résout des puzzles qui demandent de penser en termes de flux, on y apprend au passage un peu de machine learning, et on y travaille des choses qui peuvent se transférer à des tâches comme la conception de réseaux informatiques ou la montée en charge d’une application où les goulets d’étranglement sont le problème.
Polytopia donne une impression proche des échecs. Il y a souvent des situations où il faut se déplacer avec une grande précision pour réussir une attaque ou une défense. Là où les échecs se concentrent beaucoup sur l’armée et le territoire, Polytopia oblige à équilibrer armée, territoire, économie et progrès technologique.
Ce jeu suscite souvent des questions du genre « quelle est la meilleure façon de se développer avec cette tribu sur ce type de carte ? », ce qui finit par donner envie de chercher la réponse avec un petit projet de code.
Ça aide pour les réflexes et la coordination œil-main, mais surtout, ça forge un état d’esprit presque zen. Au lieu de se frustrer à chaque mort inévitable, même la 1000e, il faut accepter d’en prendre plein la figure et résoudre le problème.
En pratique, en dehors des compétences que l’on entraîne directement dans le jeu, jouer aux échecs améliore surtout son Elo aux échecs. Cela dit, il y a des recherches en cours pour essayer d’élargir ce domaine : https://link.springer.com/content/pdf/10.1007/s41465-022-002...
Ce pour quoi les jeux, et plus récemment certaines applis « éducatives » vantées sur des sites web et des chaînes YouTube, sont clairement utiles, c’est pour accroître la sensibilisation et la motivation vis-à-vis du domaine scientifique traité.
Il y a quelques minutes, ou quelques heures ou jours plus tôt selon le moment où vous lisez ceci, un ensemble de niveaux personnalisés intitulé The Legend of Zelbaba: Linkeke between words a été présenté à @party 2024 : https://scenesat.com/video/atparty
La présentation proprement dite commence vers la 17e minute du live stream. Le pack de niveaux est ici et nécessite le jeu de base : https://gamebanana.com/mods/150971
Petite autopromo pour un side project sur lequel je travaille depuis des années : si vous aimez Baba is You, vous apprécierez peut-être aussi Pathology ou Sokopath.
On peut y jouer sur mon site Thinky.gg : https://thinky.gg
Thinky a une communauté assez active qui publie chaque jour des niveaux de block-pushing. La difficulté va du niveau maternelle jusqu’au super grand maître. Il y a aussi un éditeur de niveaux qui permet de publier des niveaux personnalisés pour le monde entier.
Le passage disant que cela « dissout avant tout les barrières entre les données et les algorithmes, entre les systèmes cognitifs et leur contenu, et pousse à penser autrement » m’a rappelé l’illumination que j’ai eue quand j’ai compris Prolog pour la première fois, il y a environ 13 ans.
À l’époque, je l’avais noté sous forme d’un petit vers :
Entre les données et les opérations
il n’y a rien à séparer
Pour trouver la même vérité simple qui définit le niveau le plus bas du calcul, il faut, de façon assez drôle, grimper jusqu’au niveau le plus haut. Les jeux aussi, c’est formidable.
— Jiddu Krishnamurti, conférence publique à Rome, 28 octobre 1973
https://www.krishnamurti.org/transcript/when-the-mind-realis...
Fait amusant : le développeur de ce jeu a aussi créé Noita, un autre prodige technique du jeu vidéo.
Le jeu se décrit le mieux comme un titre où la plupart des joueurs ne se rendent pas compte qu’ils n’ont fait que le tutoriel.
Baba is You est aussi, d’une manière similaire, une bonne introduction au mode de pensée nécessaire pour écrire des exploits.
Jane Street teste à quel point les candidats s’en sortent bien dans des jeux dont les règles changent en cours de partie.
Si l’on remplace « WALL » « IS » « STOP » par des icônes ou des images, personnellement, je ne trouve plus ça si intéressant.
Ça me fait au moins penser à Captain Blood : https://www.abandonware-france.org/ltf_abandon/ltf_galeries....
Là aussi, il y a des séquences de symboles avec des mécanismes liés entre eux. Si l’on place les blocs dans un ordre différent, on obtient un résultat différent.
Je suis peut-être un peu grincheux aujourd’hui, mais je ne vois pas très bien pourquoi ce jeu serait « profond ».
J’ajouterais même que le fait que nous puissions créer du sens à partir d’ensembles arbitraires de symboles et en fixer le sens semble plutôt montrer que le langage est en réalité vide et que l’intelligence se trouve hors du langage. Le langage n’est qu’un outil.
Je ne vois pas comment on pourrait remplacer les mots par des icônes tout en conservant exactement le même mécanisme, et si le mécanisme est le même, je ne vois pas non plus ce qui changerait du fait qu’il s’agisse d’icônes plutôt que de mots.