- Les évaluations de l’anthropomorphisation dans la recherche sur les LLM soulèvent un problème : lorsqu’on attribue ou suppose des propriétés humaines aux sorties du modèle, l’interprétation peut dépendre de la manière de les présenter, faute de critères de mesure
- Un cas de mise en œuvre et d’entraînement d’un réseau de neurones simple dans Age of Empires II sert d’argument pour montrer qu’avec un substrat suffisamment puissant, on peut implémenter une entité équivalente à un LLM
- Certains attributs, comme la correspondance entre prompt et sortie, peuvent être conservés, mais l’interprétation du comportement perçu ou la qualité de désanthropomorphisation peut varier selon le substrat
- Mener des expériences en présupposant l’existence ou l’absence d’attributs anthropomorphiques généralisés conduit à des conclusions circulaires ou peu informatives
- Pour une discussion empirique, il faut des critères de mesure explicites et une déclaration claire de ce qui est censé se généraliser d’un substrat à l’autre ; l’approche par défaut consiste à supposer la non-spécificité des LLM
Résumé
- Il existe beaucoup de travaux sur les LLM et les workflows d’agents fondés sur des LLM, mais certaines recherches parlent de l’émergence de propriétés anthropomorphiques généralisées, comme la moralité ou la compréhension du langage naturel, leur en attribuent, ou les supposent
- L’objectif principal n’est pas d’argumenter pour ou contre l’existence de telles propriétés dans les LLM, mais de montrer que ce type de conclusion peut être erroné
- En construisant et en entraînant un réseau de neurones simple dans Age of Empires II, l’article montre que toute entité reposant sur un substrat suffisamment puissant, comme LEGO ou le Greater Boston Area, pourrait manifester de telles propriétés
- Les propriétés anthropomorphiques des LLM ne leur sont pas empiriquement propres ; même si certains attributs, comme la réponse à un prompt, peuvent rester stables, d’autres, comme l’interprétation du comportement perçu, peuvent varier selon le substrat
- Une discussion fondée sur l’expérience nécessite des critères de mesure explicites ; sans cela, l’interprétation dépend de la forme de présentation
- Supposer l’existence ou l’absence de propriétés généralisées indépendantes du substrat conduit, indépendamment du point de vue de l’expérimentateur, à des conclusions circulaires ou peu informatives
- L’hypothèse de base est une hypothèse null qui suppose la non-spécificité des LLM, plutôt que de bâtir les expériences en postulant des propriétés anthropomorphiques
- L’article démontre qu’Age of Empires II est fonctionnellement complet et Turing-complete
Introduction
- Les LLM sont une technologie relativement nouvelle, largement utilisée, mais encore insuffisamment comprise
- Les capacités des LLM et leurs aptitudes apparentes à communiquer comme des humains poussent les gens à les anthropomorphiser
- Des systèmes conversationnels convaincants comme ELIZA existent depuis plus d’un demi-siècle, mais les chatbots fondés sur des LLM constituent des entités aux capacités inédites qui demandent une explication à partir d’un point de départ familier
- Dans ce contexte, des évaluations ont été menées dans des domaines comme la théorie de l’esprit, l’apprentissage et la compréhension, ou la psychologie, avec des résultats variés
- Certaines études testent et attribuent aux LLM des traits humains larges, comme l’anxiété ou la moralité, en faisant des LLM l’objet central de l’expérience
- Que les résultats d’évaluation soient positifs ou négatifs, l’hypothèse centrale selon laquelle les LLM possèdent des propriétés anthropomorphiques influence la conception des jeux de test, l’interprétation des sorties en langage naturel et même l’hypothèse nulle
- De telles hypothèses affectent directement les conclusions et peuvent les déformer
- Dans la recherche sur les LLM, le fait de supposer, dans le cadre même de la mesure, l’existence ou l’absence de propriétés anthropomorphiques générales constitue une approche fondamentalement défectueuse
Age of Empires II et non-spécificité du substrat
- Implémenter et entraîner un réseau de neurones dans Age of Empires II peut sembler n’être qu’un exercice amusant, sans rapport avec l’anthropomorphisation des LLM
- Pourtant, cette implémentation implique immédiatement que tout substrat suffisamment puissant peut servir à implémenter une entité équivalente à un LLM, et qu’une telle implémentation peut modifier la représentation du LLM, influençant ainsi les propriétés perçues
- Si un LLM est suffisamment efficace pour imiter dans une certaine mesure des propriétés anthropomorphiques, alors cette imitation — ou, selon le point de vue adopté, le véritable comportement anthropomorphique — n’est pas propre à l’entité LLM existant dans un ordinateur
- Les LLM ne sont pas spécifiques ; des implémentations dans d’autres substrats peuvent préserver certains attributs, comme la correspondance prompt-sortie, sans pour autant préserver la qualité de désanthropomorphisation
- En conséquence, la perception et l’interprétation de ces qualités peuvent différer
- Une discussion fondée sur des observations empiriques exige des critères de mesure explicites et une déclaration explicite de quels aspects doivent se généraliser au-delà du substrat
Le problème des hypothèses et l’hypothèse null
- Si un scientifique adopte, comme position interprétative, un cadre tel qu’une théorie computationnelle de l’esprit et estime que la propriété en question peut exister dans un système indépendamment du substrat, alors la conclusion devient fragile
- Si l’on adopte un tel cadre pour formuler des affirmations généralisées ou non généralisées sur des propriétés anthropomorphiques, la conclusion devient circulaire ou peu informative
- Le même résultat vaut aussi si l’on rejette ce cadre
- Il est défectueux de tester une hypothèse visant à prouver ou réfuter l’existence ou l’absence de propriétés anthropomorphiques généralisées en supposant d’abord cette existence ou cette absence
- Les conclusions positives ou négatives tirées de telles expériences ne peuvent pas étayer la thèse correspondante
- Ce problème est indépendant de la validité du cadre, de son acceptation ou de son rejet, et du choix même du cadre
- De telles hypothèses peuvent ne pas être explicites ; par exemple, un article affirmant qu’un LLM n’a pas la capacité de « s’expliquer lui-même » de manière factuelle suppose déjà un certain degré de conscience de soi
- Si l’on ne revendique pas de généralisabilité et que l’on évite ce type d’hypothèse, alors la propriété concernée peut être mesurée de manière approximativement fidèle
- L’hypothèse null reflète la non-spécificité des LLM en ne formulant aucune affirmation sur la présence ou l’absence de propriétés anthropomorphiques dans le système
1.1 Contributions
- L’objectif n’est pas de débattre de l’existence ou non de propriétés anthropomorphiques dans les LLM, de la validité de la théorie de l’esprit, ni des implications de la conscience ou du problème corps-esprit en lien avec l’IA
- Les discussions sur l’existence de propriétés anthropomorphiques exigent des mesures bien définies, et, concernant la conscience ou le problème corps-esprit, il n’existe ni protocole expérimental ni école de pensée largement admis
- Fournir un LLM opérationnel fondé sur Age of Empires II ne fait pas partie du périmètre
- Le but principal est de favoriser la discussion sur les hypothèses et la justesse des résultats liés à l’anthropomorphisation des LLM
- Plus précisément, l’accent est mis sur les cas où les résultats expérimentaux censés étayer de telles conclusions découlent d’hypothèses sur l’existence ou l’absence de ces propriétés
- L’article comprend aussi de possibles objections et réponses, une petite méta-revue du domaine lié à l’anthropomorphisation, ainsi qu’une preuve de la complétude fonctionnelle et de la Turing-completeness d’Age of Empires II
- L’objectif ultime est de fournir des pistes pour concevoir des expériences rigoureuses capables de soutenir ou de réfuter de manière convaincante l’existence de propriétés anthropomorphiques dans les LLM, quelle que soit la position adoptée sur la relation entre l’esprit et la machine
1 commentaires
Avis sur Lobste.rs
C’est peut-être idiot, mais je ne suis pas sûr de bien comprendre l’argument. L’affirmation de base est assez triviale et, comme l’admet la FAQ, l’idée est que dans tout environnement de calcul Turing-complet, on peut implémenter un LLM n’importe où, y compris dans les mécanismes internes d’un jeu vidéo
Mais à partir de là, l’article affirme qu’il faudrait un grand changement de perspective dans notre manière de penser les LLM. Par exemple, si on copiait un LLM dans AoE II et qu’on lui entrait « je me sens seul », puis qu’il répondait « désolé de l’apprendre, pourquoi ne pas voir des amis ? La proximité aide dans ce genre de situation », il me semble difficile d’en conclure que ce LLM-dans-AoE II sait ce qui aide réellement, qu’il a une véritable capacité d’empathie, ou que ses sorties sont dignes de confiance indépendamment de leur nature de simulation
C’est peut-être un biais lié à mon habitude de l’ingénierie logicielle et matérielle, mais je ne ressens ici absolument aucun basculement cognitif. « Des cartes vidéo dans un datacenter ont généré ce token » et « une machine de Turing dans un jeu vidéo l’a généré » ne me semblent pas différents
Je suis d’accord à 100 % sur le fait qu’il est difficile de situer les LLM dans notre modèle du monde et que nous avons tendance à trop les anthropomorphiser, mais je ne vois pas en quoi cet article aide à résoudre ce problème
Il me semble refaire la même erreur. Il montre qu’un système, qu’il s’agisse de la personne dans la chambre chinoise ou du moteur de jeu, « ne fait que » suivre des règles, puis en conclut qu’on ne peut donc pas lui attribuer intelligence ou propriétés humaines générales
Mais je ne pense pas qu’on puisse soutenir qu’en réduisant quelque chose à des composants non intelligents ou à des règles, l’ensemble perd magiquement ses propriétés observables
Cela dit, je n’ai pas lu l’argumentation complète de l’article, donc je ne suis qu’un commentateur d’Internet
Dommage, le texte ne traite pas de la véritable IA d’AOE2. L’IA d’AOE2 repose sur CLIPS, un système expert en s-expressions construit sur un moteur RETE, et quelqu’un que je connais s’y est plongé assez profondément pour en faire une présentation, un cours, et même un serveur de chat déclaratif
La documentation de l’IA d’AOE2 se trouve sur https://www.scribd.com/document/348253/CPSB et https://userpatch.aiscripters.net/reference.html. Les exemples prennent la forme de règles qui définissent des conditions stratégiques et des objectifs, comme ici
Le résumé contient une coquille qui change le sens. Il faudrait écrire « Age of Empires II in » et non « Age of Empires II on »
L’article explique qu’ils ont construit et entraîné un réseau de neurones dans AoE 2, et soutient que Lego ou Boston pourraient eux aussi servir de substrat à un réseau de neurones. Pour le premier cas, on peut citer Wang tiling ; pour le second, les billiard-ball computers. Cela a même été réalisé dans un article de 2011 avec des bancs vivants de crabes soldats M. guinotae, d’où le surnom de « crab computers »
Aujourd’hui, j’ai appris que AOEII est Turing-complet
Cela aurait pu faire un billet de blog intéressant, mais c’est devenu à la place un article prétentieux et pénible à lire, probablement financé par l’impôt, et utile à personne
En lisant ce paragraphe, j’ai regretté de ne pas avoir suivi mon instinct initial, qui me disait que cela ne valait probablement pas la peine d’être lu
J’ai une formation en philosophie de l’esprit, et en voyant les citations du chapitre 2, j’ai cru deviner quel type d’argument l’article allait développer. Mais après l’avoir lu jusqu’au bout, je ne comprends toujours absolument pas quel argument cet article est censé avancer