- Les humains ont tendance à percevoir l’IA naturellement « comme une personne », mais ce cadre rend difficile une bonne compréhension des hallucinations et des comportements aberrants des LLM
- Un LLM n’est pas une petite personnalité, mais ressemble davantage à un « sac de mots (bag of words) » rempli de mots glanés sur Internet et dans les livres, qui renvoie les fragments de phrases les plus pertinents par rapport à l’entrée
- Selon la quantité de texte et de données accumulés dans ce sac, les domaines où il excelle (événements, statistiques, recherches de faible qualité) et ceux où il est fragile (faits rares, innovations scientifiques futures, véritables bonnes idées) se distinguent très nettement
- Dès qu’on traite l’IA comme un humain, un cadre de statut et de compétition s’active immédiatement, entraînant des questions comme « qui est meilleur ? », « qui remplacera qui ? » ; alors que vue comme un sac de mots, sa place apparaît comme celle d’un simple outil et d’un amplificateur
- Le nom même d’« intelligence artificielle » encourage les comparaisons anthropocentrées et accroît la confusion et l’illusion autour de la notion d’intelligence ; la conclusion est qu’il nous faut désormais une nouvelle métaphore qui n’applique pas un cadre humain à ce qui n’est pas humain
Pourquoi les humains ont-ils l’impression que l’IA est humaine ?
- L’être humain a un fort biais cognitif qui le pousse à repérer des visages, des intentions et des personnalités même là où il n’y en a pas
- Reconnaître le visage de la Vierge Marie dans un grilled cheese, voir des visages humains dans une coupe transversale de nématode ou dans des tas de poissons et de volailles : c’est une forme de reconnaissance excessive de motifs
- Comme dans les tableaux d’Arcimboldo, notre état par défaut est cette hyperréactivité cognitive qui lit un « visage de vieil homme » jusque dans un amas de poissons ou de volaille
- Sur le plan évolutif, nous venons d’un environnement où il était plus sûr de prendre un objet pour une personne que l’inverse
- Une manière de penser qui attribue les maladies aux sorcières, les éclipses et les volcans à des êtres surnaturels
- Un schéma d’interprétation inconscient qui, au lieu de dire « c’est un état de sommeil paradoxal où le cortex moteur est inhibé », produit l’explication « un démon est assis sur ma poitrine »
- Les comportements récents des LLM entrent constamment en collision avec cette métaphore du « petit humain »
- Ils inventent des sources pour des devoirs, se trompent sur le nombre de
r dans strawberry, ou recommandent de mettre de la colle à bois sur une pizza
- Des erreurs difficiles à comprendre si l’on pense à un humain, mais qui paraissent beaucoup plus naturelles si l’on y voit un système de génération mécanique
- Chercher à comprendre les LLM avec les règles de la psychologie humaine, c’est comme essayer de comprendre le Scrabble avec les règles du Pictionary
- Ces systèmes ne se comportent pas comme des humains, et dire qu’ils ne sont pas semblables aux humains n’est pas un reproche, juste une description
- Tant qu’on projettera une perception de personne sur l’IA, l’étonnement et la confusion persisteront
WHAT’S IN THE BAG : IA = sac de mots (bag of words)
- L’IA est un sac de mots contenant presque tous les mots récupérés sur Internet et dans les livres
- Quand l’utilisateur pose une question, on peut comprendre sa réponse comme le fait de sortir du sac les groupes de mots les plus pertinents
- Les entreprises y ajoutent aussi des system prompts invisibles, autrement dit des « mots invisibles », qui permettent de produire des réponses plus plausibles
- Cette métaphore est particulièrement utile pour comprendre les mensonges et hallucinations des LLM
- Quand on leur signale une mauvaise réponse, ils se confondent aussitôt en excuses emphatiques et en promesses, puis se trompent ou mentent à nouveau dès la phrase suivante
- Du point de vue humain, cela peut sembler double ou trompeur, mais cela devient naturel si l’on considère qu’il s’agit simplement de phrases du type « celles qu’on utilise quand on se fait reprocher un mensonge » sorties du sac
- De même qu’on ne qualifie pas d’« humain » le fait qu’une calculatrice fasse une multiplication, il ne s’agit pas ici d’un comportement, mais d’un motif de sortie
- Le « sac de mots » sert aussi d’heuristique pour prévoir où le modèle est fort et où il est faible
- Des événements abondamment documentés, comme « les 10 pires accidents de la route en Amérique du Nord », peuvent être bien traités car le sac contient beaucoup de matière
- En revanche, une information rare comme « qui a reclassé Brachiosaurus brancai, et quand ? » a de fortes chances d’aboutir à une mauvaise réponse, faute de texte suffisant dans le sac
- À une question comme « quelle est la leçon la plus importante de la vie ? », la réponse sera tout aussi superficielle, car l’humanité a déjà produit une immense quantité de texte de “fausse profondeur” sur ce sujet
- Dès qu’on voit l’IA comme une masse d’intelligence omnisciente et toute-puissante, on en vient facilement à des réactions du type « c’est encore plus mystérieux si ça ne sait même pas ça »
- Regarder une vidéo de tour de magie et dire « même ChatGPT ne le sait pas » vient d’un cadre qui traite l’IA comme « le rabbin le plus intelligent du quartier »
- Mais du point de vue du sac de mots, c’est normal : le magicien ne publie pas son trucage en texte, il est difficile à décrire, donc le sac contient très peu d’information à ce sujet
GALILEO GPT – la science et les limites du « sac de mots »
- La métaphore du « sac de mots » permet aussi d’estimer jusqu’où l’IA pourra progresser
- La question centrale est : « pour accomplir cette tâche, de quoi faut-il remplir le sac ? »
- Pour certaines tâches scientifiques, on peut déjà assez bien remplir le sac
- En y mettant 170 000 données de protéines, on obtient des résultats comme la prédiction de structure des protéines (AlphaFold)
- Avec des données sur les réactions chimiques, on peut recommander des voies de synthèse de nouvelles molécules ; en y mettant des articles complets et des descriptions d’expériences, on peut aussi détecter l’existence de travaux antérieurs
- Dans les domaines où le texte est abondant, on peut même automatiser tout le pipeline de la recherche de faible qualité
- Des travaux du type session posters de congrès de psychologie, où l’on choisit des concepts qui semblent vaguement liés pour ne produire qu’une analyse de corrélation et une p-value, sont déjà bien adaptés au sac
- Pour ce genre de recherche, l’IA pourrait gérer toute la chaîne, de la formulation de l’hypothèse à la conception de l’expérience, la collecte de données, l’analyse et la création du poster
- Mais la science est un problème de maillon fort (strong-link) : multiplier par un million les recherches médiocres n’améliore pas beaucoup la situation
- Si l’on veut une recherche vraiment innovante, on ne sait déjà pas très bien quoi mettre dans le sac
- Les textes scientifiques mêlent fraude, erreurs et hypothèses implicites, et il manque souvent des informations cruciales comme les données ou les détails méthodologiques
- « Presque tout ce qui fait réellement fonctionner la science n’est pas présent dans le texte du web »
- « S’il y avait eu, en 1600, assez de textes pour entraîner un LLM, aurait-il pu “spoiler” les découvertes de Galilée ? »
- Avec les textes disponibles à l’époque dans le sac, il aurait probablement répété les arguments de l’astronomie dominante (ptolémaïque) plutôt que l’idée d’une Terre en mouvement
- Face à l’affirmation « la Terre se déplace à 67 000 mph », des entraîneurs humains lui auraient sans doute infligé une pénalité en disant « arrête tes hallucinations ! »
- Plus fondamentalement, à cette époque, on manquait même des mots nécessaires pour exprimer le concept de “découvrir”
- Galilée ne pouvait décrire la découverte des satellites de Jupiter que par des détours du type « voir quelque chose que personne n’avait vu auparavant »
- Le cadre mental consistant à « découvrir » une nouvelle vérité grâce à un télescope était lui-même étranger aux gens de l’époque, et absent des textes sur lesquels le sac aurait appris
- Le sac de 2025 offrira de meilleures explications scientifiques que celui de 1600, mais sa capacité à prédire les innovations futures de chaque époque pourrait rester tout aussi limitée
- Les bonnes idées scientifiques paraissent souvent irrationnelles et stupides selon les critères de leur temps, et sont donc d’abord rejetées ou ignorées
- Le sac suit en moyenne les idées d’hier ; y injecter des idées nouvelles et étranges peut même parfois dégrader la qualité
- C’est pourquoi la recherche innovante exige non seulement de l’intelligence, mais aussi une certaine forme de “stupidité” pertinente ; et sur ce point, les humains resteront pendant un moment plus utilement “stupides” que le sac
CLAUDE WILL U GO TO PROM WITH ME? – du jeu de statut à l’outil
- Le principal avantage de la métaphore du « sac de mots » est qu’elle empêche de voir l’IA comme un acteur des jeux de statut social
- Les humains sont, par évolution, une espèce hypersensible aux hiérarchies et capable de transformer en compétition à peu près tout : rouler du fromage, manger des mauvaises herbes, lancer des téléphones, lutter avec les orteils ou pratiquer le ferret legging
- Dès qu’on anthropomorphise l’IA, les questions sur « le nouvel élève qui arrive » surgissent immédiatement
- « Est-il cool ? », « est-il plus intelligent que moi ? », « est-ce qu’il m’aime ? », « est-il au-dessus ou en dessous de nous ? » : ce cadre s’impose naturellement
- Plus les modèles progressent, plus grandit l’angoisse de savoir s’ils sont meilleurs ou moins bons que nous, et s’ils deviendront maîtres, rivaux ou esclaves
- Mais il faut être clair : le sac de mots n’est ni conjoint, ni sage, ni souverain, ni esclave ; c’est un outil
- Son but est d’automatiser nos corvées et d’amplifier nos capacités, pas de devenir une entité en compétition de statut avec les humains
- La question importante n’est pas « l’IA est-elle meilleure que nous ? », mais « sommes-nous meilleurs quand nous utilisons l’IA ? »
- L’auteur dit ne pas avoir très peur d’être remplacé par un sac de mots
- Une machine à lancer peut envoyer des balles plus vite, un correcteur orthographique peut mieux écrire, et l’autotune peut viser plus juste ; pourtant, les gens vont toujours voir du baseball, des concours d’orthographe et des concerts
- La raison, ce n’est pas la vitesse de la balle, la précision orthographique ou la pureté de la note, mais l’intérêt porté au fait que ce soit un humain qui le fasse
- Écrire une dissertation avec l’IA, c’est donc comme amener un chariot élévateur dans une salle de sport
- Le chariot peut soulever la barre à votre place, mais l’objectif n’est pas seulement de décoller un objet du sol : c’est de devenir quelqu’un capable de le soulever
- Écrire, de la même manière, est une pratique pour devenir quelqu’un qui sait penser
- Cela ne signifie pas pour autant que l’IA ne fait pas peur
- Il existe déjà beaucoup d’outils dangereux lorsqu’ils sont mal utilisés, et un pistolet à clous ou un réacteur nucléaire peuvent être mortels sans avoir d’esprit
- Le danger humain relève de catégories familières (violence, conduite en état d’ivresse, fraude, etc.), alors que celui du sac de mots surgit de motifs imprévus
- Par exemple, montrer à des humains un bout de code vulnérable ne pousse généralement pas la majorité à se mettre à faire l’éloge d’Hitler, alors qu’on a déjà vu des LLM produire ce type de sortie ; et l’idée de mettre dans le sac des éléments critiques comme du code nucléaire est inquiétante
C’MON BERTIE – un nouveau cadre qui refuse l’anthropomorphisme
- Comme lorsqu’on donne un nom à une vieille voiture et qu’on a envie de lui dire « Bertie, s’il te plaît, démarre », nous projetons facilement tempérament et émotions sur les objets
- Pourtant, une voiture n’est qu’une masse de métal et de plastique qui convertit de l’essence en énergie cinétique, pas un assemblage d’os et de chair qui transforme des Twinkies en pensée
- Pour réparer une voiture en panne, on n’a pas besoin d’un manuel de thérapie, mais de clés, de tournevis et d’un manuel d’entretien
- De la même façon, ceux qui voient un « esprit » dans le sac de mots sont tombés dans le piège préparé par l’évolution
- Historiquement, « parler comme un humain et marcher comme un humain » désignait toujours un humain ; dès que ces conditions étaient remplies, nos circuits sociaux s’activaient automatiquement
- Désormais, parler et bouger comme un humain peut aussi être le produit d’une régression logistique hautement complexe (ou de quelque chose d’approchant), et les mêmes circuits continuent alors de dysfonctionner
- Comme le papillon de nuit qui a évolué pour se diriger grâce à la lumière de la lune, puis se fait aspirer vers une lampe tue-insectes et s’électrocuter, les humains risquent de connaître un sort semblable
- Mais, contrairement au papillon, nous avons la capacité de choisir le cadre avec lequel nous regardons une technologie
- Nous n’appelons pas une excavatrice « humain artificiel qui creuse », ni une grue « humain artificiel très grand »
- Pour les livres, les photos et les enregistrements aussi, nous avons déjà inventé une façon de les voir comme des médias propres, et non comme « conversation artificielle », « mémoire artificielle » ou « performance artificielle »
- Les premières calculatrices de poche étaient déjà, pour le calcul, plus intelligentes que n’importe quel humain sur Terre, mais personne n’a songé à les considérer comme des personnes
- Si l’on recouvrait une excavatrice de peau, si l’on transformait son godet en main et si on lui faisait pousser un « uuuugh… » chaque fois qu’elle soulève une charge, alors seulement nous commencerions à imaginer un fantôme
- Ce n’est pas un indice sur la nature de l’excavatrice, mais un révélateur de notre propre structure psychologique
Le péché originel du terme « intelligence artificielle »
- À l’origine de toute cette confusion, il y a le nom même d’« intelligence artificielle »
- Cette combinaison de mots a poussé à mesurer les capacités des machines presque exclusivement par comparaison avec l’humain
- Des comparaisons du type « maintenant c’est aussi intelligent qu’un étudiant de licence » ou « maintenant c’est aussi intelligent qu’un doctorant » ne produisent que des illusions de compréhension, sans expliquer les capacités ni les limites réelles
- La définition même de l’intelligence pose problème
- Une définition comme « capacité à résoudre des problèmes » est fausse, ou bien se rapproche d’une définition circulaire du type « capacité à faire des choses qui demandent de l’intelligence »
- Avant même que la psychologie ne définisse correctement l’intelligence, l’informatique a fabriqué quelque chose qui ressemble extérieurement à de l’intelligence
- Il est désormais trop tard pour revenir en arrière sur le nom, et il y a aussi bien trop de mots dans le sac pour les y remettre
- En fin de compte, la seule chose que nous puissions changer, ce sont les métaphores et les cadres avec lesquels nous regardons cette technologie ; il faut donc faire évoluer notre manière de penser pour cesser d’appliquer un cadre humain à ce qui n’est pas humain
Aucun commentaire pour le moment.