- Les hallucinations des LLM ne sont pas des erreurs propres à certaines situations, mais une caractéristique intrinsèque du système ; plus leur champ d’usage s’élargit, plus il faut raisonner en tenant compte de cette limite
- Comme les hallucinations découlent de structures mathématiques et logiques, il est difficile de les éliminer complètement par de simples améliorations de l’architecture, des jeux de données ou du fact-checking
- L’analyse s’appuie sur la théorie du calcul et le premier théorème d’incomplétude de Gödel, en faisant référence à des problèmes indécidables comme le Halting Problem, l’Emptiness Problem et l’Acceptance Problem
- À chaque étape — constitution des données d’entraînement, recherche de faits, classification de l’intention, génération de texte — subsiste une probabilité non nulle de produire une hallucination
- Les « Structural Hallucinations » considèrent les hallucinations comme une propriété structurelle inhérente aux LLM, remettant en cause l’idée reçue selon laquelle une atténuation complète serait possible
Les limites structurelles des hallucinations des LLM
- À mesure que les LLM sont largement utilisés dans de nombreux domaines, il devient nécessaire d’examiner de manière critique les limites intrinsèques des modèles
- Les hallucinations ne sont pas des erreurs accidentelles, mais relèvent plutôt d’une caractéristique inévitable des systèmes LLM
- Selon ce point de vue, de meilleurs modèles, des jeux de données plus vastes ou des outils de vérification externes ne suffisent pas à éliminer les hallucinations
Pourquoi il est difficile de les éliminer complètement
- Les hallucinations proviennent de la structure mathématique et logique des LLM
- Les améliorations d’architecture, les jeux de données améliorés et les mécanismes de fact-checking ne permettent pas, à eux seuls, de faire disparaître complètement les hallucinations
- L’analyse mobilise la théorie du calcul et le premier théorème d’incomplétude de Gödel
- Les problèmes indécidables associés cités sont le Halting Problem, l’Emptiness Problem et l’Acceptance Problem
Une possibilité d’hallucination subsiste à chaque étape du traitement
- Toutes les étapes du processus d’un LLM comportent une probabilité non nulle de générer une hallucination
- Constitution des données d’entraînement
- Recherche de faits
- Classification de l’intention
- Génération de texte
- Renforcer une seule étape donnée ne fait pas disparaître la possibilité d’hallucinations dans l’ensemble du système
Structural Hallucinations
- Les « Structural Hallucinations » désignent un concept qui considère les hallucinations comme une propriété inhérente des systèmes LLM
- Il met l’accent sur le caractère mathématiquement inévitable des hallucinations et entre en conflit avec l’idée existante selon laquelle elles pourraient être entièrement atténuées
- En pratique, les hallucinations des LLM doivent être traitées non pas comme quelque chose à éliminer totalement, mais comme une contrainte toujours présente
1 commentaires
Avis sur Hacker News
On aurait sans doute pu éviter des malentendus si l’on n’avait pas donné le nom de hallucination au fait de « produire de fausses informations lors d’une génération de texte probabiliste »
Le mot donne l’impression que quelque chose se passe mal dans le fonctionnement normal du modèle, alors qu’en réalité son fonctionnement normal consiste à produire du texte plausible
Une « hallucination » n’est pas une panne du modèle, mais un jugement de valeur que nous portons sur le texte produit, signifiant simplement que ce texte ne convient pas à l’objectif
Vu sous cet angle, l’atténuation des hallucinations et l’alignement sont en pratique le même problème, et il est difficile d’en résoudre un séparément
Si l’on prend le mot « hallucination » au pied de la lettre, le modèle hallucine en permanence ; c’est seulement que, lorsqu’il produit par hasard quelque chose d’objectivement vrai, nous ne l’appelons pas hallucination
Si l’article clarifie utilement ce problème de définition, cela peut être une bonne contribution
Elle peut faire passer le problème pour un « bug » temporaire plutôt que pour une limite intrinsèque de la technologie, et ainsi brouiller sa vraie nature auprès des investisseurs et des acheteurs
Les humains inventent aussi sans cesse des choses, et des choses bien plus absurdes que l’IA ; il faudrait donc aussi se demander si les humains sont vraiment intelligents /pas totalement une blague
J’ai l’impression que l’hallucination ressemble au fait de donner directement la première réponse possible qui vient à l’esprit quand on pose une question
Les humains ne font généralement pas ça. Ils se souviennent avoir déjà fait des erreurs sur des questions similaires et, avant de parler, confrontent leur réponse à d’autres connaissances via une sorte de vérification de bon sens interne
Il faut donc donner aux LLM un espace de réflexion, plutôt que s’attendre à ce qu’ils produisent immédiatement la bonne réponse
La pensée humaine elle-même passe souvent par plusieurs rôles et personas, qui débattent et trouvent un compromis en interne avant de répondre ; ce n’est qu’après l’apparition d’un premier « brouillon » qu’on peut imaginer des contextes supplémentaires, comme les conséquences de l’énoncé de cette réponse
Il peut donc être erroné d’évaluer l’intelligence d’un LLM uniquement sur sa première « réaction intuitive » à un prompt
Inventer une histoire demande au contraire un effort, et sans entraînement la plupart des gens le font plutôt mal. Certaines personnes le font naturellement, mais c’est généralement considéré comme un trouble
Les LLM n’ont pas le concept de « je ne sais pas » ; ils écrivent simplement ce qui correspond le mieux aux données d’entraînement. Comme « je ne sais pas » n’y est pas très fréquent, ce n’est pas non plus une réponse naturelle
J’ai demandé une liste de bars dans une petite ville, et il a inventé de façon plausible les noms, adresses et numéros de téléphone. Si l’on forçait un humain ordinaire ne connaissant pas bien cette ville à donner une réponse plausible sans dire « je ne sais pas », il finirait peut-être par en fabriquer une, mais ce ne serait certainement pas sa première pensée
Les LLM n’ont pas d’intuition et ne font pas l’expérience du temps. Ce ne sont pas des enfants anxieux qui cochent une réponse au hasard parce que la fin de l’examen approche, mais le produit d’un développement logiciel qui a abandonné plus d’un demi-siècle de tradition consistant à faire produire aux ordinateurs des réponses correctes pour suivre une ambiance
Les parties chargées des sens et du raisonnement interagissent avec celles qui gèrent la mémoire, et différents types de mémoire arbitrent entre eux. Les souvenirs qui ont du sens peuvent devenir plus forts que des choses vues par hasard
Les LLM ne semblent pas faire cela et, par conception, sont plus faibles que le cerveau pour atténuer les hallucinations
Une piste de recherche inspirée du cerveau consisterait sans doute à examiner les régions qui paraissent anormales chez les personnes ayant des hallucinations, ainsi que leurs modèles de fonctionnement, pour voir si cela peut s’appliquer aux LLM
L’idée d’appliquer aux réseaux de neurones des modèles de structures comme l’hippocampe est déjà explorée par plusieurs chercheurs
Je pense que l’architecture actuelle est fondamentalement truffée d’hallucinations, ce qui limitera fortement les usages pratiques, surtout ceux évoqués par les attentes exagérées
Cela dit, cet article place la barre de ce que signifie « ne pas halluciner » à un niveau impossiblement élevé
Il revient à rappeler les limites fondamentales bien connues des systèmes formels et du calcul mécanique, puis à présenter la conclusion évidente que les LLM partagent ces limites
À moins d’invoquer le dualisme ou une hypercalculabilité quantique spéculative, ces limites s’appliquent aussi très largement aux humains
Ce qui rend les LLM intéressants vient de leur capacité à inventer des choses tout en les rendant plausibles
Il considérait que la matière et l’esprit sont tous deux réels, mais pas duels, et qu’il existe entre eux une transition fluide et continue
Cela dit, quelle que soit la nature de l’esprit et de la matière, il existe des éléments convaincants montrant que les humains créent du sens à partir des symboles au moyen du processus que Peirce appelait sémiose (semiosis)
Nous ne disposons pas encore d’une sémiotique qui formalise correctement cela, et ce domaine contient beaucoup de philosophie appliquée aux mathématiques intéressante, mais aussi beaucoup de foutaises académiques
Tant que nous n’y serons pas parvenus, il sera difficile de créer un automate capable de sémiose, et une différence qualitative subsistera encore quelque temps entre les capacités humaines et celles des LLM
Je ne peux pas dire avoir essayé tous les modèles, mais la plupart échouent très vite sur des demandes du type « décris un processus dans lequel trois entités interagissent »
Ils gèrent généralement deux entités, mais finissent par tourner en rond ou, dans beaucoup de modèles, par répéter des paragraphes entiers ; trois semble complètement les dépasser
Les LLM auront peut-être un rôle dans des domaines où l’on dépense de l’argent pour produire des choses « majoritairement fausses mais peu coûteuses à vérifier, au cas où une bonne idée serait récupérable »
Mesurer des données d’entraînement incomplètes ne semble pas avoir grand intérêt
L’apprentissage ne consiste-t-il pas justement, au départ, à gérer des données incomplètes ? Si les données étaient complètes, on n’aurait pas besoin de machine learning : il suffirait de créer directement une fonction qui mappe les entrées vers les sorties
Le machine learning consiste à combler les trous par la prédiction, et l’apprentissage en général aussi
Ce que vise cette théorie s’applique donc aussi à l’intelligence et à l’apprentissage humains
On peut dire que les LLM hallucinent en permanence, mais les humains hallucinent aussi en permanence
Le vrai problème à résoudre est de faire en sorte que les LLM hallucinent comme des humains
Le machine learning a été conçu pour résoudre des problèmes, et il différait de l’IA classique, où l’on construisait directement des algorithmes, en ce qu’il permettait de dériver une fonction à partir de nombreuses données
Mais l’« intelligence » actuelle façon machine learning est différente de la pensée humaine. Les humains n’ont pas besoin de millions d’exemples pour reconnaître un chat : deux ou trois suffisent pour continuer ensuite à les identifier
Même après n’avoir vu qu’un seul chat noir, on peut reconnaître correctement d’autres chats domestiques comme des chats, et il suffit d’observer des enfants pour voir que c’est bien le cas
L’intelligence est la capacité à imaginer une solution sans connaissances préalables, et plus un être est intelligent, moins il a besoin de données. Plus on se rapproche d’un système intelligent, moins il devrait falloir de données pour produire un effet, et non pas davantage
En général, les modèles réussissent bien mieux la première et rencontrent de gros problèmes avec la seconde
La manière dont les LLM hallucinent aujourd’hui semble étroitement liée à leur façon de représenter la connaissance
Quand on regarde la fonction de coût, il y a une raison pour laquelle on parle de log-vraisemblance. Le véritable objectif n’est pas de produire une réponse cohérente avec les concepts d’un modèle robuste du réel, mais de générer une suite de tokens plausible au sens le plus abstrait
Même quand le modèle hallucine, il fait plutôt bien ce pour quoi nous l’avons entraîné : il cherche à produire un texte probable, en se repliant implicitement sur des motifs plus généraux des données d’entraînement, comme la grammaire ou de simples choix de mots
J’imagine qu’avec un changement d’architecture approprié, on pourrait résoudre complètement, ou presque, le problème des hallucinations
Reste toutefois ouverte la question de savoir si l’on peut effectuer un tel changement tout en construisant un modèle qui reste entraînable efficacement
La meilleure question reste toutefois de savoir si l’on peut obtenir des performances suffisamment bonnes
Pour utiliser efficacement les LLM, il faut fondamentalement apprendre à se servir d’une technologie non fiable et non déterministe
Beaucoup de gens semblent avoir beaucoup de mal à franchir cette barrière
Quand on fait confiance à quelque chose, on a moins besoin de construire un modèle mental de la façon dont cela pourrait nous tromper et de la manière de réagir, ce qui réduit la charge cognitive
C’est pourquoi, du moins pour moi, les LLM sont utiles mais très stressants
Il est peut-être temps que la bulle éclate
Et avant encore, il faudrait la définir, mais en pratique personne ne sait ce qu’est vraiment l’AGI. Elle peut donc être n’importe quoi
Le fait que Sam ne pense pas que l’AGI ait été atteinte même après GPT-3.5, ChatGPT, GPT-4 multimodal et o1 (Strawberry) semble signifier qu’au final, l’AGI consistera à capturer la création et le travail de milliards de personnes, à lever des centaines de milliards de dollars, et à enrichir les initiés pendant que tout le monde sera placé dans un système fondé sur l’UBI
Les hallucinations ressemblent à une excuse pour dire que l’AGI n’a pas encore été atteinte. Cela permet donc de lever encore plus d’argent pour les coûts énergétiques d’entraînement et d’inférence de modèles qui continueront à halluciner
OpenAI ne voudra probablement l’éclatement de la bulle, qui fera disparaître 95 % des startups IA, qu’après avoir capturé toute la valeur et permis aux initiés d’encaisser. OpenAI restant l’exception
C’est pourquoi Terence Tao voit les LLM comme ayant à peu près le niveau d’un doctorant moyen, et en progrès, tandis que vous, vous ne faites qu’attendre leur mort
Il n’est pas nécessaire de « vivre avec ça »
Il suffit de ne pas les utiliser, de les ignorer, et de s’opposer à leur diffusion et à leur adoption. C’est ce que je continuerai à faire
Mais le « nous » mondial ne suivra presque certainement pas cette demande
Les LLM suivront la voie des systèmes experts
Plus tard, nous nous demanderons sans doute pourquoi nous avons cru que c’était possible
Je conseillerais de ne pas s’enfermer dans l’identité étroite d’expert en IA. Il va bientôt faire assez froid dehors
Je ne suis pas d’accord — https://arxiv.org/abs/2406.17642
Des travaux connexes traitent du problème de l’arrêt et des problèmes computationnellement difficiles
Bien sûr, les LLM ne peuvent pas répondre aux problèmes computationnellement difficiles
Je ne vois pas non plus pourquoi il faudrait appeler hallucination le fait de répondre « cela ne peut pas être calculé » à une question sur le problème de l’arrêt