Les hallucinations des LLM sont inévitables : limites intrinsèques des grands modèles de langage

 (arxiv.org)
5 points par GN⁺ 2024-02-26 | 1 commentaires | Partager sur WhatsApp
  • Contrairement aux recherches qui cherchent à réduire empiriquement les hallucinations des LLM, cet article définit formellement l’hallucination comme la non-correspondance entre une fonction de réponse correcte calculable et la sortie du modèle, et examine s’il est possible de l’éliminer complètement
  • Selon l’argument diagonal, un LLM calculable ne peut pas apprendre toutes les fonctions calculables et, lorsqu’il est utilisé comme solveur de problèmes général, il ne peut pas éviter les hallucinations
  • Pour les LLM réalistes en temps polynomial, il existe des problèmes vulnérables aux hallucinations comme l’énumération combinatoire, l’arithmétique de Presburger, Subset Sum, SAT et l’implication en logique propositionnelle, et certaines conclusions dépendent de l’hypothèse P ≠ NP
  • L’augmentation de la taille des modèles, les ensembles de modèles, davantage de données d’entraînement, ainsi que les prompts de Chain-of-Thought et de vérification peuvent réduire les erreurs, mais si la fonction correcte dépasse les capacités du modèle, une élimination complète est impossible
  • Il est difficile de déployer automatiquement, pour des décisions critiques en matière de sécurité, des LLM appris uniquement à partir de paires entrée-sortie ; il faut aussi des garde-fous, des bases de connaissances et un contrôle humain

Hallucination des LLM définie dans un monde formel

  • L’hallucination des LLM est le problème de la génération d’informations plausibles mais fausses ou dénuées de sens, et à mesure que leur usage s’étend dans la recherche, l’industrie et la société, les inquiétudes liées à la sécurité et à l’éthique augmentent
  • Les travaux de mitigation existants ont cherché les causes aux étapes de collecte des données, d’entraînement et d’inférence, et ont tenté de réduire les hallucinations via des benchmarks, des méthodes fondées sur la recherche, des prompts de raisonnement et des prompts de vérification
  • Comme il est impossible d’énumérer et de tester toutes les entrées possibles, il est difficile de répondre, par une approche purement empirique, à la question de savoir si l’on peut éliminer complètement les hallucinations
  • Le problème de la définition formelle de la sémantique du monde réel reste ouvert ; l’article utilise donc un monde formel composé de fonctions calculables
    • La fonction correcte f fournit, pour une chaîne d’entrée s, une unique sortie correcte f(s)
    • Si l’état d’un LLM h[i] produit, pour une entrée s, h[i](https://arxiv.org/abs/s) ≠ f(s), alors il est défini comme hallucinant par rapport à la fonction correcte f
    • Le LLM est traité comme une fonction calculable globale recevant séquentiellement des échantillons d’apprentissage et possédant plusieurs états h[0], h[1], ...
  • La question centrale est de savoir si un LLM h, entraîné selon une procédure fixe, peut, pour une fonction correcte arbitraire f, atteindre à une étape d’apprentissage i un état tel que h[i](https://arxiv.org/abs/s) = f(s) pour toute entrée s

Une inévitabilité démontrée par l’argument diagonal

  • Pour un ensemble de LLM calculablement énumérable {h0, h1, ...}, il existe une fonction correcte calculable f qui fait halluciner tous les états d’apprentissage de tous les LLM
    • On rassemble d’abord tous les états d’apprentissage de tous les LLM dans une nouvelle énumération {ĥ0, ĥ1, ...}, puis on construit une table de sorties sur les chaînes d’entrée {s0, s1, ...}
    • En définissant f(si) comme une chaîne différente de ĥi(si), on force un conflit avec chaque état de LLM sur la diagonale
  • De la même manière, on peut aussi construire une fonction correcte qui fait halluciner tous les états de LLM non pas sur une seule entrée mais sur une infinité d’entrées
    • On définit f(si) comme une chaîne différente de tous les ĥj(si) pour j ≤ i
    • Ainsi, un état donné ĥk continuera d’halluciner sur des entrées suffisamment tardives
  • Un LLM calculable unique h constitue lui aussi un ensemble calculablement énumérable {h} ; il existe donc, pour tout LLM calculable, une fonction correcte calculable qui provoque des hallucinations
  • D’après le théorème 3, pour tout LLM calculable h, il existe une fonction correcte f sur laquelle chaque état h[j] hallucine, ainsi qu’une fonction f' qui le fait halluciner sur une infinité d’entrées
  • Pour qu’un LLM élimine lui-même ses hallucinations, il faudrait qu’il existe un état sans hallucination pour toute fonction calculable arbitraire, ce qui contredit le théorème 3
    • Des méthodes de mitigation reposant uniquement sur le LLM lui-même, comme Chain-of-Thought, ne peuvent donc pas éliminer complètement les hallucinations

Types de problèmes vulnérables aux hallucinations

  • Si l’on trouve une fonction correcte qu’un ensemble donné de LLM ne peut pas calculer, alors le problème correspondant devient un problème vulnérable aux hallucinations
  • Pour les LLM contraints au temps polynomial — catégorie dans laquelle l’article range tous les LLM existants — cela inclut les problèmes suivants
    • Énumération combinatoire : lister toutes les chaînes de longueur n sur un alphabet de deux caractères, ce qui nécessite un temps de calcul Ω(2^n)
    • Subset Sum : étant donné un ensemble d’entiers et un nombre q, déterminer s’il existe un sous-ensemble dont la somme vaut q, un problème NP-complet
    • Boolean Satisfiability (SAT) : déterminer s’il existe une affectation rendant vraie une formule sur n variables booléennes, un problème NP-complet
    • Implication en logique propositionnelle : déterminer si M(ψ) ⊆ M(ϕ), un problème co-NP-complet
  • La conclusion selon laquelle Subset Sum, SAT et l’implication en logique propositionnelle sont des problèmes vulnérables aux hallucinations pour les LLM en temps polynomial repose sur l’hypothèse P ≠ NP
  • L’arithmétique de Presburger est une théorie du premier ordre portant sur l’addition et l’ordre < sur les entiers naturels, et consiste à déterminer si une proposition est démontrable dans cette arithmétique
    • Son calcul exige un temps Ω(2^{2cn}), ce qui la classe parmi les problèmes vulnérables aux hallucinations pour les LLM en temps polynomial comme pour ceux en temps exponentiel
  • Il existe des problèmes vulnérables plus généraux pour tous les LLM calculables
    • Le problème d’apprendre tous les ordres linéaires calculables est traité dans le théorème 4
    • Résoudre tous les problèmes calculables relève du théorème 3
    • L’implication en logique du premier ordre est classée comme un problème indécidable
  • Les réponses des LLM sur les problèmes mathématiques et le raisonnement logique nécessitent donc toujours une vérification séparée

Portée des mesures de mitigation existantes

  • Des modèles plus grands, des ensembles de modèles et davantage de données d’entraînement peuvent aider les LLM à capturer des fonctions correctes plus complexes
    • L’augmentation des données d’entraînement peut éliminer des candidats LLM invalides et contribuer à la convergence de l’apprentissage
    • Cependant, si la fonction correcte se situe hors de la portée de ce que le LLM peut capturer, augmenter les paramètres et les données ne suffit pas à éliminer les hallucinations
    • Ajouter des couches d’attention à un LLM en temps polynomial n’en fait qu’un LLM polynomial plus grand, sans éliminer les hallucinations sur des fonctions correctes en temps exponentiel
    • Un ensemble de modèles peut lui aussi être considéré, au fond, comme un seul LLM et reste soumis aux limites du théorème 3
  • Les prompts de Chain-of-Thought, de reflection et de verification relèvent de l’apprentissage en contexte, qui fournit dans le contexte des exemples de résolution et des connaissances pertinentes
    • Pour les problèmes complexes, il existe plusieurs méthodes de résolution, et les prompts peuvent orienter le LLM vers une méthode de complexité plus faible, préférée par l’humain
    • La suite de Fibonacci est utilisée comme exemple : une solution récursive prend un temps exponentiel, tandis que la programmation dynamique permet une résolution en temps linéaire
    • Comme il est peu probable de pouvoir décrire complètement toutes les fonctions correctes dans des prompts, cette approche ne peut être efficace que sur certaines tâches spécifiques
  • Les garde-fous et barrières consistent à aligner les sorties des LLM sur les valeurs humaines, l’éthique et les exigences juridiques, ou à maintenir une liste de tâches critiques qu’il ne faut pas automatiser entièrement avec des LLM
    • Ils peuvent être programmés formellement pour influencer explicitement le comportement du LLM
    • Ils peuvent constituer des mesures de mitigation utiles dans le monde formel comme sur certains problèmes réels
    • Leur capacité à passer à l’échelle dans le monde réel reste une question ouverte
  • Les LLM enrichis en connaissances exploitent, à l’apprentissage et à l’inférence, des connaissances externes et du raisonnement symbolique comme des graphes de connaissances, des bases de données et la logique
    • Des chatbots fondés sur des LLM comme ChatGPT commencent à utiliser des outils tels que des moteurs de recherche, des interpréteurs de code et des calculatrices pour résoudre des problèmes au-delà des capacités intrinsèques du LLM
    • La recherche dans une base de connaissances fournit, au sujet de la fonction correcte, des informations autres que de simples échantillons d’apprentissage entrée-sortie
    • Dans ce cas, le théorème 3 ne s’applique pas tel quel, et cela peut constituer une mitigation potentiellement efficace des hallucinations dans le monde formel
    • La capacité à passer à l’échelle sur des tâches réelles reste encore ouverte

Contraintes de déploiement et limites de la recherche

  • Tout LLM entraîné uniquement sur des paires entrée-sortie hallucine lorsqu’il est utilisé comme solveur de problèmes général
    • Certains problèmes peuvent être intellectuellement faciles pour l’humain mais computationnellement difficiles pour un LLM
    • À l’inverse, certains problèmes difficiles pour l’humain peuvent être computationnellement faciles pour un LLM
    • Dans le monde réel, la complexité computationnelle n’est pas la seule cause des hallucinations ; des données d’entraînement incomplètes peuvent aussi provoquer des hallucinations sur des tâches computationnellement simples
  • Cette conclusion s’applique aux LLM utiles qui finissent par répondre à des questions en dehors des données d’entraînement
    • Un LLM peut répondre « je ne sais pas » à un nombre arbitrairement grand de questions
    • Mais dès qu’un état du LLM répond à une question hors des données d’entraînement, la technique de diagonalisation des théorèmes 1 et 2 peut s’appliquer à cette réponse
    • Si le LLM ne répond jamais, il n’hallucine pas ; mais tant qu’il répond à des questions inédites, il hallucine dans un certain monde formel
  • Il ne faut pas utiliser automatiquement des LLM pour des décisions critiques en matière de sécurité sans dispositifs d’assistance externes
    • Les garde-fous, barrières, bases de connaissances et le contrôle humain peuvent fournir des informations autres que de simples paires entrée-sortie et aider à dépasser les limites du théorème 3
    • Dans des domaines où les erreurs dues aux hallucinations sont difficilement acceptables, comme les décisions liées à la vie humaine, un jugement rationnel et humain est nécessaire
  • La recherche et la régulation sur les limites de sécurité des LLM sont importantes
    • Il existe des cas où un LLM utilisé dans le service client a fourni de fausses informations, entraînant des pertes financières réelles
    • Dans des environnements automatisés de détection et d’action, comme la robotique, les hallucinations peuvent conduire à des conséquences concrètes dangereuses
    • Un consensus entre théoriciens et praticiens sur les frontières de capacité des LLM, ainsi qu’une régulation empêchant les usages au-delà de ces frontières, sont nécessaires
  • Les limites de l’étude sont également claires
    • Elle ne traite pas des hallucinations survenant dans des problèmes qui restent à l’intérieur des capacités de calcul du LLM
    • Elle suppose une fonction correcte déterministe, ce qui limite les enseignements d’un point de vue probabiliste
    • Dans les études empiriques, les LLM existants sont utilisés sans fine-tuning supplémentaire

À lire aussi

1 commentaires

 
GN⁺ 2024-02-26
Avis sur Hacker News

  • En parcourant l’article, le cœur de l’argument semble être que, puisque P != NP, les LLM produisent des réponses hallucinées sur les problèmes NP-complets
    C’est une idée astucieuse, et cela soulève d’intéressantes questions philosophiques sur les mathématiques, l’informatique et le langage, mais on dirait que certains essaient de l’appliquer au concept ordinaire d’« hallucination des LLM ». Le lien entre l’hallucination formelle utilisée dans l’article et l’hallucination au sens courant — inventer un chapitre inexistant quand on demande un résumé de roman, ou fabriquer des détails précis — ne me paraît pas évident
    L’affirmation selon laquelle le monde formel, c’est-à-dire celui des mathématiques, de la logique et de la grammaire formelle, serait un sous-ensemble du monde « réel » ou du langage naturel est aussi intéressante. La plupart des humains ne savent ni résoudre des problèmes de logique formelle ni parser une grammaire formelle, sans pour autant subir de fort effet d’hallucination, et ils manient très bien le langage naturel. Si les humains ne peuvent pas non plus résoudre certains problèmes NP-complets, les hallucinations sont-elles inévitables ? Comme notre durée de vie est finie, il peut aussi exister des problèmes qu’on ne terminera jamais, même si l’on en a théoriquement la capacité

    • Pour les LLM, le terme hallucination est un mauvais choix, et il est déprimant de voir ce terme s’être imposé
      Quand les humains font cela, on appelle plutôt ça de la confabulation. C’est un symptôme psychiatrique où une personne, sans savoir qu’elle ment, comble à la volée les lacunes de ses connaissances par des inventions absurdes. L’hallucination est un symptôme totalement différent
      La confabulation n’est pas un comportement normal chez l’humain, et je ne vois pas non plus en quoi cela pourrait être lié à P != NP. Une personne normale reconnaît les limites de son savoir, quelle qu’en soit la raison, alors qu’un LLM ne le fait pas
    • Oui. On dirait qu’on introduit l’infini, puis qu’on tombe sur le problème de l’arrêt sur l’infini, ce qui n’est peut-être pas très utile
      Le point faible de cet argument semble être la partie qui dit : « nous définissons l’hallucination dans un monde formel où l’on ne s’intéresse qu’aux LLM calculables et à une fonction calculable de vérité f sur S ». Cela exige un prédicat de vérité fiable et calculable, ce qui est probablement impossible en soi
      On peut toutefois éviter le problème si l’on autorise la fonction de vérité à renvoyer True, False, Unknown et Resource limit exceeded. L’objectif devient alors gérable. Il suffit de ne renvoyer True ou False que lorsqu’ils sont valides, et de réduire la proportion de Unknown et de Resource Limit Exceeded sur les requêtes utiles
      Le même problème se pose aussi dans les systèmes de vérification de programmes, et il est traité ainsi depuis des décennies. Déterminer si une proposition est vraie demande parfois trop de travail
    • Dire que « puisque P != NP, les LLM hallucinent sur les problèmes NP-complets » ne semble correct que si l’on définit hallucination comme le simple fait de donner une mauvaise réponse. Mais ce n’est généralement pas ainsi qu’on le comprend
      Quand on parle d’hallucination des LLM, on veut bien dire des réponses factuellement fausses et données avec assurance. Mais toute mauvaise réponse n’est pas une hallucination
      Si on demande à un LLM si un programme s’arrête et qu’il répond « je ne sais pas », on n’appellerait pas cela une hallucination. Or, si l’argument des auteurs est qu’un LLM ne peut pas toujours résoudre correctement les problèmes NP-complets, on dirait qu’ils considéreraient aussi « je ne sais pas » comme une réponse hallucinée. Cela dit, je n’ai pas lu l’article
    • Les humains ont, dans une certaine mesure, la capacité de reconnaître qu’ils ont atteint une limite et de s’ajuster en conséquence. Cela dit, des notions comme le théorème de complétude, la complexité de Kolmogorov ou la théorie de la complexité calculatoire sont aussi des connaissances auxquelles on n’est arrivé qu’au XXe siècle
    • Le seul moyen de réduire les hallucinations, chez les humains comme chez les LLM, est d’augmenter l’intelligence générale et les connaissances sur le monde

  • J’admets n’avoir lu que le résumé, mais je reste globalement sceptique sur l’utilité pratique d’une approche aussi hautement formelle pour répondre à la question : peut-elle amener les LLM à dire plus souvent « je ne sais pas » ?
    Cela fait penser aux théorèmes d’incomplétude. De même que ces théorèmes ne signifient pas que la recherche mathématique est vaine, le fait qu’un LLM puisse être incapable de calculer certaines fonctions ne veut pas dire que le problème des hallucinations exige qu’il sache tout. Le vrai problème qui nous intéresse est celui de répondre « je ne sais pas », et cela peut tout à fait rester calculable

    • Un LLM ne peut pas dire « je ne sais pas ». En réalité, il ne sait rien
      La réponse ne vient pas d’un esprit pensant, mais d’un supercalculateur d’appariement de motifs complexe flottant sur une immense table de motifs pré-calculés. Il calcule l’entrée, puis recrache ce qui correspond le mieux à ces motifs. Il n’y a pas de cerveau pensant qui comprend conceptuellement ses propres limites
      Attendre d’une IA actuelle qu’elle dise « je ne sais pas », c’est un peu comme demander à un logiciel de navigation combien de temps il faut pour aller jusqu’à la maison des Simpson à Springfield. La machine donnera une réponse, mais elle ne saisira pas la référence culturelle qui rend la question impossible. Elle cherchera plutôt une personne nommée Simpson dans le Springfield réel le plus proche
    • Les transformeurs n’ont ni capacité d’introspection, ni capacité à raisonner sur leur propre processus de raisonnement, et ils ne « savent » pas qu’ils ne savent pas
      J’interprète l’article comme affirmant que cette faiblesse est fondamentale. On peut entraîner un réseau à se comporter comme s’il connaissait les limites de son propre savoir, mais dans une mise en œuvre réelle, il restera toujours un écart impossible à combler
    • Pour répondre « je ne sais pas », il faut savoir quand on sait. Et pour savoir quand on sait, il faut à nouveau de la compréhension
    • Il ne semble pas exister de moyen simple de faire répondre « je ne sais pas » à un LLM
      Pour cela, il faudrait qu’il apprenne, dans tout ce qu’il a ingéré, la manière dont les gens parlent quand ils ne savent vraiment pas. Mais beaucoup de gens sur Internet, quand ils ne savent pas, n’écrivent pas simplement « je ne sais pas » ; ils écrivent autre chose sans rapport
    • Ce n’est pas directement à propos des LLM, mais en informatique en général, beaucoup de problèmes sont classés comme « insolubles » ou « insolubles en temps raisonnable (NP) », alors qu’une approximation bornée par une certaine valeur peut, elle, être trouvée en temps raisonnable (P)
      Dans le monde réel, si l’itinéraire des camions d’Amazon est 20 % moins bon que l’optimum mathématique, on peut quand même considérer que le problème du voyageur de commerce est « résolu » de manière suffisamment satisfaisante

  • Il faut formuler les questions avec beaucoup de prudence pour éviter qu’il invente des choses. Par exemple, il ne faut pas demander « comment faire ceci dans x ? », mais « est-ce qu’on peut faire ceci avec x ? »
    Ces « IA » ressemblent à des béni-oui-oui. Même quand ce n’est pas vrai ou pas possible, elles disent n’importe quoi pour faire plaisir à l’utilisateur
    J’ai déjà rencontré des gens comme ça, et c’est très difficile de travailler avec eux. Impossible de savoir s’ils livreront vraiment le projet promis, et il faut tout revérifier. On ne peut même pas être sûr que ce qu’ils promettent soit faisable au départ

    • Même avant ChatGPT, il y avait un problème similaire dans la traduction des langues humaines, mais les gens en parlaient moins
      Ces temps-ci, c’est frustrant qu’il devienne de plus en plus difficile d’amener DeepL à traduire thou par du. C’était une méthode que j’utilisais souvent, une sorte de « hack », pour contourner des incompatibilités causées par une fonctionnalité absente de l’anglais
      Pour atténuer un peu le problème du béni-oui-oui, il faut poser ses questions comme un mathématicien tatillon, et je ne pense pas que ce problème puisse être totalement résolu avec la seule technologie des LLM. Aussi ridicule que cela puisse paraître, il faut bien reconnaître l’existence du « prompt engineering », car il semble probable que des abstractions capables de décomposer les questions à notre place vont se développer
    • J’ai eu un certain succès avec l’instruction « pose des questions de suivi si des clarifications supplémentaires sont nécessaires »
      La meilleure expérience que j’ai eue commençait par une conversation libre sur ce que nous essayions de faire. Il semble utile de commencer par un échange de questions-réponses pour vérifier que l’IA et moi pensons au même domaine et partageons le vocabulaire pertinent
    • L’analogie est vraiment pertinente. Au fond, c’est une question d’entraînement et de sélection
      Tant qu’il y a une récompense associée à « comporte-toi ainsi, sinon… », il n’est pas surprenant de voir apparaître des systèmes qui utilisent leur intelligence pour atteindre l’objectif fixé
      Heureusement, cela en dit moins sur les limites de l’intelligence sous-jacente que sur les limites de la structure de récompense qu’on a construite autour
    • Il m’est aussi arrivé assez souvent que le LLM me dise que ce que je voulais faire avec diverses technologies était impossible, ou qu’il existait une meilleure manière de faire
    • L’IA actuelle est réglée avec le RLHF pour éviter d’en faire un béni-oui-oui ou un flatteur
      C’est vrai qu’il faut de meilleurs prompts. Il ne faut pas demander « qui a été la première femme présidente ? », mais « y a-t-il déjà eu une femme présidente ? ». Comme sur StackOverflow, il faut poser la bonne question sans partir d’hypothèses quand on ne sait pas
      Pensez au début de Google, quand on voyait des résultats spammy et qu’on rejetait la faute uniquement sur le moteur de recherche, en ignorant le choix des mots-clés ou son comportement consistant à toujours renvoyer quelque chose. C’est un peu comme un utilisateur qui tape au ciseau sur une dalle de béton et se plaint qu’il n’en sorte pas une belle statue

  • Écrire des romans et des histoires, c’est de l’hallucination. C’est l’opposé du perroquet stochastique
    Les deux extrêmes de l’IA ont déjà été atteints. Un ordinateur peut être une machine logique tout en étant aussi une machine à halluciner. Le but est de construire une machine capable de faire les deux à la fois et de distinguer l’un de l’autre
    L’essentiel, ce n’est pas l’hallucination en elle-même, mais le fait que l’ordinateur soit conscient du moment où il hallucine
    Bien sûr, c’est un problème difficile, mais les humains hallucinent énormément eux aussi. Il suffit de regarder les religions. Puisqu’une seule religion peut être juste, ou bien aucune, cela signifie logiquement que toutes les autres sont des hallucinations

    • Comparer la religion aux erreurs des LLM est un exemple d’anthropomorphisation très répandu aujourd’hui. Je crains que ce type de malentendu et de confusion n’entrave réellement l’amélioration de la technologie
      Arriver à une explication erronée comme « Hélios tire le soleil chaque jour à travers le ciel » et le fait, pour un programme mathématique, de renvoyer à tort le prochain token qui semble le plus plausible dans l’ordre sont catégoriquement différents. Les LLM n’ont absolument aucune croyance
      Hélios est une réponse à la question « pourquoi le soleil se lève-t-il ? ». Une telle croyance montre une compréhension logique selon laquelle une force doit provoquer ce phénomène, mais elle produit une explication incorrecte par manque de connaissance du monde
      Un LLM ne peut ni formuler ce genre de question ni raisonner dessus. Ce n’est pas le même type d’« hallucination ». Si l’on suppose qu’on a résolu la cognition avec la prédiction de mots, on va très vite droit dans le mur à long terme
    • Ce n’est pas l’opposé du perroquet stochastique, c’est exactement la même chose. C’est simplement que la prédiction est moins bonne à cause de données d’apprentissage clairsemées
    • La phrase « puisqu’une seule religion peut être juste, ou bien aucune, toutes les autres sont des hallucinations » contient plusieurs erreurs
      Il est possible que plusieurs religions décrivent correctement certains aspects du monde tout en se trompant sur d’autres. Traiter le seul état utile possible d’une religion comme une unique « bonne réponse » rigoureuse et complète est très trompeur. La physique newtonienne et la relativité restreinte ne permettent pas non plus de prédire certains phénomènes observés, tout en restant utiles. Toutes les religions ne prétendent pas non plus à une cohérence rigoureuse et parfaite
      Même si une religion peut sembler fausse, cela ne signifie pas automatiquement qu’il s’agit d’une hallucination. Les gens peuvent croire à quelque chose pour des raisons plausibles et malgré tout se tromper
      On peut aussi avoir une attitude du type : « je ne peux pas prouver que c’est vrai et je n’essaie même pas de le prouver, mais une expérience subjective de vision divine m’a convaincu que cela existe probablement ». Cela paraît très différent d’un LLM qui invente de toutes pièces un article scientifique sans le moindre fondement
    • C’est un peu hors sujet, mais je pense que l’un des moteurs de l’existence des religions est le besoin de personnification
      Les humains semblent interagir plus facilement avec le monde et ses éléments lorsqu’ils les traitent comme des entités familières, semblables à des personnes, avec lesquelles on peut communiquer
      La personnification apparaît aussi souvent quand on parle des LLM et de l’IA en général
    • Un exemple plus simple du fait que les humains hallucinent eux aussi à grande échelle, ce sont les rêves

  • Quelqu’un de brillant l’a formulé ainsi
    Quand c’est bien, on appelle ça de la « créativité » ; quand c’est mauvais, on appelle ça une « hallucination »
    Ce n’est pas un bug. Comme le disent les auteurs, ce n’est pas non plus une limite. C’est une fonctionnalité

    • Exact. Les LLM hallucinent et inventent en permanence
      Comme ces hallucinations tombent parfois juste par hasard, les gens en ont conclu que se tromper est l’exception et qu’avoir raison est somehow la règle
      C’est un peu comme trouver, dans des textes vieux de plusieurs millénaires, des passages qui semblent coller à sa vie actuelle, puis conclure qu’ils prédisaient l’avenir
      Le sens ou la vérité de tels textes ne vient pas d’une qualité intrinsèque du texte lui-même, mais seulement d’un biais cognitif dans l’esprit du lecteur
    • Oui, mais on peut tomber dans le piège d’attendre trop des LLM. Leur savoir peut sembler parfait. Comme ils peuvent répondre à presque tout, il est facile de s’imaginer qu’ils peuvent répondre véridiquement à n’importe quoi
      Quant aux améliorations à venir, attendre une superintelligence au-delà du niveau qu’on voit aujourd’hui me paraît excessivement optimiste. Je parle de l’accès à l’ensemble des informations publiques mondiales, ou de la génération rapide de texte, d’images et de vidéos conformes aux schémas créatifs existants
      Je soupçonne qu’une intelligence plus créative exige un équilibre extrêmement délicat pour ne pas « perdre la tête », c’est-à-dire pour produire des résultats que nous percevrions comme de la créativité plutôt que comme des hallucinations
      Plus on construit de boucles de rétroaction permettant à l’intelligence d’évoluer à l’intérieur de l’IA, plus cet équilibre deviendra exponentiellement difficile à maintenir
      Il est aussi possible que l’être humain ait déjà optimisé cette boucle de rétroaction de l’intelligence créative jusqu’à la limite autorisée par l’univers. Pour un savoir massif, davantage de neurones ou d’espace de stockage aide évidemment, mais on ne sait pas encore si cela vaut aussi pour l’intelligence créative
    • Si ce n’est pas un bug, alors ce n’est ni une hallucination ni de la créativité
      C’est un défaut de conception profondément intégré qui révèle ce que nous faisons réellement : modéliser statistiquement une grande quantité de langage humain
      Balancer plus de données dans cette voie ne va pas provoquer magiquement un réveil en AGI. Ce problème ne disparaîtra pas
      La communauté du machine learning doit descendre du train de l’emballement. La première étape, c’est de ne pas anthropomorphiser ses propres projets
    • Demander d’écrire du code, c’est fondamentalement demander à un LLM d’halluciner
    • Le point essentiel me semble être de savoir si le LLM comprend lequel des deux il est en train de faire
      N’est-ce pas là la différence avec l’humain ?
      Un humain sait qu’il est en train de faire une supposition fondée, et devrait pouvoir le dire si nécessaire. Ou il sait qu’il est en train de créer, et peut le dire aussi
      S’il ne sait pas lequel des deux il fait, alors il devient clair qu’un LLM ne dépasse pas vraiment le stade d’un dispositif mécanique d’entrée/sortie extrêmement sophistiqué

  • On dirait que l’emballement autour de l’IA est désormais entré dans sa phase « revenons à la réalité ». J’ai aussi l’impression de ne plus avoir vu depuis un moment de textes exaltés sur le problème de l’alignement

    • L’emballement est délirant. Je pense qu’il y a encore beaucoup de marge de progression pour les LLM et qu’ils sont déjà très utiles, mais comme le disent d’excellents chercheurs, ce n’est pas le Saint Graal
      Si l’on veut l’AGI, les LLM ne sont pas la réponse. Beaucoup semblent voir cela comme un problème d’ingénierie et pensent que les LLM peuvent nous y conduire, mais ce n’est pas le cas. Parce que ce n’est pas un problème d’ingénierie

  • Dire que « l’hallucination est définie comme une divergence entre un LLM calculable et une fonction calculable de vérité terrain » relève simplement de l’inexactitude ou de la manipulation
    Appeler cela une hallucination, c’est seulement flatter l’idée que ces programmes seraient intelligents

    • Exact. Imaginez une calculatrice de poche qui donne des réponses complètement fausses dans 10 % des cas, et qu’au lieu de dire qu’elle est simplement défectueuse, on la qualifie de capricieuse
    • Cette phrase est aussi bien trop généreuse envers la notion de « vérité terrain calculable ». Il n’existe rien de tel pour les tâches qu’on confie aux LLM. À moins de fabriquer de nouvelles définitions qui détruisent le sens des mots, bien sûr

  • Le LLM est défini comme un modèle probabiliste qui conditionne la sortie à l’instant t d’une chaîne sur tous les tokens précédents
    Cette définition semble assez large pour englober aussi l’intelligence humaine, et donc la conclusion devrait s’appliquer pareillement à l’humain

    • C’est certainement vrai. La mémoire humaine, et la capacité à se rappeler correctement ce que l’on pense avoir retenu, sont influencées par toutes sortes de choses et peuvent parfois être très peu fiables
      Cela dit, l’intelligence humaine, contrairement aux LLM, ne se limite pas à rappeler des informations apprises auparavant. Nous pouvons aussi raisonner logiquement, et cette capacité semble également s’améliorer chez les LLM, mais on est encore loin de la perfection
      Un autre problème, c’est que nous traitons la fiabilité de manière très différente selon la source d’information, surtout en fonction de nos biais personnels. D’après mon expérience, les LLM ont tendance à s’effondrer rapidement et à changer d’avis selon l’entrée de l’utilisateur, et je pense que c’est un facteur majeur
    • Quand on saura définir et mesurer l’intelligence, ce genre de discussion deviendra pertinent
    • Cela pourrait aussi expliquer la raison évolutive des rêves. Les rêves pourraient élaguer les hallucinations. Est-ce qu’il y aurait un intérêt à alterner apprentissage et rêve ?

  • Avec cette définition, il est très facile de prouver que la phrase du titre, à savoir « les hallucinations sont inévitables », est fausse.
    Fixons la longueur du contexte d’entrée du LLM à 1 octet. On continue à entraîner le LLM jusqu’à ce qu’il réponde « yes » à l’entrée « A » et « no » à toutes les autres entrées.
    Définissons la fonction de vérité ainsi : la bonne réponse pour l’entrée « A » est « yes », et pour toutes les autres entrées c’est « no ».
    On peut prouver que ce LLM n’hallucine jamais. En effet, on a entièrement vérifié que, pour toutes les entrées possibles, sa sortie coïncide avec la fonction de vérité.
    Rien n’empêche d’augmenter arbitrairement, par récurrence, la taille du contexte d’entrée et le nombre d’entrées de la table de vérité, et à aucune étape l’hallucination ne devient « inévitable ».

    • Je ne suis pas d’accord avec l’article non plus, mais pour une autre raison.
      Il est évident que ce fragment de phrase ne contient pas à lui seul toutes les hypothèses des auteurs. Ils démontrent quelque chose d’intuitivement assez évident : un LLM avec des entrées de longueur arbitraire et certaines contraintes de ressources — par exemple un LLM pouvant utiliser au plus un temps polynomial de calcul, et dont ce comportement en temps polynomial doit être prouvable afin qu’il ne prenne pas accidentellement plus longtemps pendant l’entraînement — ne peut pas calculer certaines fonctions qu’un système sans ces contraintes peut calculer.
      Dans certains cas, cette preuve suppose P != NP. Ils soutiennent ensuite qu’une partie des questions utiles dans le monde réel ont de fortes chances d’appartenir à la classe de celles que les LLM ne peuvent pas calculer, parce qu’on peut poser des problèmes de mathématiques à un LLM, et que ces problèmes sont parfois très difficiles.
      Ce modèle formel est asymptotique, c’est-à-dire qu’il suppose notamment des entrées de longueur arbitraire, mais d’après mon expérience, ce type de théorème est souvent aussi vrai pour des problèmes réalistes avec des requêtes d’une longueur raisonnable.
      Mais ce n’est pas la même chose que de prouver que les hallucinations sont inévitables. Avec une définition raisonnable, qu’il s’agisse d’un LLM ou d’un humain, il faut pouvoir répondre « je ne sais pas », et cela ne devrait pas être considéré comme une hallucination. Dans ce cas, un LLM peut éviter les hallucinations, et la vraie question devient : jusqu’à quel point peut-il être utile sans halluciner ?
    • Dire « entraînez-le jusqu’à ce qu’il réponde yes pour l’entrée A et no pour le reste » revient fondamentalement à dire entraînez-le jusqu’à ce qu’il n’hallucine plus.
      La thèse se réduit alors à une tautologie : un LLM entraîné à ne pas halluciner n’hallucine pas. La partie difficile, c’est de réellement y parvenir.
    • Dire qu’« on peut augmenter arbitrairement, par récurrence, la taille du contexte d’entrée et le nombre d’entrées de la table de vérité » n’est pas une récurrence.
      Vous n’avez fait que le cas de base ; il n’y a ni hypothèse de récurrence ni étape de récurrence. Vous avez peut-être fait cette étape mentalement, mais dans ce cas la preuve n’est pas aussi triviale que vous l’affirmez.

  • C’est pourquoi il faut coupler l’apprentissage du langage à une expérience du réel. Il faut donner à ces robots un monde à explorer, même virtuel, et les laisser y subir les conséquences de leurs actes et y survivre.
    Sinon, tout cela ne sera qu’un ensemble de signes et de symboles flottants, sans ancrage dans l’expérience.

    • J’ai plutôt tendance à être d’accord, mais cela aussi peut relever de l’anthropomorphisme.
      Il y a 3 à 5 ans, je pensais la même chose des LLM. Ils ne savaient pas répondre à des questions du type : quand des objets sont assemblés de façon ambiguë, lequel va tomber ? À l’époque, l’idée était qu’il fallait l’avoir vécu pour le comprendre. Mais les LLM ont corrigé ce genre de lacunes il y a déjà longtemps.
      La manière dont les LLM « résolvent » une question est très différente de la nôtre. Pour prouver aujourd’hui qu’un LLM doit être ancré dans le monde réel pour acquérir de l’intelligence, il faudrait sans doute trouver un phénomène du monde réel tellement évident que personne n’a jamais jugé utile de l’écrire. Mais dans ce cas, ne finirions-nous pas justement par l’écrire ?