Une illusion certaine : les limites innées des grands modèles de langage

Limites intrinsèques des grands modèles de langage : les hallucinations sont inévitables

• Le phénomène d’hallucination dans les grands modèles de langage (LLMs) est un défaut majeur largement connu.
• De nombreuses recherches ont tenté de réduire le niveau d’hallucination, mais la plupart ne reposent que sur des méthodes empiriques et ne répondent pas à la question fondamentale de savoir s’il est possible d’éliminer complètement les hallucinations.
• Cet article formalise le problème et montre qu’il est impossible d’éliminer les hallucinations dans les LLMs.

Définition des hallucinations dans un monde formel

• Il définit un monde formel où les hallucinations sont décrites comme une divergence entre un LLM calculable et une fonction de vérité de référence calculable.
• En s’appuyant sur des résultats issus de la théorie de l’apprentissage, il montre que les LLMs ne peuvent pas apprendre toutes les fonctions calculables et qu’ils connaîtront donc toujours des hallucinations.

L’inévitabilité des hallucinations dans le monde réel

• Comme le monde formel n’est qu’une partie du monde réel, bien plus complexe, les hallucinations sont également inévitables dans les LLMs du monde réel.
• Pour les LLMs du monde réel contraints par une complexité temporelle démontrable, l’article décrit des tâches particulièrement sujettes aux hallucinations et le vérifie empiriquement.

Mécanismes d’atténuation des hallucinations et implications pratiques

• En utilisant le cadre du monde formel, l’article examine les possibilités et l’efficacité des mécanismes existants d’atténuation des hallucinations.
• Il discute également des implications pratiques pour un déploiement sûr des LLMs.

L’avis de GN⁺

• Cette étude apporte une compréhension fondamentale du phénomène d’« hallucination », un problème central des grands modèles de langage.
• La démonstration théorique du caractère inévitable des hallucinations pourrait ouvrir de nouvelles pistes pour la conception et l’amélioration des LLMs.
• Elle peut constituer une contribution importante aux discussions sur la construction de systèmes d’IA sûrs et fiables, et marquer une étape importante dans l’évolution de la technologie.

[GN⁺]

Commentaires Hacker News

• Résumé du premier commentaire :

  • L’argument central de cet article est que, puisque P ≠ NP, les LLM (grands modèles de langage) produiront des réponses fictives pour les problèmes NP-complets.
  • Cela soulève d’intéressantes questions philosophiques sur les mathématiques, l’informatique et le langage, mais s’appuie sur un concept formel différent de la notion habituelle de « hallucination des LLM ».
  • L’idée selon laquelle le monde formel est un sous-ensemble du monde du langage naturel est également intéressante. Les humains ne savent pas résoudre les problèmes NP-complets, mais font preuve d’une grande maîtrise en langage naturel.

• Résumé du deuxième commentaire :

  • Je n’ai lu que le résumé, mais je suis sceptique quant à l’utilité de cette approche formelle pour le problème pratique qui consiste à augmenter la fréquence à laquelle un LLM répond « je ne sais pas ».
  • C’est similaire au théorème d’incomplétude : un LLM n’a pas besoin de tout savoir, mais le problème de répondre « je ne sais pas » est important.

• Résumé du troisième commentaire :

  • Il faut poser les questions à un LLM avec beaucoup de précaution pour éviter qu’il n’invente.
  • Ce type d’IA ressemble à un « béni-oui-oui » : elle cherche à vous faire plaisir, indépendamment de la vérité.
  • Il est très difficile de travailler avec ce genre de profils. Il faut toujours vérifier s’ils exécuteront réellement le projet promis, et même si c’est possible.

• Résumé du quatrième commentaire :

  • Écrire de la fiction et des histoires est une forme d’hallucination.
  • L’IA atteint les deux extrêmes : la machine logique et la machine qui produit des hallucinations.
  • L’objectif est de créer une machine capable de faire les deux à la fois et de faire la distinction entre les deux.
  • L’hallucination est importante, mais l’essentiel est que l’ordinateur sache qu’il hallucine.

• Résumé du cinquième commentaire :

  • Si la créativité est bonne, on appelle cela de la « créativité » ; si elle est mauvaise, on appelle cela une « hallucination ».
  • Ce n’est ni un bug ni une limite, c’est une fonctionnalité.

• Résumé du sixième commentaire :

  • Le terme « hallucination » est inadapté pour décrire le phénomène qui consiste à générer des formulations mal corrélées à la réalité, car il désigne normalement la perception de choses qui n’existent pas dans la réalité.

• Résumé du septième commentaire :

  • La surestimation de l’IA entre désormais dans une « phase réaliste ».
  • Ces derniers temps, on ne voit plus de posts exaltés sur le problème de l’alignement.

• Résumé du huitième commentaire :

  • Ils définissent les LLM comme des modèles probabilistes de chaînes de caractères, une définition assez large pour inclure l’intelligence humaine.
  • Par conséquent, leurs conclusions pourraient aussi s’appliquer de la même manière aux humains.

• Résumé du neuvième commentaire :

  • Ils définissent l’hallucination comme une divergence entre un LLM calculable et une fonction de vérité de référence calculable.
  • Il s’agit simplement d’inexactitude ou d’invention.
  • Le terme « hallucination » répond à l’idée que ces programmes seraient intelligents.

• Résumé du dixième commentaire :

  • Ils définissent l’hallucination comme une divergence entre un LLM calculable et une fonction de vérité de référence calculable.
  • Avec cette définition, il est facile de réfuter l’énoncé du titre « les hallucinations sont inévitables ».
  • Il suffit de fixer la longueur du contexte d’entrée à un octet et d’entraîner le LLM à ne répondre « oui » que pour « A ».
  • On définit ensuite la fonction de vérité de référence comme suit : la sortie correcte pour l’entrée « A » est « oui », et pour toutes les autres entrées la sortie correcte est « non ».
  • Ce LLM n’hallucine donc jamais, puisqu’on a entièrement vérifié que sa sortie correspond à la fonction de vérité de référence pour toutes les entrées possibles.
  • Il est possible d’augmenter la taille du contexte d’entrée et le nombre d’entrées de la table de vérité de référence sans qu’à aucun stade les hallucinations ne deviennent « inévitables ».