Pourquoi les modèles de langage hallucinent-ils ? par OpenAI

Le problème de fiabilité des systèmes d’IA

1. Efforts pour améliorer l’utilité et la fiabilité des systèmes d’IA

   • OpenAI s’efforce de rendre les systèmes d’IA plus utiles et plus fiables.
   • Malgré ces efforts, l’un des problèmes les plus difficiles à résoudre, même à mesure que les modèles de langage gagnent en capacités, est celui des hallucinations (hallucinations).

2. Définition des hallucinations et problème posé

   • Une hallucination désigne le cas où une réponse générée avec assurance par le modèle est factuellement fausse.
   • Ce phénomène constitue un problème majeur susceptible de réduire la fiabilité des systèmes d’IA.

3. Résultats de recherche et causes des hallucinations

   • Un nouvel article de recherche soutient que si les modèles de langage hallucinent, c’est parce que les procédures standard d’entraînement et d’évaluation récompensent la supposition plutôt que la reconnaissance de l’incertitude.
   • Cela augmente la probabilité que les modèles d’IA génèrent des informations erronées.

4. Hallucinations dans ChatGPT et GPT-5

   • ChatGPT connaît lui aussi des hallucinations.
   • GPT-5 a notamment considérablement réduit les hallucinations lors du raisonnement, mais des hallucinations peuvent toujours se produire.
   • Cela suggère que des recherches et des améliorations continues restent nécessaires pour renforcer la fiabilité des systèmes d’IA.

Définition des hallucinations

• Une hallucination est une affirmation plausible mais erronée générée par un modèle de langage.
• Ces hallucinations peuvent apparaître de manière inattendue, y compris sur des questions simples.

Exemple d’hallucination

• Par exemple, lorsqu’on a demandé à un chatbot largement utilisé le titre de la thèse de doctorat d’Adam Tauman Kalai, il a donné trois réponses différentes avec assurance.
• Pourtant, les réponses proposées étaient toutes incorrectes.

Les limites des méthodes d’évaluation

• Les méthodes d’évaluation actuelles créent de mauvaises incitations.
• L’évaluation en elle-même ne provoque pas directement les hallucinations, mais la plupart des évaluations mesurent les performances des modèles d’une manière qui encourage à deviner et décourage l’honnêteté face à l’incertitude.
• Par exemple, dans un QCM, si l’on ne connaît pas la bonne réponse et qu’on répond au hasard, on peut avoir juste avec un peu de chance.
• Cette manière de faire crée un environnement où l’on peut améliorer ses résultats grâce à des suppositions aléatoires plutôt qu’à une évaluation précise.

Comment les performances des modèles sont évaluées

1. Principe de l’évaluation des performances
   L’évaluation des performances d’un modèle repose sur l’exactitude de ses réponses à des questions données.

2. Traitement de l’incertitude
   Lorsqu’un modèle ne connaît pas la réponse à une question, répondre « je ne sais pas » ne garantit pas un score juste.

3. Possibilité de deviner
   Par exemple, si un modèle répond au hasard « 10 septembre » à une question sur l’anniversaire d’une personne, il peut tomber juste avec une probabilité de 1/365.

4. Écart de score
   Sur des milliers de questions de test, un modèle qui devine peut obtenir de meilleurs résultats au classement qu’un modèle prudent qui reconnaît son incertitude.

Conclusion et implications

• Les limites de l’évaluation des performances
  Un modèle qui devine peut obtenir un score plus élevé, mais cela ne signifie pas pour autant qu’il fournit réellement des informations exactes.

• L’importance de la fiabilité
  Par conséquent, lorsqu’on évalue la fiabilité et l’exactitude d’un modèle, il faut tenir compte non seulement du score brut, mais aussi de l’importance de fournir des informations correctes.

Comparaison entre précision et taux d’erreur des modèles

• Précision : l’ancien modèle OpenAI o4-mini affiche des performances légèrement meilleures.
• Taux d’erreur : cependant, le taux d’erreur de ce modèle (c’est-à-dire le taux d’hallucination) est sensiblement plus élevé.
• Supposition stratégique : deviner de manière stratégique en situation d’incertitude améliore la précision, mais augmente aussi les erreurs et les hallucinations.
• Critères d’évaluation : lorsqu’on moyenne les résultats de dizaines d’évaluations, la plupart des benchmarks mettent l’accent sur les mesures de précision. Cela conduit à une fausse opposition binaire entre vrai et faux.

Une nouvelle approche de l’évaluation

1. Constat du problème
   Les méthodes d’évaluation existantes se concentrent uniquement sur la précision. Cela peut devenir un facteur qui affaiblit la fiabilité de l’évaluation.

2. Proposition de solution
   On peut envisager une approche qui applique une pénalité plus forte aux erreurs commises avec assurance et une pénalité plus faible face à l’incertitude. Cela peut améliorer l’équité de l’évaluation.

3. Attribution de points partiels
   Il est important d’accorder des points partiels lorsqu’une incertitude est exprimée de manière appropriée. Cela donne aux étudiants la possibilité d’exprimer leur réflexion.

4. Tendances de la recherche
   Plusieurs groupes de recherche explorent des méthodes d’évaluation qui prennent en compte l’incertitude et le calibrage. Ces approches pourraient proposer de nouveaux critères allant au-delà de la seule précision.

Comprendre les causes des hallucinations

• Les hallucinations sont un phénomène dans lequel apparaissent certaines inexactitudes factuelles.
• La source de ces inexactitudes réside dans le processus d’apprentissage des modèles de langage.
• Les modèles de langage apprennent lors du préentraînement (pretraining) en prédisant le mot suivant à partir de grandes quantités de texte.
• Contrairement aux problèmes classiques de machine learning, chaque affirmation n’est pas accompagnée d’une étiquette « vrai/faux ».

Un problème persistant

• Il existe plusieurs raisons pour lesquelles il est difficile d’éliminer les hallucinations.
• Le mode d’apprentissage des modèles de langage joue un rôle important dans l’apparition des hallucinations.
• Comme ce mode d’apprentissage ne fournit pas directement une information exacte, des hallucinations peuvent survenir.
• Le caractère particulier et complexe des hallucinations est étroitement lié aux données d’entraînement des modèles de langage.

L’importance d’une perspective statistique

• Cet article vise à clarifier la nature des hallucinations et à réfuter certaines idées reçues.
• Il cherche à contribuer à l’analyse et à la compréhension des hallucinations à travers une approche statistique.
• Les hallucinations sont étroitement liées à la précision des modèles d’intelligence artificielle.

La relation entre hallucinations et précision

• Argument : on pense parfois qu’améliorer la précision suffirait à éliminer les hallucinations.
• On affirme qu’un modèle précis à 100 % n’hallucinerait jamais.
• Cependant, cela passe à côté de la nature même des hallucinations.

Les limites de la précision

• Constat : la précision ne peut jamais atteindre 100 %.
• Raisons :
  1. quelle que soit la taille du modèle
  2. quelles que soient ses capacités de recherche et de raisonnement
  3. certaines questions du monde réel sont par nature sans réponse
• Ces limites suggèrent qu’il est impossible d’éliminer complètement les hallucinations.

Orientations futures de la recherche

• Les recherches futures devront explorer des approches alternatives pour réduire les hallucinations.
• Au-delà de l’amélioration de la précision des modèles, il faut aussi mieux comprendre les causes des hallucinations et développer diverses méthodologies pour y répondre.
• Une compréhension plus approfondie des hallucinations contribuera à renforcer la fiabilité de l’intelligence artificielle.