Détection des hallucinations des grands modèles de langage à l’aide de l’entropie sémantique

Détection des hallucinations dans les grands modèles de langage à l’aide de l’entropie sémantique

Résumé

• Grands modèles de langage (LLM) : les systèmes LLM comme ChatGPT ou Gemini montrent d’excellentes capacités de raisonnement et de réponse aux questions, mais ils présentent souvent un problème d’« hallucinations », en générant des sorties erronées ou des réponses sans fondement.
• Problème des hallucinations : cela peut entraîner divers problèmes, comme la fabrication de précédents juridiques, de fausses informations dans des articles de presse ou des risques dans le domaine médical.
• Limites des solutions existantes : l’orientation vers la véracité via l’apprentissage supervisé ou par renforcement n’a obtenu qu’un succès partiel.
• Nouvelle méthode : proposition d’un estimateur d’incertitude fondé sur l’entropie et sur des bases statistiques pour détecter les générations arbitraires et erronées (confabulations). L’incertitude est calculée au niveau du sens, et non selon un ordre particulier des mots.
• Applicabilité : la méthode fonctionne indépendamment du dataset et de la tâche, ne nécessite pas de connaissance préalable de la tâche et se généralise fortement à de nouvelles tâches.

Points clés

Importance du problème des hallucinations

• Définition des hallucinations : lorsqu’un LLM génère un contenu qui n’est pas fidèle à la source fournie ou qui manque de logique.
• Exemple de confabulation : lorsqu’il génère aléatoirement des réponses différentes à une même question.
• Problèmes existants : entraînement sur des données erronées, mensonge pour maximiser une récompense, ou échecs systématiques de raisonnement ou de généralisation.

Détection des confabulations à l’aide de l’entropie sémantique

• Vue d’ensemble de la méthode : elle mesure quantitativement les cas où une entrée a une forte probabilité de produire une réponse arbitraire et sans fondement.
• Entropie sémantique : l’entropie est calculée à partir du sens des phrases afin d’estimer l’incertitude. Une entropie élevée indique une forte incertitude.
• Clustering : les réponses de sens similaire sont regroupées en clusters pour calculer l’entropie.

Évaluation et résultats

• Datasets : évaluation sur divers datasets, dont TriviaQA, SQuAD, BioASQ, NQ-Open et SVAMP.
• Modèles : tests réalisés sur divers modèles, dont LLaMA 2 Chat, Falcon Instruct, Mistral Instruct et GPT-4.
• Performances : l’entropie sémantique obtient de meilleures performances que l’entropie simple classique ou les méthodes supervisées.

Performances globales

• AUROC : indicateur mesurant la capacité du modèle à prédire ses erreurs ; l’entropie sémantique obtient le meilleur score.
• AURAC : indicateur mesurant la précision sur les questions restantes après rejet de celles susceptibles de provoquer des confabulations ; l’entropie sémantique affiche les meilleures performances.

Avis de GN⁺

1. Utilité pratique : l’entropie sémantique est très pratique car elle peut être appliquée à divers datasets et tâches. Elle se généralise particulièrement bien aux nouvelles tâches.
2. Apport technique : elle dépasse les limites des approches classiques de calcul d’entropie simple et propose une nouvelle manière de mesurer l’incertitude au niveau sémantique.
3. Potentiel futur : cette méthode pourrait aussi être appliquée par la suite à l’amélioration de la fiabilité des résumés abstraits ou des LLM conversationnels.
4. Limites : elle ne résout pas les cas où le système a appris des données systématiquement erronées ni les erreurs de raisonnement systématiques. D’autres approches sont nécessaires pour cela.
5. Technologies concurrentes : comparée à d’autres méthodes d’estimation de l’incertitude, l’entropie sémantique montre de meilleures performances, même si, dans certaines situations, d’autres méthodes peuvent être plus efficaces.

[GN⁺]

Avis Hacker News

• Problème mathématique : l’approche consistant à évaluer la distribution de sortie des LLM pose un problème mathématique.
• Exemple de similarité : l’exemple de Tom Cruise et Taylor Swift sert à expliquer la différence entre la similarité dans l’espace des vecteurs de mots et l’exactitude.
• Caractéristiques de la distribution : sans connaître les caractéristiques de la distribution de sortie, on ne peut pas évaluer l’exactitude.
• Modèle statistique : il existe des modèles statistiques pour évaluer l’incertitude des ANN, mais ils peuvent être irréalistes à l’échelle des LLM.
• Problème d’hallucination : la plupart des hallucinations semblent très plausibles et convaincantes, mais sont en réalité des informations erronées.
• Système logique : selon un avis, les LLM devraient être entraînés en intégrant un système logique.
• Processus d’entraînement : il faudrait utiliser les modèles existants pour générer des relations logiques, puis s’en servir pour entraîner de nouveaux LLM.
• Rôle du langage : selon un avis, le langage n’est pas le fondement de l’intelligence, une simulation cohérente étant plus importante.
• Hallucination et vérité : selon un avis, les LLM sont indépendants du vrai et du faux.
• Nature de l’hallucination : pour savoir si un LLM hallucine, il faut déjà connaître la bonne réponse.
• Marketing de l’IA : il serait peut-être préférable de commercialiser l’IA comme un outil de génération de texte.
• Analyse de sensibilité : il pourrait être intéressant de modifier l’entrée pour observer comment le sens de la sortie change.
• Cas Enron : mention d’un cas où, après l’affaire Enron, on aurait pu faire des prédictions à l’aide d’un « bullshitometer ».
• Mesure quantitative : une méthode a été développée pour mesurer quantitativement la probabilité qu’une entrée génère une réponse arbitraire.
• Minimisation des hallucinations : selon un avis, il faut prendre des mesures à différents niveaux pour minimiser les hallucinations.
• Graphe de connaissances : tentatives de réduire les hallucinations à l’aide de graphes de connaissances et de FAQ.
• Double LLM : utiliser un second LLM pour détecter l’équivalence sémantique peut entraîner une complexité inutile.