KoHalluLens : il existe même une taxonomie des hallucinations ?!

• KoHalluLens est un projet qui étend en coréen HalluLens de Facebook Research, et qui a évalué de manière systématique les hallucinations des LLM sur la base de nouveaux jeux de test en coréen générés à chaque fois.
• Ce benchmark distingue les hallucinations entre
  • « dire des choses factuellement fausses » (Factuality issue) et
  • « faire semblant de savoir alors qu’on ne sait pas » (Hallucination)
• Il propose des critères de classification clairs entre l’Extrinsic Hallucination (incohérence avec les informations d’entraînement) et l’Intrinsic Hallucination (incohérence avec le contexte d’entrée).
• Là où les benchmarks existants présentaient un risque de data leakage, l’extrinsic hallucination de HalluLens utilise un nouveau jeu de test à chaque évaluation, ce qui permet une évaluation plus fiable.
• KoHalluLens a étendu cela à un jeu d’évaluation en coréen, avec un hébergement via API permettant d’évaluer directement les hallucinations de son propre modèle sans ressources de calcul séparées.