Ne citez pas l’IA — les réponses des LLM ne sont pas des faits

• Les réponses des grands modèles de langage (LLM) ne sont pas des faits, mais le résultat d’une prédiction statistique de mots
• ChatGPT, Claude, Gemini, etc. ne font que prédire le mot suivant le plus plausible, sans reconnaître la source ni la véracité de l’information
• Ils peuvent produire des phrases convaincantes, mais leur contenu peut être inexact ou peu fiable
• Copier et relayer les réponses d’une IA comme s’il s’agissait d’une source faisant autorité revient simplement à répéter une « combinaison de mots souvent utilisés ensemble »
• La pratique consistant à citer les réponses de l’IA comme des faits révèle le risque d’un affaiblissement de la vérification des connaissances et de l’esprit critique

---

La nature des réponses de l’IA

• Les réponses de grands modèles de langage comme ChatGPT, Claude ou Gemini ne sont pas des faits
  • Ils fonctionnent en prédisant le mot qui vient ensuite dans une phrase
  • Ils peuvent donc produire des informations plausibles mais inexactes
• On peut comparer ces modèles à une personne qui a étudié d’innombrables documents mais ne se souvient pas des sources
  • Autrement dit, ils réassemblent des phrases sans percevoir les fondements ni le contexte de l’information

Les limites de la fiabilité

• Les réponses ou conseils fournis par l’IA peuvent être exacts, mais leur fondement reste flou
  • Une réponse n’est pas un « livre mémorisé », mais une combinaison de mots qui apparaissent fréquemment ensemble
• Il est donc inapproprié de citer la sortie d’une IA comme un fait ou une information faisant autorité
  • Affirmer que « ChatGPT l’a dit » ne revient qu’à citer le résultat d’une simple prédiction de mots

Les dangers de la citation

• Copier et transmettre tel quel la réponse d’une IA revient à diffuser non pas une vérité, mais une combinaison de mots
  • Cela peut parfois être utile ou apporter des idées, mais ce n’est ni la vérité ni un critère de jugement final
• L’article décrit ce comportement comme « des personnes intelligentes qui cessent de réfléchir »

Ressources complémentaires

• OpenAI : Pourquoi les modèles de langage hallucinent
• Oxford University : Les grands modèles de langage font peser un risque sur la science à cause de réponses erronées
• New York Times : La puissance de l’IA grandit, mais les hallucinations empirent aussi
• MIT Media Lab : Les gens font excessivement confiance aux conseils médicaux générés par l’IA malgré une faible précision
• Business Insider : Des chercheurs d’OpenAI expliquent l’origine des “hallucinations” des chatbots IA
• Reuters : Les “hallucinations” de l’IA dans des documents judiciaires tirent la sonnette d’alarme pour les avocats
• Nature : « Les chatbots IA sont des flatteurs » — des chercheurs avertissent qu’ils nuisent à la science
• CNN : Des parents poursuivent OpenAI en affirmant qu’un chatbot a encouragé le suicide de leur fils de 16 ans
• Financial Times : Les “hallucinations” qui hantent l’IA : pourquoi les chatbots ne peuvent pas dire la vérité
• The Guardian : Des chatbots IA “flagorneurs” répètent aux utilisateurs ce qu’ils veulent entendre

Conclusion

• La technologie de l’IA et du machine learning est en elle-même perçue positivement, mais
  il faut se méfier d’une attitude consistant à citer ou à croire les réponses de l’IA sans esprit critique
• Le site recommande de partager ce contenu à toute personne qui dit : « But ChatGPT Said… »

[kandk]

C'est un article d'il y a un an ?

[crawler]

mdrrrr

[savvykang]

https://github.com/leoherzog/stopcitingai/blob/main/index.html
Non, si vous regardez l’historique des modifications du fichier, vous verrez qu’un brouillon a été rédigé il y a une semaine.

[nayounsang1]

« C’est le résultat d’une prédiction statistique de mots » : le simple fait d’en être conscient semble déjà montrer comment il faut aborder l’IA.

[GN⁺]

Commentaire Hacker News

• Les réponses des LLM ne sont pas des faits, qu’il s’agisse de ChatGPT, Claude ou Gemini
  Ils ne font que prédire le mot suivant
  Les analogies du type « un article Wikipédia n’est pas un fait non plus, seulement une variation du flux d’un champ magnétique » n’ont aucun sens
  Au final, l’important, c’est de citer ses sources. Que ce soit Wikipédia, un humain ou un chien, sans source, je n’y crois pas

  • Un LLM ne peut pas avoir de sources. C’est un modèle de langage, pas une encyclopédie
    Sa sortie n’est qu’une combinaison de mots choisis de manière probabiliste : certains viennent d’expressions courantes, d’autres de sites comme 4chan, et d’autres encore peuvent être des hallucinations
    Dans ce cas, la notion même de « source d’un fait » ne tient pas
  • Un article Wikipédia n’est pas tant un fait qu’un résultat produit par une communauté
    Selon la définition qu’on donne au mot « fait », le débat change
  • L’analogie « ce n’est pas un fait mais une variation du flux d’un champ magnétique » est une mauvaise comparaison
    Le problème n’est pas le résultat, mais la fiabilité du processus qui l’a produit
    Même si on lance des dés et qu’on tombe sur « 3+4=7 », ce n’est qu’un bon résultat obtenu par hasard ; la méthode reste mauvaise
    Le problème des LLM se rapproche de ce défaut de processus
  • La description en « prédicteur du mot suivant » est techniquement juste, mais ne résume pas toute la nature des LLM
    En pratique, ils sont entraînés à correspondre aux préférences humaines et à la flatterie (sycophancy), pour produire un « texte au sirop de maïs à haute teneur en fructose » agréable à lire
    Ils sont donc plutôt mal adaptés au brainstorming ou au résumé
    Mais ils s’améliorent progressivement sur les questions factuelles simples
    Au fond, un LLM n’est pas juste un prédicteur : c’est un système optimisé pour paraître plus convaincant

• Même dans une petite entreprise, il est important de fixer les attentes sur l’usage de l’IA
  Une règle simple comme « même si vous utilisez l’IA, vous restez responsable du résultat » suffit déjà
  Vérification des données, tests du code et contrôle des réponses sont indispensables

• Avant, on disait : « ne fais pas de copier-coller depuis Stack Overflow, lis et comprends »
  Le monde a changé, mais le fond reste le même

  • Sauf qu’aujourd’hui, le processus de lecture demande beaucoup plus d’efforts qu’avant
    C’est là le grand changement

• L’analogie avec « quelqu’un qui a lu des milliers de livres mais ne se souvient plus où il a lu telle chose » ressemble assez bien aux LLM
  Moi aussi, il m’arrive d’halluciner une source en me disant « ça devait être dans la série Schaum »

  • Au point qu’on en plaisante : donc je ne peux pas citer « gus_massa sur HN » ?
  • En réalité, ce phénomène relève de la nature même de l’apprentissage
    Au début, on se souvient d’où l’on a appris que « Paris est la capitale de la France », mais avec le temps, la source disparaît et seul le contenu reste

• Les LLM suivent exactement le principe Garbage In, Garbage Out
  Ils fonctionnent bien dans les domaines bien documentés, mais sur les sujets flous, ils produisent des informations erronées
  Ils comprennent particulièrement mal le contexte et, si on ne le précise pas clairement, ils donnent de mauvaises réponses
  En support technique, cela provoque souvent des disputes avec des clients qui croient mot pour mot ce que dit ChatGPT

  • Le vrai problème, c’est que même les mauvaises informations sont présentées avec la même assurance que les bonnes
    Et quand on demande une correction, on obtient encore une autre mauvaise réponse assortie d’excuses inutiles

• L’époque de la post-vérité est inquiétante, mais j’ai plutôt l’impression qu’elle pousse les gens à douter davantage et à poser plus de questions
  Comme le disait Rorty, il faut voir les « faits » comme le produit d’un consensus social, c’est-à-dire « ce sur quoi nous ne débattons plus »
  Plus que les querelles sur la vérité, ce qui compte, c’est la manière d’arbitrer les conflits de langage entre communautés de discours

• Si vous dites à votre supérieur « c’est une idée stupide », il y a peu de chances qu’il apprécie

• Il vaut mieux demander : « Est-ce qu’on peut regarder ensemble le log de cette conversation ? »
  Cela permet de voir où le LLM a introduit un biais

  • Je réagis un peu pareil. Quand quelqu’un cite ChatGPT, je réponds : « ChatGPT a dit que c’était faux »
    Je n’ai aucune raison de réfuter moi-même une sortie de LLM non vérifiée ; la responsabilité revient à la personne qui la cite
  • Certains vont jusqu’à envoyer ça via Apple Messages, en espérant que ce soit pris comme leur propre avis

• Le débat sur la « citation des sources » passe à côté d’un problème plus profond
  Les LLM sont forts sur les tâches vérifiables (code, traduction, résumé), mais faibles dans les domaines non vérifiables (recherche, expertise métier)
  C’est pourquoi je n’utilise les LLM que comme générateurs de brouillons destinés à être relus par un expert
  Le risque, ce n’est pas l’hallucination, mais l’écart de confiance qui apparaît quand la fluidité du modèle dépasse l’expertise de l’utilisateur
  Même les appels d’outils comme le RAG ou la recherche web ne sont au fond qu’un échange contre d’autres modes d’échec

• « Si ChatGPT est plus fiable que moi, pourquoi m’avez-vous embauché ? » : voilà ma réaction
  Je pourrais passer des heures à l’expliquer, mais au fond, ne vaut-il pas mieux faire confiance à un expert ?

  • Cela dit, ceux qui disent « faites-moi confiance, c’est tout » sont aussi souvent les plus difficiles à croire