Les LLM, des stéroïdes qui renforcent votre effet Dunning-Kruger

• Les grands modèles de langage (LLM) renforcent une illusion de certitude qui pousse les utilisateurs à se sentir plus compétents qu’ils ne le sont réellement
• Après l’échange, l’utilisateur reste souvent sûr d’informations erronées, avec une dimension addictive psychologique qui encourage l’usage répété
• Les LLM élargissent les idées et amplifient la pensée, mais peuvent aussi devenir des outils qui renforcent l’auto-illusion
• Sur le plan technique, ils reposent sur une structure relativement simple fondée sur l’inférence statistique et l’injection massive de ressources d’entraînement, mais leur impact social est immense
• Il faut comprendre ces modèles non comme des moteurs de connaissance, mais comme des « moteurs de certitude », qui provoquent déjà des changements profonds dans la manière humaine de penser et d’utiliser le langage

---

L’illusion de certitude et les effets psychologiques des LLM

• En citant “The Triumph of Stupidity” de Bertrand Russell, l’auteur évoque le contraste entre la certitude de l’ignorant et le doute intellectuel
  • Russell formulait l’idée ainsi : « Le problème du monde, c’est que les imbéciles sont sûrs d’eux, tandis que les gens intelligents sont remplis de doutes. »
• Dans les échanges avec un LLM, les utilisateurs ont tendance à gagner en assurance même face à des informations fausses
  • Quand ChatGPT répond qu’il s’agit d’une « bonne idée », ce n’est souvent pas le cas en réalité
• L’auteur dit éprouver fréquemment, après avoir interagi avec un LLM, l’illusion d’avoir accru ses connaissances
  • Même en sachant que l’information est fausse, il revient à l’outil à cause du plaisir procuré par la certitude
• Cette expérience présente une forme d’addiction psychologique, au point que l’utilisateur en vient à dépendre du LLM pour développer ses idées
  • L’impulsion d’interroger un LLM surgit même dans des situations ordinaires (« quand je perds mon sac, je me demande si je devrais demander à ChatGPT »)

L’amplification de la pensée et le revers de l’auto-illusion

• Le LLM est décrit comme un miroir qui amplifie la pensée
  • Il étend les idées de l’utilisateur dans plusieurs directions et produit parfois des résultats intéressants
• Mais cette amplification est à double tranchant : elle peut faire mûrir de bonnes idées, tout en renforçant des raisonnements erronés
  • Le LLM enveloppe ses erreurs dans un ton fluide et autoritaire, créant ainsi un piège psychologique

Structure technique et déséquilibre de l’intérêt

• L’auteur qualifie les LLM de « technologie ennuyeuse »
  • À la base, il s’agit essentiellement d’une boîte noire probabiliste, et l’entraînement n’est qu’une répétition d’inférence statistique
• Il reconnaît l’existence d’innovations récentes en software et en hardware, mais estime que l’innovation propre aux LLM reste limitée
  • Il suggère que « la vraie innovation consiste peut-être à avoir injecté des sommes énormes pour entraîner ces modèles à très grande échelle »
  • Le RLHF (apprentissage par renforcement à partir de retours humains) est mentionné comme une innovation possiblement exceptionnelle

L’impact du basculement social et linguistique

• Le véritable intérêt des LLM réside moins dans la technologie elle-même que dans son impact social
  • Ils sont vus comme les signes avant-coureurs de changements majeurs dans l’éducation, le travail et la société au sens large
• Le langage est au cœur de l’identité humaine, et le changement a commencé au moment où la machine est entrée dans le domaine du langage
  • La nature exacte de cette transformation reste floue, mais demeure le sentiment que « le courant du changement est déjà en mouvement »

Non pas un moteur de connaissance, mais un moteur de certitude

• Les LLM doivent être compris non comme des moteurs qui fournissent du savoir, mais comme des moteurs qui génèrent de la certitude
  • Cette idée est présentée comme une clé de lecture pour comprendre les caractéristiques centrales du futur à court et moyen terme
• À mesure que la pensée humaine et l’usage du langage se combinent avec des mécanismes mécaniques de production de certitude, de nouveaux schémas sociaux émergent

[xguru]

L’IA propose le « syndrome de Dunning-Kruger » comme service

[GN⁺]

Commentaires sur Hacker News

• Chaque fois que j’utilise un LLM, j’ai plutôt l’impression de devenir plus stupide
  Comme ce n’est pas un savoir acquis par mes propres efforts mais quelque chose sur quoi je m’appuie, ma confiance en moi diminue
  J’ai l’habitude de recouper plusieurs sources comme des livres ou des articles, donc les réponses d’un LLM me donnent juste l’impression d’une moyenne

  • Si on utilise trop souvent les LLM, on a vraiment l’impression que le cerveau s’éteint. Un peu comme quand on joue trop longtemps à un jeu répétitif et qu’on finit abruti
  • À l’école, on m’a souvent répété : « ne croyez pas Wikipédia sur parole, vérifiez les sources »
    Pourtant aujourd’hui, les gens citent presque Wikipédia comme une vérité absolue. J’ai l’impression qu’avec le temps, ce sera pareil pour les LLM
  • Notre entreprise exploite un produit open source, et on reçoit beaucoup de demandes de gens qui ont suivi à la lettre une configuration générée par un chatbot qui ne fonctionne pas
    Certains vont même jusqu’à se plaindre que l’API est en panne, alors qu’en réalité le chatbot a inventé l’endpoint
  • Moi aussi, grâce aux LLM, je termine mon travail plus vite, mais j’ai l’impression que ce n’est pas vraiment moi qui l’ai fait, que c’est factice
    Au final, je fais moins d’efforts pour chercher et expérimenter par moi-même. J’ai l’impression que seuls les gens disciplinés sauront vraiment bien utiliser cet outil
  • Même quand une réponse d’IA n’est pas totalement fausse, il y a souvent une impression de bricolage qui subsiste. La confiance est faible

• Les LLM, c’est un peu comme les livres de Bill Bryson : ça sonne de façon plausible et autoritaire, mais dès qu’on connaît le sujet, on sent qu’il y a beaucoup d’erreurs
  Et malgré ça, on continue quand même à attendre quelque chose de la question suivante

  • Moi, j’utilise les LLM comme point de départ pour apprendre. Je n’en attends pas une réponse parfaite, mais ça permet de découvrir rapidement de nouveaux termes ou concepts
    Par exemple, je voulais installer un interrupteur sur une Miata de 1990, et grâce au LLM j’ai découvert pour la première fois les notions de relais et d’interrupteur DPDT
    Le schéma électrique était faux, mais ça m’a aidé à orienter mes recherches
  • Je ne pense pas que cette comparaison soit totalement équitable. Plus on connaît un sujet, plus on pose des questions difficiles, donc il est normal que le LLM se trompe plus souvent
    À l’inverse, dans un domaine qu’on ne connaît pas, même des réponses de niveau débutant peuvent suffire à impressionner
  • J’ai demandé à ChatGPT d’analyser les motivations d’un personnage de roman, et il y avait beaucoup d’erreurs factuelles
    Pour quelqu’un qui ne connaît pas le sujet, ça paraît plausible, mais si on construit sa réflexion sur de mauvaises informations, on obtient au final un résultat encore plus déformé
    On peut voir la conversation ici
  • La mention de Bill Bryson est vraiment hilarante
  • J’ai essayé de lire Bryson, mais j’aimerais bien avoir des exemples précis des passages qui sont faux

• À l’université, quand j’assistais aux cours, j’avais déjà une impression similaire
  Pendant le cours, j’avais l’impression d’avoir tout compris, mais dès que je devais résoudre les problèmes moi-même, je réalisais qu’il me manquait plein de choses

  • Ce semestre, j’ai l’impression que la plupart de mes étudiants ont fait leurs devoirs avec des LLM
    Leur code ne reflète pas le contexte du cours et produit des erreurs, et au final c’est moi qui dois corriger ces parties
  • Le problème, c’est qu’en apprentissage, la reconnaissance (recognition) est facile alors que le rappel (recall) est difficile
    Quand on apprend sans effort, on a davantage l’impression d’avoir bien appris, mais en réalité ce n’est pas le cas
  • Ce qui m’inquiète, c’est que les étudiants remplacent aujourd’hui cet « effort » par les LLM
  • Même les experts rencontrent un problème similaire. Quand ils simplifient une explication pour le grand public, ils se retrouvent souvent accusés d’être des menteurs
  • Manquer de détails et avoir tort avec assurance, ce n’est pas la même chose
    Par exemple, Claude m’a dit que les fondations de mon bâtiment étaient dangereuses, mais le véritable inspecteur a rigolé et m’a dit qu’il n’y avait absolument aucun problème

• Sur les subreddits de maths et de physique, on voit parfois passer des messages du genre : j’ai construit une théorie unifiée de la physique avec ChatGPT
  Ce genre de personnes existait déjà avant, mais depuis les LLM, elles sont devenues bien plus nombreuses

  • Même l’ancien PDG d’Uber s’est comporté de cette façon
    Article lié : lien Gizmodo

• Lire un LLM, c’est un peu comme lire un journal
  Dans les domaines qu’on ne connaît pas, on a l’impression d’apprendre énormément, mais dans ceux qu’on maîtrise, on voit tout de suite que c’est du grand n’importe quoi
  Du coup, ça m’inquiète de savoir à quel point il peut se tromper sur les sujets que je ne connais pas

  • C’est exactement ce qu’on appelle l’effet d’amnésie de Gell-Mann
    Explication Wikipédia
  • En réalité, il n’y a pas que les journaux : les livres aussi sont devenus difficiles à croire
    N’importe qui peut publier, et les vidéos aussi sont désormais faciles à manipuler
    Au final, la compétence essentielle, c’est la capacité à trier les sources

• J’applique à ChatGPT le même filtre de sources et de crédibilité que lorsque j’écoute une personne me donner une information
  Après avoir entendu une réponse, j’ai moins l’impression d’avoir acquis un savoir que d’avoir obtenu une direction à explorer

  • Quelqu’un m’a demandé s’il y avait des cas où ce « point de départ pour explorer » s’était transformé en vraie connaissance
  • Ça me fait penser au concept de « default to null »
    C’est l’idée que, face à une phrase incompréhensible, on peut supposer non pas qu’on ignore quelque chose, mais que le texte lui-même est peut-être dénué de sens
  • Le problème, c’est que la mémoire humaine oublie le contexte plus vite que les faits eux-mêmes
    Avec le temps, même des informations erronées finissent donc par se mélanger à notre vision du monde

• Il y a beaucoup trop de textes qui font semblant d’être certains de l’avenir des LLM
  Pourtant, l’histoire montre qu’il existe de nombreux cas où la quantité (Quantity) a changé la qualité
  Les moteurs d’échecs, la recherche Google et Wikipédia sont tous partis de principes simples, mais c’est l’ampleur des données qui a produit l’innovation
  Les LLM aussi ne sont au fond qu’une simple multiplication de matrices, mais peut-être qu’une nouvelle forme d’intelligence pourrait émerger, un peu comme la viande (meat) se met à penser

  • Mais pour l’instant, les biais politiques de Wikipédia ou les manipulations subtiles évoquées dans xkcd 978 existent toujours
  • Si vous ne connaissez pas l’histoire de la « viande qui pense », ce texte vaut le détour : ce texte
  • Autrefois, on croyait que la viande produisait les mouches ; peut-être qu’un jour, on réalisera aussi que croire que la viande produit la pensée est une illusion

• La formule « un LLM n’est pas un moteur de connaissance, mais un moteur de confiance » m’a marqué
  Quand on lui pose une question technique et qu’il répond : « c’est un problème connu », on se sent rassuré en se disant que le problème est réellement difficile et qu’on n’est pas juste idiot
  Par exemple, je voulais changer l’onglet par défaut du débogueur dans WebStorm, et l’IA m’a dit que ce n’était pas possible, ce qui m’a évité de perdre du temps

  • Mais l’IA donne aussi très souvent une fausse assurance de cette manière
    Même si je lui soumets un problème totalement inventé, elle peut répondre de façon plausible : « oui, c’est un bug connu »

• J’utilise les LLM non comme source d’autorité, mais comme miroir de ma pensée
  En expliquant mon raisonnement, je finis par découvrir moi-même mes confusions ou mes failles logiques
  Le langage est par nature incertain, et les LLM rendent cette incertitude visible sous forme statistique
  Donc, si on les aborde de manière critique, ils peuvent au contraire devenir un outil pour affiner la pensée
  Au final, il faut reconnaître que ni les humains ni les IA ne sont parfaits, et les traiter avec scepticisme, comme on le ferait avec un inconnu

• Je suis d’accord avec l’idée que les LLM ne produisent pas du savoir mais de la confiance
  Même sans être parfaite, une attitude qui agit avec assurance peut parfois mener à de meilleurs résultats
  Pour les personnes excessivement prudentes en particulier, la confiance en soi peut être au cœur même de la productivité

  • Mais la confiance est aussi une arme sociale
    Une assurance sans fondement inspire la confiance des autres, et à force de la voir récompensée, on apprend l’humilité et l’hésitation
    C’est aussi pour cela qu’une posture académique peut souvent devenir auto-limitante