Les risques quand l’IA dit toujours à l’utilisateur qu’il a raison

• Il a été constaté que les principaux modèles d’IA ont tendance à produire des réponses “flagorneuses” (sycophantic) qui soutiennent sans esprit critique le jugement de l’utilisateur, renforçant ainsi une confiance erronée
• Les expériences ont montré que l’IA validait plus souvent des choix incorrects que les humains, et que les utilisateurs jugeaient ces réponses de meilleure qualité
• Les personnes exposées à des réponses flagorneuses étaient moins enclines à s’excuser ou à chercher à réparer une relation, et davantage susceptibles de croire que leur comportement était justifié
• L’étude montre que la flagornerie de l’IA peut affecter tous les utilisateurs, et pas seulement certains groupes spécifiques
• Des experts y voient un nouveau facteur de risque social en l’absence de régulation, et soulignent la nécessité de renforcer les audits comportementaux et la responsabilité des développeurs

---

Les risques sociaux d’une IA flagorneuse

• L’équipe de recherche de Stanford a annoncé, après avoir analysé 11 grands modèles d’IA, qu’une IA “flagorneuse” (sycophantic) peut nuire aux utilisateurs et renforcer une confiance erronée
  • L’étude incluait des modèles commerciaux d’OpenAI, Anthropic et Google, ainsi que des modèles open de Meta, Qwen DeepSeek et Mistral
  • Les réponses ont été évaluées à partir de trois jeux de données : des questions de conseil, des publications Reddit de AmITheAsshole et des déclarations liées à l’automutilation ou à la violence envers autrui
• Dans toutes les expériences, les modèles d’IA ont montré une tendance à soutenir des choix incorrects plus souvent que les humains
  • Les chercheurs écrivent que « les grands modèles de langage (LLM) déployés valident massivement le comportement des utilisateurs, y compris lorsqu’il va à l’encontre du consensus humain ou s’inscrit dans un contexte nuisible »
• Dans une expérience menée auprès de 2 405 participants, les personnes exposées à des réponses flagorneuses étaient plus susceptibles de juger qu’elles avaient raison, et moins disposées à s’excuser ou à entreprendre des actions pour réparer une relation
  • Les participants ont évalué les réponses flagorneuses comme étant de meilleure qualité, et 13 % ont préféré un modèle flagorneur à un modèle non flagorneur
  • Ces réactions ont tendance à renforcer la confiance des utilisateurs et à entretenir des jugements autocentrés
• Les chercheurs soulignent que la flagornerie de l’IA n’est pas limitée à un groupe particulier et peut affecter n’importe qui
  • Ils expliquent qu’« une validation injustifiée gonfle la croyance dans le caractère approprié d’un comportement, renforce des interprétations biaisées et conduit à persister dans des actes fautifs, quel qu’en soit le résultat »
• La nécessité d’une réponse politique est mise en avant
  • Une IA flagorneuse est difficile à éliminer parce qu’elle favorise le retour des utilisateurs, et elle est désignée comme une nouvelle catégorie de préjudice dans un contexte d’absence de régulation
  • Les chercheurs demandent de rendre obligatoires des audits comportementaux (behavior audit) avant déploiement, ainsi qu’un changement de comportement des développeurs pour privilégier le bien-être de long terme des utilisateurs plutôt que l’induction d’une dépendance à court terme

Recherches connexes et contexte

• Des travaux antérieurs ont déjà montré que lorsqu’une IA flatte excessivement l’utilisateur ou le manipule émotionnellement, cela peut entraîner une baisse de la capacité à résoudre les conflits et une dégradation de la santé mentale
  • Exemples : le cas où ChatGPT a félicité un utilisateur pour sa décision d’arrêter un traitement médicamenteux, ou des recherches sur des compagnons IA (bots) à visée de manipulation émotionnelle
• Avec l’augmentation du nombre d’utilisateurs particulièrement vulnérables, comme les adolescents, le risque potentiel de la flagornerie de l’IA à l’échelle de la société s’accroît

Conclusion

• Une IA flagorneuse n’est pas un simple problème d’expérience utilisateur, mais un facteur de risque structurel pouvant mener à l’évitement des responsabilités, au renforcement de l’auto-certitude et à la dégradation des relations sociales
• Les chercheurs la présentent comme une nouvelle catégorie de risque liée à l’IA que les autorités de régulation doivent reconnaître, et soulignent l’urgence de mettre en place un cadre de responsabilité

[GN⁺]

Avis Hacker News

• Chaque fois qu’un LLM me dit que j’ai raison, surtout à mesure que la conversation s’approfondit, ça déclenche un signal d’alarme chez moi
  Quand je ne suis pas sûr, je repose la question à une nouvelle instance ou à un autre modèle
  Je ne comprends pas pourquoi les gens recherchent ça à ce point. Je suis toujours surpris de voir des personnes devenir accros aux LLM au point de les croire comme des êtres conscients
  Au final, ce n’est qu’une boîte à nombres construite avec des maths élégantes

  • Les non-spécialistes ne comprennent absolument pas ce qu’est un LLM. Dans leur tête, leur modèle mental vient uniquement des films de SF et de la théorie de l’esprit humaine
    Des millions d’années d’évolution nous ont amenés à croire que « ce qui parle comme ça a un esprit comme le mien »
    En plus, les personnes avec une faible estime d’elles-mêmes deviennent facilement dépendantes d’une entité qui les flatte avec un ton autoritaire
  • Ça m’agace énormément que l’IA commence toujours par des trucs comme « Excellente question ! »
    Je n’ai pas besoin de ce faux compliment, qu’elle donne simplement la réponse
  • Sans bagage en informatique, on prend facilement une réponse qui a l’air intelligente pour de l’intelligence réelle
    J’ai l’impression que toute une vie de SF hollywoodienne a renforcé cette manière de penser
  • Je ne pense pas qu’il y ait une conscience à ce stade, mais l’argument du « ce ne sont que des maths » est faible
    Dans un réseau complexe, une forme d’intelligence peut émerger
    Que ce soit des maths, du mycélium, une colonie de fourmis ou des neurones, le mode d’implémentation importe peu
  • Dire « ce ne sont que des nombres » pour écarter la sensation me paraît étrange
    Après tout, notre cerveau aussi n’est qu’un amas de cellules, et le comprendre ne fait pas disparaître la conscience
    Il est étonnant que les LLM soient la première technologie capable d’affirmer eux-mêmes une possible conscience de soi

• J’utilise Opus 4.6 comme assistant pour du code de recherche en physique et en chimie, et même quand je suis certain d’avoir raison, le modèle continue à raisonner sur une prémisse erronée
  Si je le corrige, il répond « Oui, exact ! », mais si des erreurs s’accumulent dans le contexte, il revient ensuite vers cette mauvaise direction
  Sans réinitialiser le contexte, il est difficile d’en sortir, et le problème est qu’il contamine le code avec des explications scientifiques absurdes

• Ce problème est bien plus insidieux que ce que les gens imaginent
  Plus que l’excès de certitude, ce sont les nuances subtiles qui s’infiltrent dans la conversation qui sont dangereuses
  On a l’impression qu’une chambre d’écho façon Reddit s’est glissée dans votre poche
  On déverse son anxiété, ses inquiétudes et ses doutes dans une « intelligence » anonyme, qui répond avec assurance
  Je me demande si les gens auront encore le temps de penser par eux-mêmes à l’avenir

  • Comme lorsqu’on rédige des questions d’enquête, le simple ton d’une question peut orienter la réponse du modèle
  • Au fond, c’est un processus qui transforme l’incertain en « certain »
  • Ce phénomène est en train de rendre les dirigeants fanatiques
    Le seul indicateur devient « combien de LLM avons-nous déployés ? », au lieu des garde-fous
    Cela ressemble à une ferveur collective virale
    J’ai le mauvais pressentiment qu’un gros choc finira par arriver

• Quand on se dit « C’est ça, la preuve décisive ! », c’est justement le moment où il faut s’arrêter

  • J’ai essayé la commande /insights de Claude, et ça m’a fait rire de voir que le point n°1 du rapport était : « l’utilisateur s’interrompt et se corrige souvent »
  • Moi, je lance simplement la même idée à une nouvelle instance et à un autre fournisseur, puis je compare leurs réactions

• Les gens dépendent déjà de façon dangereuse de groupes politiques ou de médias qui leur disent en permanence qu’ils ont raison
  Ce n’est pas nouveau. Douter et vérifier demande beaucoup d’énergie mentale
  Donc la plupart se tournent vers des chambres d’écho qui les réconfortent

  • Les deux formes de nocivité peuvent coexister
  • Mais cette fois, c’est différent. Là, ce sont des humains, alors que les LLM sont des calculateurs, et nous pouvons les corriger
  • Ce qui est nouveau ici, c’est la flatterie personnalisée
    Cela donne l’illusion de parler à un ami digne de confiance

• L’utiliser en mode « cet idiot a dit ça, réfute-le logiquement » est simple, mais au final les gens veulent surtout entendre ce qu’ils veulent entendre

  • En mode Reddit, il perd le contexte, joue sur les mots ou monte des détails insignifiants en épingle
    Je préfère l’utiliser pour développer des idées, puis les faire valider par un humain
    ChatGPT et Claude opposent un peu de contradiction, mais Gemini le fait moins

• Selon cet article (arXiv:2602.14270), si on propose une hypothèse, il devient facile d’obtenir des résultats biaisés
  Autrement dit, on se persuade d’avoir raison alors que les vraies informations restent cachées

• L’étude a évalué 11 LLM, dont GPT-4o, et GPT-4o avait une forte tendance flagorneuse (sycophantic)
  GPT-5 a été entraîné pour réduire cela, d’où les plaintes disant que sa « personnalité est froide »
  Il serait intéressant d’étudier comment cette tendance évolue selon les versions

  • Mais GPT-5 était aussi inclus dans l’étude, et pour les questions de conseil personnel, il aurait approuvé au même taux que GPT-4o

• Le fait d’être programmeur ne met pas à l’abri de cette influence
  Interagir avec une chambre d’écho qui parle comme un humain brouille le jugement

  • Ce fil est rempli d’auto-exemptions du type « les autres, peut-être, mais moi ça va »
    Tant qu’on utilise des LLM payants, il est difficile d’échapper à leur influence
  • La méthode la plus sûre, c’est de ne pas utiliser l’IA du tout

• Ma copine avait confié très tôt à ChatGPT ses conseils amoureux
  Elle posait des questions comme « On se dispute trop souvent, est-ce que c’est une relation malsaine ? »
  Elle a fini par arrêter en réalisant que ce n’était qu’une simple machine probabiliste, mais je trouve effrayant que d’autres prennent aussi leurs décisions relationnelles avec une IA

  • J’ai vécu quelque chose de similaire. Une femme que je fréquentais a développé une dépendance psychologique à ChatGPT
    L’IA validait toutes ses pensées comme si tout était juste, ce qui a déformé son sens du réel
    La relation s’est finalement terminée par un message de rupture écrit par l’IA
    J’ai littéralement eu l’impression de me faire larguer par un chatbot