- Chez les participants ayant utilisé des conseils d’IA, la part de réponses « je ne sais pas » a chuté de 44 % à 3 %, tandis que la précision est passée de 27 % à 9 % et que la confiance est montée de 30 % à 76 %
- Pour distinguer cet effet d’une délégation rationnelle à un outil, les chercheurs ont utilisé des questions auxquelles l’IA se trompe souvent, comme des détails visuels de films, ainsi que Step 3.5 Flash, qui donne généralement de mauvaises réponses
- Certains participants auraient pu trouver la bonne réponse seuls, mais ont choisi une mauvaise réponse après avoir interrogé l’IA, confirmant que de mauvais conseils d’IA peuvent même dégrader un jugement préexistant
- Avec une récompense financière, les réponses « je ne sais pas » sont remontées à 8 % et la précision à 16 %, mais ces niveaux restent très inférieurs aux valeurs de référence sans IA, soit 44 % et 27 %
- Le simple fait de pouvoir utiliser l’IA peut affaiblir l’habitude de reconnaître les limites de ses propres connaissances, ce qui inquiète particulièrement pour les enfants et les élèves dont l’esprit critique est encore en développement
Effets des conseils d’IA sur le jugement et la confiance
- Une étude menée par trois universités en France et en Italie a mesuré comment l’accès à des conseils d’IA modifie la suspension du jugement, la précision et la confiance
- La part de réponses « je ne sais pas » a diminué de 44 % à 3 %
- La précision a baissé de 27 % à 9 %
- La confiance a augmenté de 30 % à 76 %
- L’étude a été menée par Valerio Capraro, de l’University of Milano-Bicocca, Chiara Marcoccia, de l’École Normale Supérieure, et Walter Quattrociocchi, de la Sapienza University of Rome
- Les questions portaient sur des détails visuels de films sur lesquels les modèles d’IA échouent généralement, comme la couleur des maillots de l’équipe dans 《Bend It Like Beckham》
- Les chercheurs ont volontairement utilisé Step 3.5 Flash, qui se trompe généralement sur ce type de questions, afin de montrer que la baisse du jugement n’était pas le résultat d’une délégation rationnelle à un outil fiable
- Certains participants ont choisi une mauvaise réponse après avoir interrogé l’IA, y compris sur des questions auxquelles ils auraient répondu correctement seuls
- Les récompenses financières ont partiellement amélioré les résultats, sans toutefois atteindre les niveaux observés sans IA
- Les réponses « je ne sais pas » sont passées de 3 % à 8 %, mais restent inférieures au niveau de référence de 44 %
- La précision est passée de 9 % à 16 %, mais reste en dessous du niveau de référence de 27 %
Abandon cognitif et inquiétudes pour l’éducation
- Des chercheurs de Wharton ont qualifié d’
abandon cognitif (cognitive surrender)le phénomène par lequel les personnes acceptent de mauvaises réponses de l’IA dans 80 % des cas tout en affichant une confiance supérieure à celle de personnes ayant travaillé sans IA - Les résultats actuels montrent qu’il ne s’agit pas seulement de faire confiance à de mauvaises réponses de l’IA : la disponibilité même de l’IA inhibe l’habitude de reconnaître ce que l’on ne sait pas
- Capraro souligne que la capacité à dire « je ne sais pas » est importante pour les humains, car elle revient à reconnaître les limites de ses propres connaissances
- Les enfants qui grandissent avec des systèmes d’IA avant d’avoir développé leur esprit critique constituent un sujet d’inquiétude particulier
- La refonte de la recherche IA de Google a remplacé les liens par des résumés générés par IA formulés avec assurance, et Common Sense Media a jugé cette conception comme présentant un « risque inacceptable » pour les élèves
- Si l’on utilise continuellement des produits d’IA conçus pour répondre et pour ne pas dire « je ne sais pas », les humains peuvent apprendre à adopter le même comportement
1 commentaires
Avis de Hacker News
Cette étude est assez fragile. Comme le souligne bien ce commentaire sur le PDF, il n’y a absolument aucun élément, dans ce qui a été testé, qui soit propre aux systèmes d’IA.
Les chercheurs ont fourni aux participants un LLM dont ils savaient qu’il donnait de mauvaises réponses à certaines questions, puis leur ont posé précisément ces questions, dans un contexte où ils pouvaient s’abstenir de répondre s’ils n’étaient pas sûrs.
C’est comme donner un manuel d’un domaine inconnu contenant certains faits erronés, puis interroger les participants sur les passages faux de ce manuel. Évidemment, les participants sont alors plus susceptibles de répondre, et plus susceptibles de se tromper.
Je m’intéresse beaucoup aux effets des LLM modernes sur l’apprentissage et la certitude, comme la flatterie ou la paresse cognitive, mais cette étude ne teste aucun de ces facteurs ; si l’on remplaçait le LLM par un manuel contenant des erreurs, le protocole expérimental changerait à peine.
Un meilleur titre serait « Une IA très inexacte a rendu les gens moins précis », mais cela soulève naturellement la question : « qu’en est-il d’une IA raisonnablement exacte ? »
De même qu’il ne faut pas acheter de mauvais manuels à ses employés si l’on ne veut pas de mauvaises réponses, il peut aussi falloir éviter de fournir de l’IA dans des domaines qu’ils connaissent mal.
De plus, chercher une réponse dans un manuel est beaucoup plus pénible que de demander à un LLM, donc l’effet est probablement plus faible. Si l’on n’est pas obligé de répondre, peu de gens iront fouiller dans un manuel, encore moins si la couverture indique « peut contenir des erreurs ».
Je me demande à quelle fréquence un manager répétera un conseil d’IA sans consulter un expert, ou se méfiera d’un expert parce que l’IA a dit autre chose. L’IA aura parfois raison, mais quand elle a tort, c’est très difficile à corriger.
Les subreddits de conseil et d’information ont vu leur qualité se dégrader sérieusement avec l’usage de l’IA. Même quand la personne qui pose la question veut la réponse de quelqu’un qui sait directement, beaucoup transmettent la question à ChatGPT puis publient le résultat comme s’il s’agissait de leur propre savoir et de leur propre analyse.
Je ne sais pas ce que vaut l’étude, mais dans cet espace semi-réel qu’est Reddit, le phénomène est très net. Ce n’est pas seulement qu’ils ne disent pas « je ne sais pas » : ils cherchent activement des occasions de faire semblant de savoir.
Ma solution consiste à vérifier sans cesse les sources primaires et les preuves, mais cela demande beaucoup de temps et d’efforts, et il est difficile de choisir quoi vérifier en premier.
Il vaut mieux dire « entre xyz dans ChatGPT » ou partager un lien vers un document structuré. Copier-coller le résultat tel quel n’ajoute aucune valeur au passage.
On peut obtenir des informations sur IMDB ou dans des vidéos de DIY, mais ce que je veux, c’est une explication contextualisée et des conseils adaptés localement. Quelqu’un qui me connaît sait aussi ce qui est facile ou difficile pour moi, et peut me dire qu’un film ou une astuce donnée ne me conviendra pas, ou même dans quel magasin aller.
Le facteur décisif a toujours été la présence de modérateurs actifs qui s’y intéressent vraiment et y consacrent énormément de temps. Quand les utilisateurs qui publient du contenu de mauvaise qualité dépassent un certain seuil, les bons utilisateurs partent et il devient impossible de revenir en arrière.
Du point de vue du pessimisme envers l’IA, même si l’IA devient plus intelligente, elle continuera à flatter les utilisateurs, et les gens l’utiliseront pour renforcer avec davantage de certitude des idées stupides, en particulier dans des domaines qu’ils connaissent mal.
Même si cela peut être résolu techniquement, ils ne voudront pas d’un modèle qui leur dit qu’ils ont tort, et risquent fort de choisir des mensonges fluides qui confortent leurs croyances.
La liberté d’expression pousse à envisager qu’on puisse avoir tort, mais la liberté d’association permet de l’éviter. L’IA va amplifier les chambres d’écho réconfortantes d’Internet à une échelle difficile à imaginer.
C’était l’époque où les ordinateurs commençaient à calculer plusieurs ordres de grandeur plus vite que les humains, et il traite l’effondrement du Hartford Civic Center comme un échec dû à une confiance aveugle dans les sorties informatiques. Par chance, il n’y a pas eu de morts.
Cela ressemble à un cas un peu sélectionné, mais cet accident m’est venu à l’esprit avec la combinaison « faible exactitude, forte confiance ». Je crains qu’il ne faille des morts civiles ou une responsabilité juridique pour que les bons usages d’une nouvelle technologie s’imposent ; on pourrait au minimum commencer par 1) ne pas l’utiliser dans les systèmes critiques pour la sécurité et 2) ne pas remplacer les experts par des algorithmes.
https://www.engr.psu.edu/ae/thesis/failures/MKP/failures/fai...
Mais ceux qui font un vrai travail avec l’IA et paient cher préfèrent qu’une IA leur dise qu’ils ont tort plutôt que de se tromper devant leurs clients.
Ce n’est pas facile à résoudre, car il faut à la fois donner la bonne réponse et suivre les consignes, ce qui demande un équilibre. Un modèle plus intelligent a davantage de chances de savoir ce qui est juste et est donc généralement meilleur qu’un petit modèle qui part du principe que l’utilisateur a raison puis enchaîne les hallucinations.
Cela dit, il serait intéressant que l’utilisateur puisse choisir facilement dans quelle mesure l’IA doit contester sa personnalité ou les idées saisies.
Sans véritable pipeline de génération augmentée par recherche (RAG) ni recherche web, le modèle ne peut que produire des hallucinations avec un maximum de certitude.
L’expérience aurait été plus intéressante avec un modèle de premier plan correctement aligné pour refuser de répondre lorsque la probabilité des tokens est faible. En l’état, l’expérience montre seulement que les gens ont tendance à faire confiance à un texte bien écrit affiché dans une interface de chat.
Pour ceux qui accordent encore de l’importance à la vérité, cette phrase de Richard Feynman peut servir de repère : « J’ai l’avantage d’avoir compris combien il est difficile de savoir vraiment quelque chose, avec quel soin il faut vérifier les expériences, et combien il est facile de se tromper et de se duper soi-même… »
https://www.youtube.com/watch?v=tWr39Q9vBgo
La structure de récompense de l’étude était la suivante : 0,10 dollar versé pour une bonne réponse, 0,10 dollar déduit pour une mauvaise réponse, aucun changement en cas de refus de répondre.
Il n’était pas indiqué si les participants recevaient réellement l’argent, ni s’ils devaient payer la perte en cas de solde final négatif.
Je pense que l’effet existe bien, mais probablement pas autant que les données ne le suggèrent. Si des montants beaucoup plus élevés avaient été en jeu, le bon sens aurait joué plus fortement.
C’est bien d’avoir signalé l’étude, mais aucun des liens sources ne mène directement à l’étude citée : ils renvoient vers leur propre domaine ou vers Business Insider.
Marcoccia, C. et al., 《AI Advice Suppresses People’s Willingness to Say “I Don’t Know”, Even When the Advice Is Wrong and Accuracy Is Incentivized》, PsyArXiv, 15 juillet 2026
J’aimerais savoir si l’IA fait une différence réelle par rapport à un environnement donnant simplement accès à de mauvaises réponses.
Il faut vérifier si les mêmes résultats apparaissent quand les résultats de recherche fournissent une mauvaise réponse à la question, dans quelle mesure des caractéristiques propres à l’IA comme la flatterie ou l’interaction conversationnelle jouent un rôle, ou s’il s’agit seulement du fait que les gens croient facilement ce qu’ils lisent.
En résumé, elle a étudié à la fois une interface de chat avec un LLM donnant de mauvaises réponses et une condition donnant accès à des réponses erronées générées à l’avance, et les deux expériences ont produit des résultats similaires.
Certains enseignants demandent aux étudiants de rédiger leurs devoirs avec ChatGPT puis de critiquer les parties erronées.
Dans les contextes où l’on aurait normalement tendance à copier-coller la réponse de l’IA telle quelle, il pourrait aussi être intéressant de présenter d’abord la réponse de l’IA, puis de faire discuter collectivement de ce qu’elle a manqué.