- Cette étude analyse l’impact de l’usage des LLM (grands modèles de langage) sur le coût cognitif humain au cours du processus de rédaction d’essais
- Les participants ont été répartis en groupe LLM, groupe moteur de recherche et groupe Brain-only, puis ont pris part à une expérience de rédaction selon qu’ils utilisaient ou non un outil
- D’après l’analyse EEG (électroencéphalogramme), l’usage d’un LLM s’est accompagné du niveau le plus faible de connectivité des réseaux neuronaux et d’engagement cognitif, tandis que le groupe Brain affichait le niveau le plus élevé
- Après la rédaction, le groupe LLM a obtenu les résultats les plus faibles en sentiment d’appropriation (ownership), capacité de citation et rappel mnésique
- L’étude suggère que l’usage des LLM est efficace au départ, mais peut à long terme dégrader l’apprentissage et les capacités cognitives
Résumé
Aujourd’hui, avec l’adoption massive des produits LLM (grands modèles de langage) tels que ChatGPT, particuliers comme entreprises utilisent les LLM au quotidien. Ces outils présentent à la fois des avantages spécifiques et des limites. Cette étude se concentre sur le coût cognitif de l’usage des LLM dans le contexte éducatif de la rédaction d’essais, autrement dit sur l’effet de leur utilisation sur la structure cognitive des apprenants et sur l’activité cérébrale.
Pour l’étude, les participants ont été répartis entre groupe LLM, groupe moteur de recherche et groupe Brain, et ont rédigé des essais à chaque session à l’aide de l’outil correspondant (ou sans outil). Au total, 54 personnes ont participé aux sessions 1 à 3, dont 18 ont mené l’expérience jusqu’à la session 4. Lors de la session 4, le groupe LLM a rédigé sans outil, tandis que le groupe Brain a utilisé un LLM, avec inversion des rôles (LLM-to-Brain, Brain-to-LLM). Pendant la rédaction, les signaux EEG (ondes cérébrales) des participants ont été enregistrés afin d’analyser l’engagement cognitif, la charge et la connectivité neuronale. Après chaque session, des entretiens, une analyse NLP (traitement automatique du langage naturel) ainsi qu’une évaluation par des enseignants humains et un agent d’évaluation IA ont également été réalisés.
L’analyse a montré une forte homogénéité au sein de chaque groupe sur les Named Entities Recognition (NER), les n-grammes et les ontologies thématiques. L’analyse des ondes cérébrales a révélé que les schémas de connectivité neuronale différaient nettement d’un groupe à l’autre et que plus l’assistance par outil externe augmentait, plus la taille des réseaux cérébraux et le niveau d’engagement diminuaient (Brain > moteur de recherche > LLM). Lors de la session 4, les participants LLM-to-Brain ont présenté une connectivité cérébrale affaiblie, une activation réduite des réseaux alpha et bêta, ainsi qu’un faible sentiment d’appropriation du sujet. À l’inverse, les participants Brain-to-LLM ont montré une amélioration de la capacité de rappel mnésique et une réactivation de régions cérébrales liées au traitement visuel. Les essais du groupe LLM étaient faibles en appropriation, en capacité de citation et en rappel mnésique, tandis que le groupe moteur de recherche montrait une légère amélioration, mais restait en dessous du groupe Brain.
En conséquence, si l’usage des LLM apporte un gain de productivité à court terme, il est resté durablement inférieur au groupe Brain sur les comportements cérébraux, les performances langagières et les scores lorsqu’il est répété sur plusieurs mois. Cette étude suggère qu’un usage excessif des outils IA peut entraîner un déclin cognitif et pratique dans les contextes d’apprentissage, et qu’une vigilance s’impose dans la conception des apprentissages à long terme.
Résumé des principaux résultats expérimentaux
- Lors de la session 4, les participants Brain-to-LLM ont montré une connectivité cérébrale plus élevée (alpha, bêta, thêta, delta et autres bandes) que le groupe LLM des sessions 1 à 3. Cela suggère qu’utiliser l’IA après avoir d’abord écrit par soi-même sans aide active un réseau cérébral plus étendu
- Les participants LLM-to-Brain, malgré leur historique d’usage des LLM, ont montré en rédaction sans outil un phénomène de désynchronisation neurologique (baisse de connectivité) sur la plupart des mesures EEG, ainsi qu’un biais lexical propre aux LLM
- Les évaluations, qu’elles soient faites par l’IA ou par des humains, montrent que les essais du groupe LLM présentent une faible diversité NER/n-grammes et une forte homogénéité structurelle
- Dans l’analyse par thème, des schémas d’usage distinctifs apparaissent entre le groupe LLM et le groupe Brain sur certains sujets spécifiques (HAPPINESS, PHILANTHROPY)
- Par groupe, l’OWNERSHIP (sentiment d’appropriation) et la capacité de citation suivent l’ordre Brain > moteur de recherche > LLM
Guide de lecture de l’article
- Vue d’ensemble rapide : Discussion, Conclusion
- Analyse NLP des textes des essais : NLP ANALYSIS
- Comprendre les données EEG : EEG ANALYSIS
- Analyse thématique approfondie : TOPICS ANALYSIS
- Méthodologie détaillée et activité des participants : EXPERIMENTAL DESIGN
- Annexes : données supplémentaires, valeurs EEG dDTF, etc.
Introduction
La diffusion rapide des grands modèles de langage a profondément transformé le travail, les loisirs, l’apprentissage et d’autres dimensions du quotidien. Les LLM disposent d’un fort potentiel dans l’éducation en matière de personnalisation des expériences d’apprentissage, de feedback immédiat et de démocratisation des ressources pédagogiques. Des effets positifs ont effectivement été rapportés, notamment sur l’autonomie des apprenants, l’amélioration de l’engagement et le soutien à des styles d’apprentissage individualisés.
Cependant, des effets cognitifs indésirables liés à l’usage généralisé des LLM sont également soulevés. S’ils ont l’avantage de réduire la charge cognitive immédiate, des travaux font état d’une baisse de la pensée critique, d’un affaiblissement de la capacité d’analyse approfondie et d’une diminution de l’engagement. En particulier, plus la dépendance à l’IA augmente, plus les capacités cérébrales d’analyse et de jugement risquent de s’atrophier. L’étude souligne notamment que les jeunes générations tendent à dépendre davantage des outils IA, avec une tendance parallèle à des scores de performance cognitive plus faibles.
D’autres résultats montrent aussi que l’interaction avec l’IA réduit les occasions de résolution autonome de problèmes et de pensée critique, ce qui pourrait, à long terme, nuire au développement intellectuel humain et à l’autonomie. Contrairement aux moteurs de recherche traditionnels, les LLM génèrent des réponses unifiées plutôt que de proposer une diversité de points de vue, ce qui tend à faire passer l’utilisateur d’une recherche active d’information à une consommation plus passive. On peut donc s’attendre à des effets durables sur le traitement et l’évaluation de l’information.
Cette étude mesure empiriquement le coût cognitif de la rédaction d’essais avec l’aide de LLM. La rédaction d’un essai est une tâche complexe mobilisant simultanément l’écriture, l’organisation de l’information, la citation, la pensée critique et d’autres processus cognitifs ; elle est fréquemment utilisée dans les contextes éducatifs et les évaluations standardisées. L’étude montre qu’il faut prendre en compte avec prudence les effets cognitifs à long terme lors de l’introduction d’outils IA tels que les LLM dans l’éducation.
Conception expérimentale et quelques détails
- À chaque session, les participants ont été redistribués par groupe ou soumis à des conditions d’usage d’outils différentes afin de comparer les conditions LLM, moteur de recherche et Brain (sans outil)
- Lors de la session 4, le groupe Brain-only a utilisé un LLM pour la première fois (Brain-to-LLM), tandis que le groupe LLM a rédigé sans outil (LLM-to-Brain)
- Pendant l’expérience, les signaux EEG, les indicateurs NLP, le sentiment d’appropriation des essais, la citabilité et la diversité thématique ont été évalués de manière systématique
- L’analyse EEG se concentre sur les changements de connectivité fonctionnelle du cerveau, notamment la connectivité des réseaux neuronaux (analyse dDTF)
Principales caractéristiques des résultats expérimentaux et analytiques
- L’usage des LLM s’accompagne d’une forte baisse de l’activité EEG et de la diversité langagière, ainsi que d’un recul du sentiment d’appropriation du travail, du rappel mnésique et de la capacité de citation
- Le groupe Brain-only obtient globalement les meilleurs résultats en activation des réseaux cérébraux, diversité langagière, appropriation et capacité de citation
- Lors de la session 4, les participants Brain-to-LLM montrent de forts changements dans les réseaux neuronaux, notamment une hausse du rappel mnésique et une réactivation des régions visuo-frontales, par rapport à la période précédant l’introduction de l’outil
- Globalement, plus la dépendance à l’IA est forte, plus s’accentuent les risques de baisse d’efficacité cognitive et de perte d’activité autonome dans le processus d’apprentissage
Portée de la conclusion
Cet article montre, à l’aide de données multicouches, que les outils d’apprentissage fondés sur l’IA peuvent améliorer l’efficacité à court terme, tout en affectant négativement à long terme des éléments essentiels de l’apprentissage comme les capacités cognitives, la motivation, le sentiment d’appropriation et la mémoire. Il suggère qu’au moment de concevoir et de déployer des technologies éducatives avancées telles que l’IA et les LLM, il est indispensable de prendre en compte avec prudence cette dette cognitive potentielle et la dégradation de la qualité de l’apprentissage, et de poursuivre les recherches.
1 commentaires
Avis sur Hacker News
Je pense qu’au lieu de « cognitive debt », il serait plus juste de parler de déclin cognitif ou de perte des capacités cognitives ; le cerveau ne stocke pas les informations dont il n’a pas besoin. Des études plus anciennes sur l’usage de Google Maps ont montré qu’un usage fréquent du GPS réduit la mémoire spatiale, et qu’on observe même une diminution de la matière grise chez les utilisateurs de cartes. Comme le sait toute personne ayant acquis une expertise scientifique, pour vraiment comprendre un concept, il faut y réfléchir suffisamment et explorer en profondeur les liens entre plusieurs idées. On n’assimile pas facilement les mathématiques en parcourant simplement un manuel de maths ; il faut absolument s’arrêter et réfléchir en profondeur. Je pense que l’acte même de penser est le processus par lequel on établit des concepts dans l’esprit pour qu’ils restent utiles avec le temps.
On n’apprend pas les mathématiques en lisant un manuel en diagonale ; il faut absolument s’arrêter pour réfléchir. Et le plus important, c’est vraiment « l’écriture ». C’est par l’écriture que mon cerveau peut structurer la pensée. L’écriture est un outil qui crée un dialogue structuré entre moi et moi-même. Elle permet d’explorer différentes pistes. Il y a des limites à ce qu’on peut faire uniquement en pensée, alors que l’écriture permet d’explorer ses idées presque sans limite. L’acte de penser est étroitement lié à l’écriture (sous quelque forme que ce soit : texte, dessin, formule, graphe, etc.), et maintenant que les LLM écrivent de plus en plus à notre place, je me demande comment cela se répercutera sur mes capacités cognitives.
Je pense que le terme cognitive debt est exact. Avez-vous déjà rédigé un gros rapport avec un LLM ? Quand le LLM vous fournit facilement la structure, les graphiques et même les arguments, le résultat finit peu à peu par ne plus vraiment être le vôtre. Même si vous le rendez sous votre nom, dès qu’on vous demande des explications, cela devient souvent flou. En général, j’ai dans la tête une compréhension réelle à un niveau plus élevé, mais avec un LLM, ce processus est escamoté. Quand j’essaie d’expliquer les concepts clés, j’ai réellement du mal. Au final, il faut que je fasse moi-même l’expérience de construire les concepts essentiels dans mon esprit, de les remanier à répétition, et d’essayer de les transmettre à des publics différents. La cognitive debt désigne l’écart entre le modèle mental qu’on construisait nécessairement avant les LLM et la superficialité qu’on obtient avec eux. Au bout du compte, c’est mon nom qui figure sur le rapport, mais avec le temps il y a un risque que les attentes envers l’auteur baissent progressivement, ou qu’on finisse carrément par attendre qu’un LLM fournisse les explications à sa place. Chaque LLM imite la réalité à partir de modèles internes et d’algorithmes différents ; pour produire les prédictions les plus justes, il faut une profondeur de compréhension suffisante. L’écriture dépendante des LLM ne crée pas cette profondeur. À long terme, cela pourrait entraîner un déclin cognitif ou une perte de compétences à l’échelle de toute la population. Lors de l’apparition de l’imprimerie, les élites religieuses craignaient aussi que les gens ordinaires ne sachent pas lire ni interpréter correctement, mais ce n’est pas ce qui s’est passé. Écrire, c’est bien penser (et je ne crois pas qu’on ait encore trouvé meilleur outil que l’écriture), et penser consiste à construire un modèle mental fondé sur l’information pour mieux prédire l’avenir. Notre survie même en dépend. Du point de vue de la théorie de l’information, « la biologie n’a de sens que lorsqu’on l’explique à la lumière de l’information » lien YouTube
À propos de « le cerveau ne stocke pas les informations dont il n’a pas besoin », je me demande pourquoi je me souviens encore, plus de 20 ans après, de la manière d’optimiser la mémoire de DOS avec
config.sysetautoexec.bat. Je n’aurai probablement plus jamais besoin de cette compétence.Des termes comme « cognitive decline » ou « brain rot » peuvent sembler trop sensationnalistes, et l’article lui-même précise qu’il est limité par une petite taille d’échantillon. L’article ne fournit ni justification ni citation pour le terme « cognitive debt », ce qui rend le titre étrange. On a l’impression qu’ils ont simplement changé le titre à la fin. C’est une étude intéressante du MIT. Comme pour toute étude en psychologie, il faut conserver un scepticisme sain et attendre des validations indépendantes. Cela ressemble à un package complet combinant imagerie cérébrale et psychométrie. Je trouve assez amusantes la plupart des images du type « voici votre cerveau sous LLM ».
Quand on entend « le cerveau ne stocke pas les informations dont il n’a pas besoin », cela paraît plausible, mais je me demande aussi comment expliquer le fait évident que certaines compétences ne disparaissent pas, comme faire du vélo, qu’on n’oublie jamais une fois appris.
La discussion sur la « cognitive debt » est pertinente, mais je pense qu’il faut aussi une perspective plus large. Il ne s’agit pas seulement de perdre temporairement ou d’oublier des compétences comme le langage ou la mémoire spatiale. Il s’agit d’un phénomène où les circuits neuronaux responsables du raisonnement intégré s’atrophient de manière organisée, et de façon irréversible. Le terme « dette » implique qu’on pourrait rembourser (récupérer) par la pratique, mais le vrai danger survient quand on franchit un « cognitive tipping point » (point de bascule cognitif). Si l’on délègue trop de charge d’exécution, d’intégration et d’argumentation à un système externe (LLM), le cerveau ne se contente pas d’élaguer sans pitié les circuits qu’il n’utilise plus ; il risque aussi de perdre sa propre « capacité de reconstruction ». Le cerveau humain est un système « use-it-or-lose-it » sans gestion de versions. Une fois qu’une capacité cognitive complexe est perdue, c’est comme si le « code source » lui-même était endommagé. Un collapsed neural network ne se rétablit pas avec un
git revert. Ces commentaires HN se concentrent sur la rédaction d’essais, mais en réalité la société entière mène une expérience massive et incontrôlable d’externalisation de l’intelligence. À long terme, la société risque non seulement de perdre des compétences, mais d’atteindre une limite structurelle où « ce type même de pensée devient impossible ». La vraie question n’est donc pas seulement « comment éviter la dette cognitive », mais aussi : « n’avons-nous pas besoin d’un nouveau conteneur pour notre esprit quand le cerveau biologique, en s’auto-optimisant, devient fatalement optimisé pour la paresse ? » lien connexeL’IA est l’opposé du Zettelkasten (système de prise de notes reliées). Au lieu qu’un humain creuse lui-même profondément un sujet pour en tirer des intuitions plus riches, on obtient des itérations rapides mais superficielles sur des productions générées par l’IA. Par exemple, j’ai écrit avec OpenAI un essai de dix pages sur les origines du Hamas et du Hezbollah pour essayer de comprendre la situation au Moyen-Orient, et je n’en ai rien retenu ; pire, même les quelques éléments qui me restaient, je ne savais plus si c’étaient des hallucinations de l’IA que j’avais corrigées ou de vrais faits.
Je suis plutôt optimiste quant à l’utilité des LLM, mais je suis d’accord avec ce qui précède. On peut développer une certaine intuition pour bien les utiliser, mais cela ne construit pas vraiment un savoir explicable ni une capacité de réflexion exigeante. En réalité, l’essentiel consiste plutôt à acquérir une « mémoire musculaire » de certains schémas de sortie, de l’ajustement des prompts et du contrôle du contexte. Je pense que ce type de « compétence » disparaîtra vite à mesure que les modèles s’amélioreront. Cette situation ressemble un peu, dans une certaine mesure, au sentiment d’impuissance que peuvent éprouver les ouvriers sur une chaîne d’assemblage.
On a tendance à mieux se souvenir des passages qu’on a corrigés soi-même à la main. On retient davantage les parties sur lesquelles on est intervenu que celles qui sont passées sans problème.
La plupart des personnes intelligentes savent bien que l’écriture ne sert pas seulement à produire un résultat, mais qu’elle est aussi un processus de « pensée ». Dans ce processus, les LLM peuvent être de bons sparring partners : ils peuvent me signaler des erreurs, repérer des lacunes ou des fautes, ou m’aider dans la recherche générale pour comprendre le monde. Mais cela vaut seulement si le LLM n’écrit pas « à ma place » et sert plutôt d’appui dans un processus de réflexion autonome. En revanche, il faut toujours vérifier les sources du résultat.
Personnellement, les résultats de cette étude ne me surprennent pas. Quand j’ai utilisé l’IA pour m’aider dans l’écriture ou la traduction, j’ai moins eu le sentiment de m’impliquer activement ou de m’engager profondément dans la réflexion. En revanche, lorsque j’utilise l’IA d’une tout autre manière, je ressens un très haut niveau d’immersion. Pendant deux semaines, j’ai essayé avec Claude Code d’automatiser l’idéation, la recherche et la rédaction d’essais/articles, et ce processus était mentalement aussi absorbant qu’une « vraie » activité d’écriture, même si sa nature était différente. Les résultats de mon expérimentation étaient d’ailleurs assez bons. Même des essais ou articles écrits par l’IA sont tout à fait intéressants à lire si on les lit réellement, mais je n’ai pas l’intention de les publier ni de les soumettre comme un article scientifique.
Ce phénomène s’appelle « cognitive offloading » (externalisation cognitive). Toute personne ayant travaillé assez longtemps avec des assistants de code s’y reconnaîtra.
Comme les effets de la mécanisation sur l’industrie humaine, il vaut la peine de réfléchir largement à l’impact des nouvelles technologies comme les LLM sur notre structure cognitive. Je pense que l’automatisation consiste à confier les tâches répétitives et ennuyeuses afin de donner aux humains plus de temps et d’énergie pour aller vers des activités plus créatives et innovantes. La question est de savoir si l’usage accru d’outils comme les LLM ou le GPS peut, au-delà des changements à court terme, transformer notre manière même de penser sur le long terme. Les générations qui ont grandi avec les moteurs de recherche mémorisent moins, mais se sont adaptées en retenant la manière de « trouver » l’information. On peut donc se demander s’il s’agit simplement d’une nouvelle étape dans une longue série d’évolutions où une fonction existante est remplacée, ou si la dépendance croissante aux LLM conduira à la perte de compétences essentielles absolument irremplaçables.
Dans la citation ci-dessous, il est souligné que « si les LLM ont abaissé la barrière d’entrée de la recherche de réponses, le prix de cette commodité est une moindre tendance des utilisateurs à aborder de manière critique les réponses ou les “opinions” du LLM (qui ne sont en réalité que des estimations probabilistes fondées sur les données d’entraînement) ». Au fond, le phénomène de « chambre d’écho » n’a pas disparu ; au contraire, l’exposition des utilisateurs est restructurée autour de contenus « prioritairement mis en avant » par l’algorithme. Et cette « priorité » elle-même reflète les valeurs du propriétaire du LLM (ou de ses actionnaires).
C’est quelque chose à quoi je pense souvent ces derniers temps, et c’est aussi pour cela que je n’ai essayé copilot que brièvement. Je suis encore au début de ma carrière et j’apprends tous les jours : avec une assistance LLM, je peux finir le travail plus vite, mais j’ai l’impression que je perdrais alors des occasions d’acquérir facilement des compétences. Je ne peux pas adhérer à l’idée selon laquelle « la pensée critique de bas niveau perdra peu à peu son importance et il ne faudra plus à l’avenir que de la planification abstraite de haut niveau ». Sur le plan émotionnel aussi, je ressens de la fierté et du sens dans le fait de « savoir quelque chose et de pouvoir le faire moi-même ». Je ne pense pas que l’usage des LLM soit difficile, et si nécessaire on pourra toujours choisir les outils les plus récents ; mais pour l’instant, j’accorde plus de valeur au processus consistant à apprendre et progresser par moi-même.
Avec l’adoption de l’IA, non seulement le nombre de profils juniors diminue, mais je pense qu’il y a aussi un risque que les juniors restants, à force d’utiliser l’IA, n’apprennent plus rien et demeurent éternellement juniors.
Quand on écrit avec l’IA, sur le moment tout semble couler de façon fluide, mais j’ai l’impression de ne pas vraiment réfléchir sérieusement aux idées. Le texte final peut être bien tourné, mais il m’arrive souvent, après coup, de ne plus me souvenir pourquoi j’ai écrit telle ou telle phrase. Maintenant, j’écris d’abord moi-même un premier jet, puis j’utilise l’IA pour le polir. Cela demande un peu plus d’effort, mais j’apprends clairement davantage et cela reste plus longtemps en mémoire.