- Une étude a analysé expérimentalement l’impact de la rédaction d’essais avec des grands modèles de langage (LLM) sur l’activité cérébrale et la charge cognitive humaines
- Les utilisateurs de LLM avaient un sentiment de propriété plus faible sur leurs textes, éprouvaient des difficultés à citer précisément leurs propres écrits et, à long terme, ont montré une baisse persistante des performances aux niveaux linguistique, comportemental et neural
- Les participants ont été répartis en trois groupes — LLM, moteur de recherche et Brain-only (cerveau seul) — afin d’effectuer la même tâche, certains changeant ensuite de condition pour comparaison
- Les résultats de l’EEG (mesure des ondes cérébrales) montrent que le groupe Brain-only présentait le réseau de connexions cérébrales le plus fort et le plus étendu, tandis que les utilisateurs de LLM affichaient la connectivité la plus faible
- L’étude montre que la dépendance à l’IA peut engendrer un coût cognitif dans le processus d’apprentissage et souligne la nécessité d’un examen approfondi de ses effets pédagogiques
Aperçu de l’étude
- L’étude explore l’effet de l’usage d’outils d’assistance IA sur l’activité cérébrale et le comportement lors de la rédaction d’essais
- Les participants ont été répartis en trois groupes : LLM (ChatGPT, etc.), moteur de recherche et Brain-only (sans outil)
- Chaque groupe a réalisé trois sessions dans les mêmes conditions, puis, lors d’une quatrième session, certains ont changé de condition
- Les utilisateurs de LLM sont passés à Brain-only (LLM-to-Brain)
- Les utilisateurs de Brain-only sont passés à la condition LLM (Brain-to-LLM)
- Au total, 54 personnes ont participé aux sessions 1 à 3, et 18 ont terminé jusqu’à la session 4
Méthodologie expérimentale
- L’EEG (électroencéphalographie) a servi à mesurer la charge cognitive et la connectivité cérébrale pendant la rédaction des essais
- Les essais rédigés ont été analysés via le traitement automatique du langage naturel (NLP), puis évalués par des enseignants humains et des évaluateurs IA
- Les analyses NER (reconnaissance d’entités nommées), motifs n-gram et ontologie thématique ont montré une forte similarité au sein de chaque groupe
Principaux résultats
- L’analyse EEG a confirmé des différences nettes entre les groupes
- Le groupe Brain-only a montré le réseau de connexions cérébrales le plus fort et le plus étendu
- Le groupe moteur de recherche affichait un niveau d’engagement intermédiaire
- Le groupe LLM présentait la connectivité la plus faible
- Une tendance a été observée : plus l’usage d’outils externes augmente, plus l’activité cognitive diminue
- Lors de la session 4, les participants passés de LLM à Brain-only ont montré une baisse de la connectivité dans les bandes alpha et bêta, soit un état de sous-activation cognitive
- À l’inverse, les participants passés de Brain-only à LLM ont montré une amélioration de la capacité de rappel mnésique ainsi qu’une activation des régions occipito-pariétales et préfrontales, similaire à celle des utilisateurs de moteurs de recherche
Observations comportementales et linguistiques
- Le sentiment de propriété à l’égard de l’essai (self-reported ownership) était le plus faible dans le groupe LLM et le plus élevé dans le groupe Brain-only
- Les utilisateurs de LLM ont eu des difficultés à citer précisément leurs propres textes
- Le suivi sur 4 mois a montré chez les utilisateurs de LLM une sous-performance persistante aux niveaux neural, linguistique et comportemental
Conclusion et implications
- Les LLM offrent une commodité immédiate, mais impliquent aussi un coût cognitif à long terme (cognitive cost)
- L’étude alerte sur les effets négatifs potentiels de la dépendance à l’IA sur l’apprentissage et les capacités de raisonnement
- Elle souligne la nécessité de rééquilibrer et de réexaminer l’usage de l’IA sous l’angle éducatif et cognitif
- À travers ces résultats, le MIT Media Lab met en avant la nécessité de repenser les mécanismes d’apprentissage à l’ère de l’IA
14 commentaires
Du point de vue de quelqu’un dont le métier est la recherche, c’est un problème dont je parle énormément. Les outils qui remplaçaient jusqu’ici certaines fonctions humaines remplaçaient généralement une fonction précise ; il était rare qu’ils remplacent la cognition elle-même. Or les fonctions cognitives se développent par un apprentissage fonctionnel au cours du processus où elles subissent une charge ; avec cela, on se prive soi-même de ces occasions. On peut dire que cela permet de se concentrer sur autre chose, mais si la fonction cognitive elle-même n’a pas pu se développer, il se peut qu’on n’ait même pas l’occasion de faire autre chose. Bien sûr, cela peut aussi être un phénomène propre à une période de transition, mais quand je vois les juniors que j’ai récemment interviewés ou mes cadets à l’université, j’ai le sentiment que le problème est plus sérieux qu’on ne le pense. Il est vrai que tout dépend de la manière dont on utilise un outil, mais quand on n’arrive même pas à maîtriser un simple smartphone, au point que les « smombies » qui marchent les yeux rivés sur leur téléphone prolifèrent, je ne m’attends pas à ce que la plupart des gens l’utilisent de façon maîtrisée.
Je trouve ce point de vue intéressant. Référence : xkcd.com/1601 xkcd.com/1227
Moi aussi, c’est pour cette raison que je me méfie d’une dépendance aux LLM. Pour la plupart des choses créées par les humains, l’"intention" est essentielle. Que ce soit le cinéma, la cuisine ou la technologie… J’ai l’impression que l’exécution ne compte qu’à hauteur d’environ 15 %.
Si les LLM font gagner du temps, ce temps économisé doit servir à améliorer la qualité.
Réactions sur Hacker News
À force d’utiliser l’IA trop souvent, on a l’impression de perdre la sensation d’immersion dans la résolution de problèmes
En implémentant un algorithme de layout de graphe complexe basé sur le framework Sugiyama, j’ai rapidement assimilé les concepts grâce à l’IA, mais en lui faisant écrire le code directement, j’ai au contraire fini par moins bien comprendre
Ensuite, je suis passé de Copilot IDE à l’app Copilot 365 pour lui faire expliquer les principes, puis j’ai débogué moi-même, ce qui m’a permis de retrouver cet état de concentration
Je pense qu’il vaut bien mieux utiliser l’IA comme une encyclopédie interactive que lui déléguer le travail
Je peux maintenant me concentrer davantage sur les revues de code ou la conception d’architecture, et donc consacrer mon temps à l’essentiel
Même en utilisant l’IA comme une encyclopédie, on perdra en capacité de recherche d’information, mais le compromis en temps et en énergie économisés en vaut la peine
Au début, c’était « demandons simplement au LLM », puis « le LLM peut s’en charger pendant que je fais une pause », puis encore « le LLM suit mon raisonnement et m’apporte de nouvelles idées »
Mais au final, les deadlines et le travail réel finissent toujours par revenir
À chaque apparition d’un nouveau média, on a eu des controverses du même genre
Socrate disait que l’écriture nuisait à la mémoire, et à l’époque de Gutenberg, certains craignaient la disparition de la réflexion profonde
Cette étude a un petit échantillon et une durée trop courte, donc sa fiabilité est limitée, mais les LLM sont qualitativement différents d’une calculatrice ou de Google, car ils peuvent remplacer l’ensemble du processus cognitif
Peut-être que les capacités cognitives ne disparaissent pas, mais changent de forme. On ne le saura sans doute vraiment que dans une vingtaine d’années
Les gens qui ne connaissaient pas l’écriture avaient une énorme capacité de mémorisation, et aujourd’hui nous sommes devenus paresseux à force de dépendre des machines
Il y a aussi le paradoxe de la productivité(https://en.wikipedia.org/wiki/Productivity_paradox) : 30 ans après la généralisation d’Internet, la productivité n’a pas vraiment bondi
Les LLM affaiblissent ces trois étapes. En revanche, si on les utilise comme tuteur personnalisé pour nous proposer des exercices, ils peuvent aussi faire progresser le cerveau
Mais les entreprises n’iront probablement pas dans cette direction, donc c’est à nous de nous battre pour un meilleur usage
Pour les calculatrices aussi, elles ont effectivement affaibli la capacité à faire des calculs complexes
Si le changement est positif, il faudra de nouvelles méthodes d’évaluation de l’apprentissage ; s’il est négatif, il faudra des politiques de blocage des LLM
Dans tous les cas, une refonte du système éducatif semble inévitable
Si les juniors ne progressent plus via des tâches simples, les seniors finiront eux aussi par disparaître
Du point de vue d’un étudiant, l’IA comme aide à l’apprentissage fait plus de mal que de bien
Le processus d’essais-erreurs et de réflexion disparaît, et on finit même par déléguer sa pensée à un système automatisé
Avant, il suffisait de bloquer Instagram ; maintenant, on vit dans une époque où il faut bloquer la pensée elle-même
Dans le podcast de la psychologue Cat Hicks et de la neuroscientifique Ashley Juavinett, Change, Technically, les problèmes de cette étude sont bien abordés
Peut-être que ChatGPT rend les gens plus bêtes, mais on ne peut pas le démontrer avec une étude construite de cette façon
Moi, au contraire, j’ai l’impression que l’IA a atténué mes symptômes de TDAH
Je m’en sers comme d’un carnet interactif pour organiser mes idées, et le processus d’écriture de longs textes en LaTeX est devenu bien plus agréable
J’ai l’impression de fonctionner comme quelqu’un qui n’a pas de TDAH
Quand je code moi-même, je suis absorbé, mais attendre les réponses de l’IA me disperse
J’utilise ChatGPT pour discuter de la conception, et Copilot pour m’assister dans le code
Au contraire, ma vitesse d’apprentissage et mon niveau de compréhension ont augmenté
Je n’ai jamais fait de test pour le TDAH, mais je ressens clairement des problèmes de concentration
Un ami m’a raconté qu’un collègue dans la vingtaine utilisait ChatGPT pour calculer l’addition du déjeuner
J’ai été surpris de voir la jeune génération dépendre de l’IA même pour des calculs élémentaires
Ils vont jusqu’à appeler Google Sheets « Excel »
Les humains ont toujours été faibles en calcul mental, donc il n’y a pas forcément de raison de tout faire à la main
Un calcul simple, ce n’est pas de la résolution de problème
Maintenant que l’IA prend aussi en charge la lecture et l’écriture, les humains peuvent se concentrer sur un niveau de réflexion plus élevé
Comme les druides critiquaient autrefois le passage à l’écrit, la perte de mémoire a toujours existé
Malgré cela, l’écriture s’est diffusée, et nous ne savons même pas vraiment si cela nous a rendus plus intelligents ou plus bêtes
Cela dit, utilisés comme tuteur personnalisé, ils peuvent aussi faire progresser le cerveau
Au final, c’est nous qui devons décider de la direction que prend l’IA
Plus besoin de retenir les numéros de téléphone ni les itinéraires
Mais si l’IA nous fait gagner du temps, on peut réinvestir ce temps dans la lecture des sources primaires
Au fond, la religion aussi était la première économie de l’attention
Ironiquement, les LLM résolvent justement le problème qu’il redoutait
La dépendance au GPS et la dépendance à l’IA posent un problème similaire
Certaines personnes ne retiennent plus les itinéraires, d’autres suivent aveuglément
Cela aide à comprendre la structure d’une ville
Avec les LLM, c’est un peu pareil : je garde ma concentration en essayant de résoudre le problème moi-même pendant que l’IA produit sa réponse
Je trouve inquiétant que la jeune génération ne puisse plus bouger une voiture sans GPS
Pour les LLM, c’est pareil : à trop dépendre d’eux, on finit par externaliser la pensée elle-même
Certains assimilent vite les repères géographiques, d’autres ont besoin de plus de temps
Cette étude consistait à demander aux participants d’écrire un essai de 20 minutes
Dans ce type de contexte, on cherche surtout l’efficacité à court terme, ce qui est assez éloigné des véritables effets cognitifs
Il faudrait observer l’impact des LLM sur des tâches réellement significatives
Au fond, la conclusion revient à dire : « quelqu’un qui joue vraiment au tennis sollicite davantage ses muscles que quelqu’un qui regarde un robot jouer »
M. Kim. J’aimerais me permettre de vous donner un conseil. Rien de spécial, si ce n’est : n’utilisez pas trop l’IA, GPT ? S’il y a de la praticité, les risques augmentent aussi. Pour abattre un bœuf, il faut une lame adaptée ; faut-il vraiment un couteau pour tuer un poulet ? La solution la plus simple peut être la bonne.
Il y a GitHub, la recherche Google, des méthodes simples. Pas besoin d’étoiles ni de beaucoup de temps, et plus tard il y a aussi la manière de coder à l’ancienne.
Supposons que M. Kim soit un général sur un champ de bataille. Gagner la guerre, n’est-ce pas une évidence ? La stratégie adaptée à la situation ? Tout écraser uniquement avec les forces terrestres ? Non. Mon avis, c’est que la recherche Google peut être plus rapide ; bien sûr, cela dépend des personnes, et GPT peut aussi être bien. Je vous donne cet avis parce que l’IA me semble être un couteau pour abattre un bœuf.
C’est du même niveau que de voir un marteau et dire : « ça rend les maisons fragiles ».
Le problème, ce n’est pas l’outil, mais la manière dont on l’utilise.
Par exemple :
utiliser une calculatrice peut réduire le calcul mental,
mais permet à la place de faire des mathématiques plus complexes.
Utiliser un GPS peut diminuer la capacité à mémoriser son chemin,
mais permet d’élaborer des stratégies spatiales à plus grande échelle.
C’est exactement pareil pour ChatGPT.
Et un point amusant.
Au moment même où l’on lit ce genre de texte et où l’on acquiesce sans réfléchir en se disant « oui, utiliser l’IA rend idiot »,
la dette cognitive dont il est question est déjà réellement en train de se produire chez cette personne.
Un outil est toujours neutre.
Que la pensée devienne une dette ou un actif dépend de l’attitude de l’utilisateur.
Je suis d'accord avec la première partie, mais l'exemple de la seconde moitié ne me semble pas approprié.
L'équipement de sport = pas le LLM ; l'assistance à l'exercice = le LLM. Autrement dit, si l'on utilise un dispositif d'assistance pendant l'entraînement pour réduire la charge exercée sur le corps, on peut certes augmenter le poids soulevé, mais cela réduit d'autant les effets de l'exercice, comme le développement musculaire ou l'amélioration de la circulation sanguine.
Le fait d’avoir donné un exemple inapproprié tout en écrivant « Les comparaisons et les métaphores servent à faciliter la compréhension. » est contradictoire. À voir votre commentaire, j’ai l’impression qu’il n’est plus vraiment utile de continuer à répondre.
Ah oui. C’est bien comme cela qu’il faut le comprendre.