- Une étude a analysé expérimentalement l’impact de la rédaction d’essais avec des grands modèles de langage (LLM) sur l’activité cérébrale et la charge cognitive humaines
- Les utilisateurs de LLM avaient un sentiment de propriété plus faible sur leurs textes, éprouvaient des difficultés à citer précisément leurs propres écrits et, à long terme, ont montré une baisse persistante des performances aux niveaux linguistique, comportemental et neural
- Les participants ont été répartis en trois groupes — LLM, moteur de recherche et Brain-only (cerveau seul) — afin d’effectuer la même tâche, certains changeant ensuite de condition pour comparaison
- Les résultats de l’EEG (mesure des ondes cérébrales) montrent que le groupe Brain-only présentait le réseau de connexions cérébrales le plus fort et le plus étendu, tandis que les utilisateurs de LLM affichaient la connectivité la plus faible
- L’étude montre que la dépendance à l’IA peut engendrer un coût cognitif dans le processus d’apprentissage et souligne la nécessité d’un examen approfondi de ses effets pédagogiques
Aperçu de l’étude
- L’étude explore l’effet de l’usage d’outils d’assistance IA sur l’activité cérébrale et le comportement lors de la rédaction d’essais
- Les participants ont été répartis en trois groupes : LLM (ChatGPT, etc.), moteur de recherche et Brain-only (sans outil)
- Chaque groupe a réalisé trois sessions dans les mêmes conditions, puis, lors d’une quatrième session, certains ont changé de condition
- Les utilisateurs de LLM sont passés à Brain-only (LLM-to-Brain)
- Les utilisateurs de Brain-only sont passés à la condition LLM (Brain-to-LLM)
- Au total, 54 personnes ont participé aux sessions 1 à 3, et 18 ont terminé jusqu’à la session 4
Méthodologie expérimentale
- L’EEG (électroencéphalographie) a servi à mesurer la charge cognitive et la connectivité cérébrale pendant la rédaction des essais
- Les essais rédigés ont été analysés via le traitement automatique du langage naturel (NLP), puis évalués par des enseignants humains et des évaluateurs IA
- Les analyses NER (reconnaissance d’entités nommées), motifs n-gram et ontologie thématique ont montré une forte similarité au sein de chaque groupe
Principaux résultats
- L’analyse EEG a confirmé des différences nettes entre les groupes
- Le groupe Brain-only a montré le réseau de connexions cérébrales le plus fort et le plus étendu
- Le groupe moteur de recherche affichait un niveau d’engagement intermédiaire
- Le groupe LLM présentait la connectivité la plus faible
- Une tendance a été observée : plus l’usage d’outils externes augmente, plus l’activité cognitive diminue
- Lors de la session 4, les participants passés de LLM à Brain-only ont montré une baisse de la connectivité dans les bandes alpha et bêta, soit un état de sous-activation cognitive
- À l’inverse, les participants passés de Brain-only à LLM ont montré une amélioration de la capacité de rappel mnésique ainsi qu’une activation des régions occipito-pariétales et préfrontales, similaire à celle des utilisateurs de moteurs de recherche
Observations comportementales et linguistiques
- Le sentiment de propriété à l’égard de l’essai (self-reported ownership) était le plus faible dans le groupe LLM et le plus élevé dans le groupe Brain-only
- Les utilisateurs de LLM ont eu des difficultés à citer précisément leurs propres textes
- Le suivi sur 4 mois a montré chez les utilisateurs de LLM une sous-performance persistante aux niveaux neural, linguistique et comportemental
Conclusion et implications
- Les LLM offrent une commodité immédiate, mais impliquent aussi un coût cognitif à long terme (cognitive cost)
- L’étude alerte sur les effets négatifs potentiels de la dépendance à l’IA sur l’apprentissage et les capacités de raisonnement
- Elle souligne la nécessité de rééquilibrer et de réexaminer l’usage de l’IA sous l’angle éducatif et cognitif
- À travers ces résultats, le MIT Media Lab met en avant la nécessité de repenser les mécanismes d’apprentissage à l’ère de l’IA
Aucun commentaire pour le moment.