L’externalisation de la pensée (Outsourcing thinking)

• Les critiques selon lesquelles l’usage des grands modèles de langage (LLM) pourrait affaiblir les capacités cognitives humaines ne peuvent pas être écartées par le simple argument selon lequel « il y a une infinité de choses à penser, donc il n’y a pas lieu de s’inquiéter », car cela néglige la complexité du problème
• Utiliser des LLM pour l’écriture personnelle et la communication peut porter atteinte à la nature même du langage, où sens et expression sont indissociables, et priver chacun de l’occasion de trouver sa propre voix
• Même des activités du quotidien comme planifier des vacances, préparer une fête ou rédiger des messages personnels sont des expériences qui ont de la valeur en elles-mêmes ; les automatiser risque de réduire le sens de la vie
• Même dans des tâches répétitives et apparemment ennuyeuses, un savoir tacite (tacit knowledge) se forme ; les déléguer à un chatbot au seul nom de l’efficacité peut donc entraîner des pertes à long terme
• Définir le périmètre approprié d’usage des chatbots n’est pas une question d’efficacité, mais une question de valeurs humaines et d’orientation de la communauté

---

Introduction : contexte du texte et problématique

• Il existe des critiques selon lesquelles l’usage des LLM pourrait affaiblir les capacités cognitives, et pour certaines techniques et aptitudes, le principe « use it or lose it » paraît intuitivement et empiriquement convaincant
• Dans son texte The lump of cognition fallacy, Andy Masley affirme que l’idée même d’une quantité totale de pensée fixe est erronée : la pensée engendre de nouvelles pensées, donc en confier une partie à une machine ne réduirait pas la pensée humaine
• Ce texte prend la réflexion de Masley comme point de départ, mais cherche à montrer que l’externalisation de la pensée n’est pas un simple problème d’efficacité, et à en examiner la complexité ainsi que les effets à long terme

Dans quels cas il faut éviter d’utiliser des LLM

• Selon Masley, les cas où « externaliser la cognition est nuisible » sont les suivants
  • les activités qui permettent de former des savoirs tacites complexes nécessaires pour vivre dans le monde à venir
  • les actes qui expriment le soin apporté à autrui et une présence réelle
  • les expériences qui ont de la valeur en elles-mêmes
  • les cas où la falsification ou la délégation constituent une tromperie
  • les situations où l’enjeu est très important et où il est difficile d’accorder une confiance totale à ce à quoi l’on délègue
• Dans l’ensemble, cette liste paraît juste, mais le problème est que les activités relevant de ces catégories sont bien plus nombreuses qu’on ne le pense, et c’est là qu’apparaît la divergence fondamentale avec Masley

Communication personnelle et écriture

• Au-delà des situations intimes comme les messages sur les applications de rencontre, l’ensemble de la communication personnelle accorde une importance essentielle à la manière de s’exprimer
• Toute communication repose sur des attentes partagées, même implicites ; dès lors qu’une machine reformule, lisse ou remplace l’expression, ces attentes sont rompues
• Le choix des mots et la construction des phrases portent en eux-mêmes une grande part du sens ; l’intervention d’un LLM dégrade donc la qualité d’une communication directe
• En Norvège, des controverses ont émergé autour de textes publics rédigés avec l’aide de LLM sans que cela soit signalé, ce qui montre qu’il faut redéfinir plus clairement ce que l’on attend de la communication
• Deux objections à l’idée selon laquelle les LLM aideraient l’expression des non-natifs ou des personnes ayant des troubles de l’apprentissage
  • dans la plupart des cas, sens et expression sont indissociables, et les mots comme les phrases font eux-mêmes partie du sens
  • confier l’expression à une machine réduit les occasions de progresser et d’apprendre, et fait perdre la possibilité de découvrir sa propre voix
• La frontière entre la correction orthographique et grammaticale d’un côté, et un LLM qui écrit de fait à votre place de l’autre, est beaucoup trop mince ; avec les interfaces actuelles des chatbots, il est difficile de les distinguer
• D’un point de vue pragmatique, beaucoup souhaitent utiliser les LLM pour gagner en efficacité au travail, mais dans des langues non anglophones comme le norvégien, la qualité de génération de texte reste très faible (voir le rapport du Conseil de la langue norvégienne)
• Les LLM peuvent sembler utiles pour rédiger des documents bureaucratiques, comme des réclamations ou des demandes d’indemnisation, mais les conséquences restent incertaines si toutes les parties se mettent à utiliser des générateurs de mots
• Un phénomène déjà observable est que, pour les candidatures à des stages, les propositions de recherche ou les demandes d’emploi, le volume des candidatures explose tandis que la qualité globale baisse
• Quand des étudiants utilisent le même chatbot pour des travaux de groupe, la diversité des idées diminue fortement
• On ne progresse à l’écrit qu’en écrivant soi-même ; il en va de même pour la capacité à penser
• Les textes fonctionnels comme le code, les recettes, les consignes ou la documentation sont relativement moins touchés par ces problèmes
• En revanche, pour les textes écrits par un auteur humain à destination d’un public humain, il existe des attentes de rôle et de confiance spécifiques, et l’érosion de cette confiance pourrait représenter une perte pour l’humanité entière

Des expériences qui ont de la valeur

• Chaque fois que je vois des publicités qui suggèrent de confier à un LLM l’organisation de vacances, la préparation d’une fête ou même les messages destinés à la famille et aux amis, je ressens un décalage profond avec la société technologique
• Beaucoup d’activités de la vie moderne peuvent sembler être des corvées, mais le vrai problème est aussi cette tendance à considérer presque tout dans la vie comme une corvée
• L’attente contemporaine selon laquelle on devrait toujours pouvoir faire ce qu’on veut, et éviter ce qu’on n’a pas envie de faire, produit au contraire une insatisfaction permanente
• Je suis d’accord avec l’idée que l’automatisation peut libérer du temps pour des activités plus significatives, mais le problème est que nous en sommes déjà arrivés au point où même planifier des vacances est perçu comme une corvée à éviter
• À une époque où l’IA peut automatiser « presque tout », on peut espérer que cette capacité nous amène à reprendre conscience de ce qui mérite vraiment notre temps et notre effort dans la vie

Construction des connaissances

• Je suis d’accord avec l’idée qu’« il ne faut pas utiliser de chatbot lorsqu’on construit les savoirs tacites complexes nécessaires pour vivre dans le monde futur », et cette catégorie inclut en réalité une grande partie de la vie quotidienne
• Depuis la généralisation du smartphone, l’idée s’est répandue qu’« il n’est pas nécessaire de mémoriser, puisqu’on peut chercher sur Internet au besoin », alors que le fait même d’acquérir et de retenir des connaissances est au cœur de l’apprentissage
• Mon expérience d’apprentissage du piano jazz m’a montré que, pour bien improviser, il ne suffit pas de pratiquer l’improvisation : il faut aussi assimiler à force de répétition des morceaux et des phrases existants afin de développer une intuition de ce qui sonne juste
• En ce sens, il peut sembler que la manière dont les humains apprennent ressemble aux modèles de machine learning, mais cela ne signifie pas pour autant qu’il faille considérer réellement l’être humain comme un tel système
• Nous sous-estimons gravement les connaissances accumulées par des tâches répétitives et ennuyeuses ; sous la pression de l’efficacité, les confier à des chatbots risque de nous faire perdre à long terme des savoirs et des sensibilités essentiels

Réfutation de la notion d’« esprit étendu »

• Masley soutient que la cognition ne se limite pas au cerveau mais s’exerce aussi dans l’environnement physique ; qu’elle se produise dans les neurones du cerveau ou dans les circuits d’un téléphone ne ferait donc aucune différence essentielle
• Une telle affirmation est déconnectée de la réalité : on ne peut pas assimiler les processus qui se déroulent dans le cerveau au traitement effectué par un ordinateur
• Réduire l’humain à un simple dispositif de traitement de l’information, et considérer que déléguer certains processus cognitifs à des appareils externes n’a aucune conséquence, relève d’un réductionnisme extrême
• Se souvenir soi-même de l’anniversaire d’un ami et laisser un chatbot envoyer automatiquement un message de félicitations sont deux actes totalement différents ; le premier inclut le fait de penser consciemment à l’autre et d’entretenir la relation
• Comparer « perdre son téléphone » à « perdre une partie de son cerveau » revient à assimiler à tort des situations totalement différentes, tant du point de vue de leur probabilité que de la gravité de leurs conséquences
• L’idée selon laquelle l’environnement physique serait conçu pour minimiser la pensée n’est pas non plus très convaincante ; quand l’environnement change, il faut parfois un temps d’adaptation, mais on s’y habitue vite et l’on pense selon de nouveaux schémas

Ce que l’on pense compte

• Concernant ce qu’on appelle la « lump of cognition fallacy », je suis d’accord sur le fait qu’il n’y a pas lieu de craindre l’épuisement d’un stock total de pensée, puisque la quantité de pensée qu’un humain peut mobiliser n’est pas finie en ce sens
• Mais l’idée selon laquelle peu importe ce à quoi l’on pense, du moment qu’on pense, est elle aussi une erreur
• Il est facile d’imaginer qu’en confiant à l’ordinateur les tâches simples et ennuyeuses, on pourra se concentrer sur des activités plus complexes et intéressantes ; pourtant, certaines tâches mentales ont du sens uniquement si l’humain les accomplit lui-même, même si une machine est capable de les exécuter
• Par exemple, déléguer au chatbot l’administratif d’un projet peut certes libérer du temps pour la recherche, mais cela se paie par la perte du sentiment d’appropriation du projet et de la base nécessaire pour exercer un jugement de haut niveau
• Il ne s’agit pas de dire qu’il ne faut jamais automatiser, mais de reconnaître que toute automatisation implique toujours quelque chose de gagné et quelque chose de perdu
• Si l’on compare cela à la « lump of labour fallacy », déléguer le travail physique aux machines crée certes de nouvelles formes de travail, mais rien ne garantit que ce travail soit utile, épanouissant et porteur de sens pour les individus ou pour la société
• Il en va de même pour la pensée : même les processus mentaux monotones et ennuyeux agissent sur l’être humain, et supprimer certaines tâches cognitives laisse nécessairement un effet, positif ou négatif

Conclusion

• Déterminer à long terme dans quels domaines les chatbots sont appropriés est une tâche majeure et inévitable
• La nature de la communication personnelle pourrait changer en profondeur, le système éducatif devra s’adapter de manière radicale, et nous serons amenés à réexaminer plus attentivement quelles expériences comptent vraiment dans la vie
• Si cette technologie est réellement intéressante, c’est parce qu’elle nous confronte directement, au-delà de l’efficacité, à des questions d’humanité et de valeurs
• Les choix concernant l’usage des chatbots ne relèvent pas seulement de la productivité ou des effets cognitifs, mais de la question du type de vie et du type de société que nous voulons
• Il existe donc des raisons claires de préserver certaines activités humaines de l’automatisation mécanique
• Au-delà des résultats de recherche et des débats sur l’efficacité, il faut aussi réfléchir aux valeurs sur lesquelles nous voulons construire notre communauté