L’externalisation de la pensée (Outsourcing thinking)
(erikjohannes.no)- Les critiques selon lesquelles l’usage des grands modèles de langage (LLM) pourrait affaiblir les capacités cognitives humaines ne peuvent pas être écartées par le simple argument selon lequel « il y a une infinité de choses à penser, donc il n’y a pas lieu de s’inquiéter », car cela néglige la complexité du problème
- Utiliser des LLM pour l’écriture personnelle et la communication peut porter atteinte à la nature même du langage, où sens et expression sont indissociables, et priver chacun de l’occasion de trouver sa propre voix
- Même des activités du quotidien comme planifier des vacances, préparer une fête ou rédiger des messages personnels sont des expériences qui ont de la valeur en elles-mêmes ; les automatiser risque de réduire le sens de la vie
- Même dans des tâches répétitives et apparemment ennuyeuses, un savoir tacite (tacit knowledge) se forme ; les déléguer à un chatbot au seul nom de l’efficacité peut donc entraîner des pertes à long terme
- Définir le périmètre approprié d’usage des chatbots n’est pas une question d’efficacité, mais une question de valeurs humaines et d’orientation de la communauté
Introduction : contexte du texte et problématique
- Il existe des critiques selon lesquelles l’usage des LLM pourrait affaiblir les capacités cognitives, et pour certaines techniques et aptitudes, le principe « use it or lose it » paraît intuitivement et empiriquement convaincant
- Dans son texte The lump of cognition fallacy, Andy Masley affirme que l’idée même d’une quantité totale de pensée fixe est erronée : la pensée engendre de nouvelles pensées, donc en confier une partie à une machine ne réduirait pas la pensée humaine
- Ce texte prend la réflexion de Masley comme point de départ, mais cherche à montrer que l’externalisation de la pensée n’est pas un simple problème d’efficacité, et à en examiner la complexité ainsi que les effets à long terme
Dans quels cas il faut éviter d’utiliser des LLM
- Selon Masley, les cas où « externaliser la cognition est nuisible » sont les suivants
- les activités qui permettent de former des savoirs tacites complexes nécessaires pour vivre dans le monde à venir
- les actes qui expriment le soin apporté à autrui et une présence réelle
- les expériences qui ont de la valeur en elles-mêmes
- les cas où la falsification ou la délégation constituent une tromperie
- les situations où l’enjeu est très important et où il est difficile d’accorder une confiance totale à ce à quoi l’on délègue
- Dans l’ensemble, cette liste paraît juste, mais le problème est que les activités relevant de ces catégories sont bien plus nombreuses qu’on ne le pense, et c’est là qu’apparaît la divergence fondamentale avec Masley
Communication personnelle et écriture
- Au-delà des situations intimes comme les messages sur les applications de rencontre, l’ensemble de la communication personnelle accorde une importance essentielle à la manière de s’exprimer
- Toute communication repose sur des attentes partagées, même implicites ; dès lors qu’une machine reformule, lisse ou remplace l’expression, ces attentes sont rompues
- Le choix des mots et la construction des phrases portent en eux-mêmes une grande part du sens ; l’intervention d’un LLM dégrade donc la qualité d’une communication directe
- En Norvège, des controverses ont émergé autour de textes publics rédigés avec l’aide de LLM sans que cela soit signalé, ce qui montre qu’il faut redéfinir plus clairement ce que l’on attend de la communication
- Deux objections à l’idée selon laquelle les LLM aideraient l’expression des non-natifs ou des personnes ayant des troubles de l’apprentissage
- dans la plupart des cas, sens et expression sont indissociables, et les mots comme les phrases font eux-mêmes partie du sens
- confier l’expression à une machine réduit les occasions de progresser et d’apprendre, et fait perdre la possibilité de découvrir sa propre voix
- La frontière entre la correction orthographique et grammaticale d’un côté, et un LLM qui écrit de fait à votre place de l’autre, est beaucoup trop mince ; avec les interfaces actuelles des chatbots, il est difficile de les distinguer
- D’un point de vue pragmatique, beaucoup souhaitent utiliser les LLM pour gagner en efficacité au travail, mais dans des langues non anglophones comme le norvégien, la qualité de génération de texte reste très faible (voir le rapport du Conseil de la langue norvégienne)
- Les LLM peuvent sembler utiles pour rédiger des documents bureaucratiques, comme des réclamations ou des demandes d’indemnisation, mais les conséquences restent incertaines si toutes les parties se mettent à utiliser des générateurs de mots
- Un phénomène déjà observable est que, pour les candidatures à des stages, les propositions de recherche ou les demandes d’emploi, le volume des candidatures explose tandis que la qualité globale baisse
- Quand des étudiants utilisent le même chatbot pour des travaux de groupe, la diversité des idées diminue fortement
- On ne progresse à l’écrit qu’en écrivant soi-même ; il en va de même pour la capacité à penser
- Les textes fonctionnels comme le code, les recettes, les consignes ou la documentation sont relativement moins touchés par ces problèmes
- En revanche, pour les textes écrits par un auteur humain à destination d’un public humain, il existe des attentes de rôle et de confiance spécifiques, et l’érosion de cette confiance pourrait représenter une perte pour l’humanité entière
Des expériences qui ont de la valeur
- Chaque fois que je vois des publicités qui suggèrent de confier à un LLM l’organisation de vacances, la préparation d’une fête ou même les messages destinés à la famille et aux amis, je ressens un décalage profond avec la société technologique
- Beaucoup d’activités de la vie moderne peuvent sembler être des corvées, mais le vrai problème est aussi cette tendance à considérer presque tout dans la vie comme une corvée
- L’attente contemporaine selon laquelle on devrait toujours pouvoir faire ce qu’on veut, et éviter ce qu’on n’a pas envie de faire, produit au contraire une insatisfaction permanente
- Je suis d’accord avec l’idée que l’automatisation peut libérer du temps pour des activités plus significatives, mais le problème est que nous en sommes déjà arrivés au point où même planifier des vacances est perçu comme une corvée à éviter
- À une époque où l’IA peut automatiser « presque tout », on peut espérer que cette capacité nous amène à reprendre conscience de ce qui mérite vraiment notre temps et notre effort dans la vie
Construction des connaissances
- Je suis d’accord avec l’idée qu’« il ne faut pas utiliser de chatbot lorsqu’on construit les savoirs tacites complexes nécessaires pour vivre dans le monde futur », et cette catégorie inclut en réalité une grande partie de la vie quotidienne
- Depuis la généralisation du smartphone, l’idée s’est répandue qu’« il n’est pas nécessaire de mémoriser, puisqu’on peut chercher sur Internet au besoin », alors que le fait même d’acquérir et de retenir des connaissances est au cœur de l’apprentissage
- Mon expérience d’apprentissage du piano jazz m’a montré que, pour bien improviser, il ne suffit pas de pratiquer l’improvisation : il faut aussi assimiler à force de répétition des morceaux et des phrases existants afin de développer une intuition de ce qui sonne juste
- En ce sens, il peut sembler que la manière dont les humains apprennent ressemble aux modèles de machine learning, mais cela ne signifie pas pour autant qu’il faille considérer réellement l’être humain comme un tel système
- Nous sous-estimons gravement les connaissances accumulées par des tâches répétitives et ennuyeuses ; sous la pression de l’efficacité, les confier à des chatbots risque de nous faire perdre à long terme des savoirs et des sensibilités essentiels
Réfutation de la notion d’« esprit étendu »
- Masley soutient que la cognition ne se limite pas au cerveau mais s’exerce aussi dans l’environnement physique ; qu’elle se produise dans les neurones du cerveau ou dans les circuits d’un téléphone ne ferait donc aucune différence essentielle
- Une telle affirmation est déconnectée de la réalité : on ne peut pas assimiler les processus qui se déroulent dans le cerveau au traitement effectué par un ordinateur
- Réduire l’humain à un simple dispositif de traitement de l’information, et considérer que déléguer certains processus cognitifs à des appareils externes n’a aucune conséquence, relève d’un réductionnisme extrême
- Se souvenir soi-même de l’anniversaire d’un ami et laisser un chatbot envoyer automatiquement un message de félicitations sont deux actes totalement différents ; le premier inclut le fait de penser consciemment à l’autre et d’entretenir la relation
- Comparer « perdre son téléphone » à « perdre une partie de son cerveau » revient à assimiler à tort des situations totalement différentes, tant du point de vue de leur probabilité que de la gravité de leurs conséquences
- L’idée selon laquelle l’environnement physique serait conçu pour minimiser la pensée n’est pas non plus très convaincante ; quand l’environnement change, il faut parfois un temps d’adaptation, mais on s’y habitue vite et l’on pense selon de nouveaux schémas
Ce que l’on pense compte
- Concernant ce qu’on appelle la « lump of cognition fallacy », je suis d’accord sur le fait qu’il n’y a pas lieu de craindre l’épuisement d’un stock total de pensée, puisque la quantité de pensée qu’un humain peut mobiliser n’est pas finie en ce sens
- Mais l’idée selon laquelle peu importe ce à quoi l’on pense, du moment qu’on pense, est elle aussi une erreur
- Il est facile d’imaginer qu’en confiant à l’ordinateur les tâches simples et ennuyeuses, on pourra se concentrer sur des activités plus complexes et intéressantes ; pourtant, certaines tâches mentales ont du sens uniquement si l’humain les accomplit lui-même, même si une machine est capable de les exécuter
- Par exemple, déléguer au chatbot l’administratif d’un projet peut certes libérer du temps pour la recherche, mais cela se paie par la perte du sentiment d’appropriation du projet et de la base nécessaire pour exercer un jugement de haut niveau
- Il ne s’agit pas de dire qu’il ne faut jamais automatiser, mais de reconnaître que toute automatisation implique toujours quelque chose de gagné et quelque chose de perdu
- Si l’on compare cela à la « lump of labour fallacy », déléguer le travail physique aux machines crée certes de nouvelles formes de travail, mais rien ne garantit que ce travail soit utile, épanouissant et porteur de sens pour les individus ou pour la société
- Il en va de même pour la pensée : même les processus mentaux monotones et ennuyeux agissent sur l’être humain, et supprimer certaines tâches cognitives laisse nécessairement un effet, positif ou négatif
Conclusion
- Déterminer à long terme dans quels domaines les chatbots sont appropriés est une tâche majeure et inévitable
- La nature de la communication personnelle pourrait changer en profondeur, le système éducatif devra s’adapter de manière radicale, et nous serons amenés à réexaminer plus attentivement quelles expériences comptent vraiment dans la vie
- Si cette technologie est réellement intéressante, c’est parce qu’elle nous confronte directement, au-delà de l’efficacité, à des questions d’humanité et de valeurs
- Les choix concernant l’usage des chatbots ne relèvent pas seulement de la productivité ou des effets cognitifs, mais de la question du type de vie et du type de société que nous voulons
- Il existe donc des raisons claires de préserver certaines activités humaines de l’automatisation mécanique
- Au-delà des résultats de recherche et des débats sur l’efficacité, il faut aussi réfléchir aux valeurs sur lesquelles nous voulons construire notre communauté
1 commentaires
Réactions sur Hacker News
L’expression « Lump of cognition fallacy » dérive du classique concept économique de « Lump of Labor Fallacy »
Cela désigne l’idée fausse selon laquelle la quantité de travail dans l’économie serait fixe
En réalité, le progrès technologique ou l’automatisation augmentent la productivité, réduisent les coûts et finissent par créer davantage de demande de travail
L’affirmation selon laquelle « l’IA supprime les emplois » peut aussi être vue comme une forme de cette erreur
Ce texte m’a vraiment marqué. Mais l’expression « externaliser la pensée » me semble être un cadrage un peu faux
Le vrai problème que j’ai rencontré n’était pas d’utiliser l’IA, mais d’avoir automatisé les mauvaises choses
Pour les tâches où la réflexion, l’introspection et le jugement sont essentiels, il faut concevoir l’IA comme une collaboratrice, et automatiser sans hésiter l’exécution ou la mémoire
Au fond, le problème n’est pas d’« externaliser la pensée », mais de court-circuiter des boucles cognitives importantes
J’ai résumé mes idées à ce sujet ici
Depuis l’arrivée des LLM dans Gmail, ça me met mal à l’aise
Je pense que chaque mot et la construction des phrases révèlent l’identité de la personne
C’est pourquoi je trouve que la communication directe via un LLM nuit au lien humain
Je suis d’accord quand le lien humain repose sur la bonne volonté, mais quand ce n’est pas le cas, un LLM peut au contraire aider
J’aime bien la notion de « reversibility »
Il y a une différence entre une IA qui aide sur une étape, comme la correction grammaticale ou le résumé, et une IA qui prend en charge l’ensemble du processus
Si je ne fais plus qu’approuver, je ne construis pas de modèle mental interne et mon jugement s’affaiblit
Ce n’est pas seulement un problème du modèle, c’est aussi un problème d’UI/de design
Les outils qui montrent les différences à partir d’un brouillon gardent l’utilisateur dans la boucle, alors que ceux qui partent d’une page blanche lui apprennent à « accepter »
Ce qui m’inquiète, c’est la possibilité qu’une fois dépendants de la technologie, les gens se retrouvent avec des données d’entraînement ou des algorithmes biaisés en faveur d’un certain agenda
Au fond, le problème est que la source de l’information reste sous le contrôle d’autrui
C’est pourquoi chacun devrait pouvoir posséder son propre LLM et son propre matériel
En voyant le tweet de Karpathy, j’ai repensé à l’importance de l’échec
Quand l’IA se trompe, on a souvent tendance à lui attribuer l’échec, et on perd alors une occasion d’apprendre
J’ai l’impression que ce texte parle d’un contexte très proche
Moi aussi, j’ai confié une partie d’un projet à une IA, avant de me rendre compte plus tard que je ne comprenais pas vraiment mon propre projet
Si ça bloque, on prend un autre LLM comme débogueur, et si ça bloque encore, on en prend un autre — une sorte de tour de tortues infinie (/s)
Si on prend le cerveau humain comme métaphore, l’IA pourrait devenir notre nouveau néocortex (neocortex)
De la même manière que le système limbique n’« externalise » pas sa pensée vers le néocortex, l’IA ne remplacera sans doute pas la pensée humaine, mais formera plutôt une couche de conseil
Comme le néocortex a élargi la sociabilité humaine, l’IA nous permettra peut-être de communiquer avec des millions de personnes
Mais cette relation sera d’une forme totalement différente des « conversations personnelles » actuelles
La « liste des choses pour lesquelles il ne faut pas utiliser l’IA » me paraît un peu naïve
Comme dans cet article de The Atlantic sur les étudiants en cinéma incapables de regarder les films jusqu’au bout, les gens ne se comportent pas de manière responsable même quand ils connaissent les risques
Le cadre « Lump of cognition » ne porte pas sur la quantité de pensée, mais sur les types de pensée auxquels on renonce
Le jugement et l’intuition se développent dans les tâches répétitives et ennuyeuses, et leur externalisation a un coût
Ce n’est pas parce que le coût de production des mots baisse que la profondeur de la pensée augmente