- L’importance de la rédaction scientifique écrite directement par des humains continue d’être soulignée, même à l’ère des LLM
- Écrire ne sert pas seulement à transmettre les résultats de recherche ; c’est aussi un outil pour affiner la pensée et découvrir de nouvelles idées
- Les textes rédigés par des LLM manquent de responsabilité et d’authenticité, et présentent aussi un risque élevé de génération de fausses informations (hallucinations)
- Les LLM sont efficaces comme outils pour améliorer la lisibilité, corriger la grammaire, faire émerger des idées, etc., mais leur confier l’ensemble de la rédaction peut faire perdre des occasions de pensée critique et de pensée créative
- L’expérience et l’occasion de réflexion nécessaires pour construire un récit de recherche créatif constituent un processus important propre à l’humain
La valeur de l’écriture scientifique produite par l’humain à l’ère des LLM
- L’écriture scientifique est au cœur de la méthode de recherche et constitue une pratique courante pour communiquer les résultats de recherche
- Écrire ne consiste pas simplement à rendre compte de résultats, mais à organiser sa pensée de manière structurée et intentionnelle afin d’en dégager les messages essentiels
- Des travaux montrent aussi que l’écriture manuscrite a des effets positifs sur la connectivité cérébrale ainsi que sur l’apprentissage et la mémoire
La nécessité d’une écriture scientifique centrée sur l’humain
- L’idée est avancée qu’il faut continuer à reconnaître l’importance d’une rédaction scientifique écrite directement par des humains
- Les LLM permettent de rédiger rapidement un article complet ou un rapport d’évaluation, mais un LLM ne peut pas être auteur (faute de responsabilité)
- Si écrire revient à penser, le problème est qu’un article rédigé par un LLM revient à lire les « pensées » du modèle plutôt que celles du chercheur
Limites et points de vigilance dans l’usage des LLM
- Les LLM actuels peuvent générer des informations erronées, ce qu’on appelle des hallucinations
- Les citations ou références générées par un LLM peuvent être fictives, ce qui impose de tout vérifier minutieusement et peut, en pratique, demander plus de temps
- Certains problèmes des LLM pourraient être atténués avec des modèles entraînés uniquement sur des bases de données scientifiques, mais leur efficacité réelle reste incertaine
Les usages positifs des LLM
- Les LLM peuvent être utilement mobilisés pour améliorer la lisibilité, corriger la grammaire, rechercher et résumer divers articles, ou encore faire du brainstorming d’idées
- Ils peuvent aussi aider la pensée créative, par exemple pour surmonter le syndrome de la page blanche, proposer différentes façons d’expliquer un sujet ou découvrir des liens entre de nouveaux thèmes
La valeur de la créativité et de la réflexion propres à l’humain
- Cependant, déléguer l’ensemble de l’écriture à un LLM conduit à perdre des occasions de réflexion sur son domaine de recherche et de construction d’un récit créatif
- Le processus qui consiste à reconstruire un contenu de recherche en un récit attractif et convaincant est une capacité humaine essentielle, au-delà même de l’article académique
1 commentaires
Discussion sur Hacker News
Je pense que lire, c’est aussi penser. Et puisque lire et écrire font partie du processus de pensée, il est risqué d’en déléguer l’habitude à des modèles d’IA. Surtout pendant les années de formation des élèves, ils doivent apprendre par eux-mêmes à penser à travers la lecture et l’écriture — en s’exerçant sans cesse, par la réflexion, la prise de notes, etc. C’est comparable à l’usage d’une calculatrice : une fois qu’on a acquis un minimum de bases, utiliser une calculatrice électronique est très bien, mais il faut d’abord avoir l’expérience de calculer de tête ou de faire les choses à la main. Ne serait-ce que pour prendre l’habitude de repérer les erreurs de saisie ou de vérifier les résultats. Je m’inquiète du fait que de jeunes élèves, dont la pensée n’est pas encore construite, commencent à confier ce travail aux LLM
J’aimerais citer l’histoire de l’invention de l’écriture dans l’Égypte antique (citée dans le Phèdre de Platon). Thot vante à Thamous les bienfaits de l’écriture, mais Thamous avertit que la dépendance à l’écriture affaiblira la mémoire. Ce débat se répète donc depuis plus de 2 000 ans. Moi aussi, je pense que Thamous pourrait bien avoir raison, mais dans les faits, nous vivons tous aujourd’hui en nous appuyant sur la lecture et l’écriture
Le simple fait d’écrire réellement quelque chose sur papier déclenche en soi une pensée plus profonde. C’est particulièrement important dans l’ingénierie. C’est aussi pour cela que, dans beaucoup d’entreprises tech, une culture documentaire autour de textes comme les RFC s’est développée. C’est très utile, aussi bien pour l’auteur que pour les relecteurs
Lire, c’est suivre la pensée d’autrui, alors qu’écrire, c’est explorer directement sa propre pensée. C’est pour cela que l’écriture est pénible pour beaucoup de gens, et en même temps indispensable. Et l’enseignement aussi est important. Raffiner sa pensée pour la rendre claire est un travail extrêmement précieux et difficile
Je vois l’impact des LLM sur la pensée comme exactement analogue à celui des calculatrices. Ils permettent de sauter certaines étapes de raisonnement, mais rendent possibles d’autres formes de pensée. Personnellement, ma pensée s’est enrichie grâce aux LLM. Comme ils me déchargent des tâches répétitives, je peux consacrer davantage de temps et d’énergie à extraire rapidement le « signal » de l’information, ou à combiner des idées venues de domaines différents. Je peux faire des erreurs, mais sans LLM j’aurais commis des erreurs similaires, simplement plus lentement. En réalité, dans les domaines où je ne suis pas expert, j’aurais souvent renoncé à faire la recherche elle-même, ou ma réflexion serait restée très étroite. Empêcher l’usage des LLM n’approfondit pas automatiquement la pensée. De la même manière qu’interdire les calculatrices ne rend pas tout le monde bon en maths, leur autorisation permet à ceux qui aiment les maths d’aller bien plus loin
Ces enfants vivront dans un futur où l’IA sera plus avancée. Le monde change vite, donc je pense qu’ils finiront eux aussi par le comprendre. Mais il y a aussi une réalité : l’abondance numérique rêvée par la génération Internet tourne de plus en plus au cauchemar fait de surabondance de contenus superflus et de guerre de l’information
J’aimerais citer Paul Graham : « Écrire, c’est penser. Pour bien écrire, il faut penser clairement, et penser clairement est extrêmement difficile. Il existe une forme particulière de pensée qu’on ne peut accomplir qu’en écrivant réellement. Si vous vous contentez de penser sans écrire, vous vous faites seulement l’illusion de penser. Si le monde se divise entre “ceux qui écrivent” et “ceux qui n’écrivent pas”, les conséquences sont bien plus dangereuses qu’il n’y paraît. Très vite, il se divisera entre “ceux qui pensent” et “ceux qui ne pensent pas”. »
https://www.paulgraham.com/writes.html
La pensée et l’écriture sont intimement liées. Ce n’est pas le cas de la pensée et de l’usage de ChatGPT
Lien vers « Your Brain on ChatGPT » du MIT Media Lab : https://share.google/RYjkIU1y4zdsAUDZt
Je me demande vraiment comment un LLM peut « écrire » un article scientifique. Par exemple, si on lui donne des résultats de Western blot, des données sur des souris génétiquement modifiées, des données de séquençage en cellule unique, etc., l’article doit alors révéler une nouvelle protéine et expliquer quelles voies changent lorsqu’on édite les gènes de la souris. Quel matériau faut-il donner au LLM, et comment pourrait-il savoir en quoi cette découverte est significative ? À mon avis, un LLM ne fait au fond que paraphraser ce que je lui demande. La vraie difficulté de l’écriture, c’est « décider comment raconter l’histoire »
En doctorat, on apprend dans chaque domaine un format standard pour rédiger les articles. Si un LLM a été entraîné sur suffisamment d’articles du domaine, il peut placer automatiquement les informations fournies par l’utilisateur dans les sections appropriées. La majeure partie du temps passé à rédiger un article est consacrée aux citations et à la mise en forme ; pour ce type de tâches stylistiques et répétitives, il est au contraire très utile qu’un LLM les prenne en charge. Pour un scientifique, la rigueur et la clarté sont essentielles, mais j’aimerais volontiers laisser l’automatisation s’occuper de ces corvées de style
Un LLM pourrait même mieux cerner les articles pertinents qu’un humain en ayant appris l’ensemble d’un dépôt comme arXiv
Un LLM peut aussi commencer par produire un plan ou une structure, ce qui constitue en soi une forme d’écriture
Même parler, c’est penser. C’est aussi pour cela que la liberté d’expression figure dans le premier amendement. Si quelqu’un limite ma capacité à parler, il contrôle aussi ma pensée.
L’écriture est comme une sorte de superpouvoir, à la manière de la Pensine dans Harry Potter. Elle permet de sortir les idées de sa tête pour les examiner à plusieurs niveaux d’analyse, et de stocker et organiser facilement ses souvenirs
La conception actuelle de la liberté d’expression est en réalité relativement récente, datant surtout des années 1910-1920. Avant cela, le sens de « free speech » était très différent de celui d’aujourd’hui ; il y avait un excellent podcast (Radiolab, entre autres) sur ce sujet
Site lié : https://voicebraindump.com
Quand les gens disent « écrire, c’est important », je me demande si, au fond, ils ne veulent pas dire « quand j’écris, je deviens plus intelligent et je me sens bien ». En pratique, on combine souvent des idées dans sa tête pendant longtemps, puis, seulement quand tout est réuni, on les synthétise à un niveau supérieur ; on risque alors de prendre à tort cet acte réel de synthèse pour l’acte d’écriture lui-même. Si j’avais essayé d’écrire une semaine plus tôt, cela aurait été improductif
Au moins pour moi, ce n’est pas le cas. Le processus consistant à transférer concrètement sur le papier mes pensées, mes idées et mes connaissances me permet de découvrir des erreurs ou des manques, puis de les corriger. Et cela ne s’arrête pas à de simples corrections : de nouvelles perspectives ou de nouveaux points de vue me viennent aussi à l’esprit — des choses qui n’étaient pas présentes dans ma conscience auparavant. J’utilise l’écriture comme outil de pensée. D’autres outils sont le brainstorming de groupe ou la discussion. Ce genre d’activité complète ma pensée, la rend plus solide, et m’ouvre même de nouvelles directions ou connexions. Je recommande aussi l’essai de Paul Graham (sur le fait de mettre les idées en mots) et le livre Writing to Learn de Paul Zissner. Quand on apprend à écrire, s’y exercer produit une forme d’effet d’« enseignement », assez proche de la méthode Feynman
https://paulgraham.com/words.html
Pour prendre mon expérience personnelle : quand j’écris réellement, je découvre des contradictions ou des lacunes dans ma pensée ou mes connaissances. Le fait même de les identifier et de les corriger, c’est précisément pour cela que je dis que « l’écriture, c’est la pensée »
Je ne suis pas d’accord. Ma méthode consiste d’abord à tout écrire, des pensées encore non mélangées, puis à les disposer et les réorganiser jusqu’à ce qu’une structure apparaisse. À la fin, un résultat synthétique émerge. Il y avait sans doute une certaine structure quelque part dans mon esprit, mais elle n’était pas explicitement visible. Le simple fait que je passe par des réarrangements répétés prouve que l’écriture elle-même est un travail de synthèse
Il faut coucher les choses par écrit pour repérer les failles ou les erreurs. D’après mon expérience, si je ne les écris pas, je ne les trouve jamais
C’est une vision trop cynique. Chacun a sa propre manière de penser et de travailler, et chacun en retire des bénéfices différents. La plupart des gens ne disent pas que « l’écriture est une vertu » pour se donner de l’importance
Je suis sensible au message « écrire, c’est penser », mais c’est vrai sous conditions. Cela n’a pas toujours été le cas. En réalité, ce n’est qu’une fois l’écriture devenue bon marché que nous avons appris à développer notre pensée en écrivant. Quand on regarde les œuvres et les journaux d’auteurs des XVIIIe au début du XXe siècle, comme Tolstoï, Zweig ou Goethe, on a l’impression qu’ils concevaient tout le livre dans leur tête avant de l’écrire d’une traite en 20 à 30 jours. Autrefois, pensée et écriture étaient séparées. À l’époque moderne, cela a changé grâce au papier bon marché et aux ordinateurs. Cela ne veut pas dire que notre manière actuelle est mauvaise, mais il ne faut pas croire à tort que « penser = écrire » soit la seule voie. Socrate aussi disait que l’écriture nuisait à la mémoire (et ce n’était pas totalement faux), pourtant aujourd’hui tout le monde s’en sert. Les critiques adressées aux LLM ont quelque chose d’étrangement ironique. L’analogie avec l’écriture vient spontanément à l’esprit. Les enfants qui grandiront avec les LLM auront une manière différente de penser
J’y vois plutôt une réaction à l’affirmation « penser, c’est écrire ». Moi aussi, je pense qu’on peut tout à fait penser sans écrire. En revanche, écrire n’est pas simplement déverser une pensée déjà achevée ; cela aide aussi à critiquer sa propre pensée, à faire émerger de nouvelles idées, à simplifier ou à développer. Une fois la pensée mise par écrit, il devient beaucoup plus facile de la réexaminer à un niveau méta
À l’époque où le papier coûtait cher, on utilisait souvent des tablettes de cire ou de bois pour les notes temporaires. Je doute que l’idée de concevoir un livre entier uniquement de mémoire puis de l’écrire d’un seul coup ait réellement été si fréquente, et il existe aussi des éléments sur le processus d’écriture de Guerre et Paix de Tolstoï
https://www.amazon.com/Tolstoy-Genesis-Peace-Kathryn-Feuer/dp/0801419026
Chaque fois que je vois des développements longs et logiques dans des traités philosophiques médiévaux, je me demande comment ils pouvaient construire cela à une époque où même les supports de notes provisoires n’étaient pas courants.
Et à propos de l’idée que « les enfants qui grandiront avec les LLM penseront différemment », je me demande concrètement en quoi cela se traduira. Quand je vois comment les étudiants actuels utilisent les LLM, je m’inquiète moins d’une pensée différente que d’une pensée plus faible, tout simplement
Il existe une théorie de Larry McEnerney, proche mais un peu différente. Il distingue l’écriture pour penser et l’écriture pour communiquer. L’écriture pour penser existe depuis avant Socrate, mais relève davantage d’une pratique personnelle. L’écriture pour communiquer couvre un champ beaucoup plus large : roman, journalisme, etc. Larry souligne surtout que les étudiants qui préparent des articles ont souvent du mal à relier ces deux formes
Les LLM sont très différents de ce qu’on appelait jusqu’ici « écrire ». Ils se rapprochent davantage d’un agent créatif. L’avantage que j’ai, c’est de pouvoir répéter, réviser et reformuler mes propres idées à l’écrit ; avec un LLM, c’est désormais « quelqu’un d’autre » qui pense, écrit et édite à ma place, donc la quantité de pensée que je produis diminue. Si le vélo est une manière d’aller plus loin avec sa propre énergie (l’écriture), et la voiture une énergie totalement différente (le LLM), laquelle est meilleure pour la santé physique ? Et l’idée que Tolstoï gardait tout un livre dans sa tête avant de l’écrire très vite est intéressante. J’aimerais voir des cas ou des preuves réels. Comme Tolstoï était aristocrate, il avait sans doute largement les ressources nécessaires
Beaucoup interprètent le remplacement de l’écriture humaine par les LLM comme un danger pour le développement humain. Moi, je suis plus optimiste. Si bien écrire conduit à bien penser, alors tous les efforts que je fais pour améliorer mon écriture contribuent aussi à améliorer ma pensée. De ce point de vue, les LLM peuvent au contraire beaucoup aider à améliorer les compétences d’écriture, et donc la capacité de penser elle-même. On peut aussi recevoir des retours très puissants sur le contexte ou sur des sujets connexes. Je crois que si on utilise les LLM avec retenue, ils peuvent au contraire nous aider à devenir de meilleurs êtres humains
Chaque fois que j’ai besoin de réfléchir sérieusement en profondeur, j’ouvre sublime text et j’écris la situation, ligne par ligne, de la façon la plus concise possible. Je me pose alors à moi-même des questions très directes, presque élémentaires, pour vraiment comprendre l’essentiel, l’objectif et le chemin. J’essaie de ne garder que la vérité, sans excuses ni justifications, comme si je devais répondre à un chef mafieux. Et là, la structure d’ensemble devient claire et une liste de tâches immédiates me vient presque aussitôt à l’esprit
Mon ancien manager (qui était aussi éditeur) disait souvent que l’écriture, c’est de la « découverte ». Autrement dit, cela relève fondamentalement du même registre que la pensée. Je suis d’accord avec cette idée