- C’est une critique de l’écriture par LLM : des réponses d’étudiants aux relectures d’articles, elle peut sembler convaincante en surface, mais elle apporte rarement au lecteur une pensée ou une expérience nouvelle
- Les raisons pour lesquelles les gens délèguent l’écriture se répartissent entre ceux qui jugent la tâche sans importance, ceux qui pensent que le modèle écrit mieux qu’eux, et ceux qui veulent produire du texte généré automatiquement à des fins commerciales
- Si le but de l’écriture est de transmettre sa propre pensée, une sortie de LLM, dépourvue de pensée propre, ressemble davantage à une production vide qu’à du plagiat
- Même des tâches apparemment formelles, comme les devoirs en cours et les relectures d’articles, exigent en réalité réflexion et jugement ; les LLM ne font que produire du texte et ne remplacent pas le processus de pensée
- L’exemple de 234 mots produit avec Gemini ne faisait que répéter longuement le prompt et ajouter des généralités ; le prompt d’origine valait donc davantage la peine d’être lu que le résultat
Le style et les limites révélés par l’écriture des LLM
- Lors de la correction de devoirs d’étudiants, on rencontre souvent des textes qui semblent être des sorties de ChatGPT, par exemple des réponses expliquant les inconvénients des angles d’Euler
- Ces réponses sont généralement longues et vagues, ont tendance à s’accrocher au style en listes à puces en gras et à répéter le prompt
- Le style façon ChatGPT est assez distinctif pour être reconnaissable, mais pas assez probant pour saisir un comité d’honneur
- Même en soulevant le problème, il est difficile d’être certain que le gain pour l’intégrité du cours dépasse le temps passé à contester le cas
Pourquoi les gens confient l’écriture aux LLM
-
Les tâches perçues comme sans importance
- C’est une attitude que l’on voit souvent chez les étudiants qui considèrent les cours comme une succession d’obstacles à franchir pour obtenir un diplôme
- Une motivation similaire progresse aussi dans les relectures d’articles, avec comme exemple lié les paper reviews
- Beaucoup de chercheurs voient déjà les relectures comme une tâche annexe dans une charge de travail excessive, et peuvent avoir l’impression qu’il est difficile de dégager le temps nécessaire pour écrire une bonne évaluation
-
Quand on pense que le modèle écrit mieux
- Certains collègues pensent que les LLM produisent de meilleurs textes qu’eux
- D’après l’expérience de l’auteur, ce phénomène semble plus fréquent chez les personnes dont l’anglais est une deuxième langue
- On observe quelque chose de similaire chez les débutants en programmation, lié à une attitude qui voit la programmation comme une sorte d’incantation mystérieuse à mémoriser et réciter
- Il existe des usages similaires dans l’écriture académique, avec comme exemple lié l’academic writing
-
Les textes générés automatiquement avec des intérêts en jeu
- L’astroturfing, les chatbots de support client et les introductions interminables des recettes de pâtisserie en ligne en sont des exemples
- Ces textes ne sont pas écrits pour être lus par des humains et ne contiennent pas non plus l’intention de l’auteur
- Dans le cadre consacré aux motivations individuelles, ce type n’est pas traité en profondeur
Le but de l’écriture et le vide des sorties de LLM
- La principale raison pour laquelle les humains écrivent est de transmettre une pensée originale
- Cette pensée n’a pas besoin d’être exceptionnelle ni académique : des vacances, un chien, une couleur préférée peuvent parfaitement suffire comme sujets
- La condition importante est que cette pensée soit la sienne
- Copier les mots de quelqu’un d’autre ne transmet pas sa propre pensée, mais transmet au moins une pensée humaine
- Un LLM, par construction, n’a pas de pensée propre ; publier sa sortie relève donc presque d’un acte sans but
Les tâches qui semblent sans importance le sont en réalité
- Poster en commentaire sous un post Reddit un résumé de l’original généré par ordinateur est une perte de temps pour tout le monde
- Si l’original est si pauvre qu’un résumé suffit, il ne vaut pas la peine de participer par un commentaire
- Si l’original exige réellement une lecture humaine, le résumé est dénué de sens
- Le but des devoirs d’écriture en cours n’est pas la production d’un texte, mais le fait de forcer l’étudiant à penser
- Un LLM produit un résultat, mais ne produit pas le processus de réflexion
- Dans la relecture d’articles, une évaluation faite à moitié sans sérieux ne fait que créer du travail inutile pour les auteurs d’origine et n’apporte à l’éditeur aucune information au-delà de ce qu’il sait déjà
Réfutation de l’idée que « le modèle est meilleur »
- Dans la communication professionnelle, les LLM servent surtout à produire du remplissage ou à corriger le ton du prompt d’origine
- Ce faisant, le sens initial se brouille, et des couches de mots inutiles s’ajoutent même à une idée simple
- Avec de la chance, ce n’est pas faux, mais ils inventent souvent entièrement des détails importants ou produisent des textes difficiles à comprendre
- Dans un texte humain maladroit, on peut au moins s’attendre à une compréhension intérieure que l’auteur cherche à partager ; on ne peut pas attendre cela d’un LLM
Programmation et vibe coding
- L’auteur a un peu plus de sympathie pour les programmeurs, mais estime que les effets à long terme sont plus insidieusement nuisibles
- En pensant à Programming as Theory Building de Peter Naur, il considère que l’écriture d’un programme suffisamment complexe exige non seulement un artefact de code, mais aussi une théorie de la structure logique derrière ce code
- Le vibe coding est défini comme une manière de confier presque entièrement la génération d’un programme à un LLM
- Cette méthode produit un artefact sans théorie ; le code qui en résulte est donc pratiquement inutile
- Dans les termes de Naur, un tel programme est mort ; ici, il est comparé à quelque chose qui serait mort dès sa naissance
- L’exemple d’une application vibe-coded souffrant de problèmes de sécurité est celui de cette application de recettes vibe-coded qui a exposé une clé OpenAI
L’expérience avec Gemini
- L’argument de l’essai a été fourni à Google Gemini, avec la demande d’en faire deux courts paragraphes
- La sortie de Gemini comptait 234 mots et est jugée comme ne faisant que reformuler longuement le prompt
- Le ton restait dans des généralités vastes et creuses ; il employait de grands mots, mais sans goût
- La phrase d’exemple « Perhaps it stems from a desire for efficiency, a wish to quickly generate text without the perceived effort of crafting each sentence. » illustre une petite idée transformée en grande phrase
- Le même sens peut être réduit à « Perhaps it stems from a desire for efficiency. », puis encore affiné en « Perhaps people do it for efficiency. »
- Cette expérience conduit à la conclusion que les LLM excellent à produire du baratin, mais ne sont pas très bons pour le reste
Conclusion : préférer lire le prompt
- L’auteur affirme n’avoir jamais eu envie de voir la sortie d’un quelconque modèle génératif créatif — image, texte, audio ou vidéo — davantage que le prompt d’origine
- Le résultat généré a moins de substance que le prompt, et le processus de création ne contient aucune vision humaine
- Le but de la création est de partager sa propre expérience ; s’il n’y a pas d’expérience à partager, il n’y a pas vraiment de raison de créer
- La conclusion est qu’un texte qui ne vaut pas la peine d’être écrit ne vaut pas non plus la peine d’être lu
1 commentaires
Avis de Hacker News
J’ai déjà demandé plusieurs fois à des collègues qui produisent au travail des textes absurdement verbeux avec des LLM de m’envoyer plutôt simplement le prompt.
Si un LLM peut fabriquer un long texte à partir d’une entrée limitée, alors tout ce qu’il faut, c’est cette entrée concise ; le reste, à mes yeux, n’est que remplissage inventé.
Si je tape ou dicte un flux de conscience avec beaucoup de parenthèses et à moitié structuré, puis que je lui demande de le résumer, il met souvent mieux en ordre ce que je voulais dire.
Cela rejoint aussi la célèbre formule de Pascal : « Si j’avais eu plus de temps, j’aurais écrit une lettre plus courte. »
À titre indicatif, en faisant compresser la phrase ci-dessus par un LLM, j’ai obtenu quelque chose comme : « Quand il est difficile d’exprimer une idée floue, parler ou écrire longuement des pensées à moitié organisées puis demander à un LLM de les résumer permet de saisir l’intention plus clairement et plus efficacement. »
L’IA devient alors simplement une jolie machine de sortie avec pertes.
Quand j’ai enfin réussi à le joindre, il a avoué avoir mis les vraies exigences dans ChatGPT et « ne pas avoir eu le temps de relire le résultat » ; j’étais vraiment furieux.
Un LLM ne peut pas en savoir plus sur moi que ce que je lui donne dans le prompt, donc le résultat ne peut pas contenir plus d’informations que le prompt.
Pour des questions portant sur des connaissances publiques, c’est bien plus utile, car il peut aller chercher de nouvelles informations dans des sources externes.
J’aime le point de vue de l’auteur : il ne s’agit pas d’un jugement de valeur sur les personnes qui utilisent des LLM comme ChatGPT ou Gemini, mais de dire que la réflexion investie dans la création du prompt est forcément plus intéressante, originale et humaine que la sortie du LLM.
D’après mon expérience de l’utilisation de LLM pour écrire du code, si le prompt est nul, le code est objectivement nul.
Si je ne sais pas ce que je veux, sans idée, sans structure ni plan, c’est ce genre de code qui en sort.
J’aimerais aussi entendre les contre-arguments de personnes qui ont récemment utilisé des LLM pour l’écriture académique ou créative. Je n’ai pas utilisé les modèles récents autrement que pour traverser le boilerplate ou poser l’ossature de projets de programmation personnels.
Au bout du compte, c’est toujours la même mécanique : garbage in, garbage out.
Il y a quelques semaines encore, j’invoquais ce point pour expliquer pourquoi les LLM actuels ne peuvent pas être d’excellents créateurs de campagnes pour Dungeons and Dragons.
Les humains n’ont pas besoin de « contraintes ». Si vous demandez à un écrivain compétent de s’asseoir tranquillement et d’imaginer l’intrigue d’un nouveau roman, il le fera, tout simplement.
https://news.ycombinator.com/item?id=43677863
En revanche, un LLM peut être une excellente caisse de résonance pour les idées.
Si vous voulez plus de preuves, montez la température à 1.0 et demandez à n’importe quel LLM : « Pour une campagne DND, imagine une pièce de donjon indépendante avec une énigme unique qui n’existe pas déjà. Décris précisément l’énigme, sa solution, la disposition de la pièce, etc., et rends le tout totalement nouveau et imaginatif. »
Je parie que dans 99 % des cas, il sortira une énigme formelle fondée sur la physique, du genre « The Resonant Hourglass » ou « The Mirror of Acoustic Symmetry ».
Il faut apporter des idées, retirer ce qui doit l’être, définir le ton et la concision, puis faire tourner plusieurs brouillons.
https://old.reddit.com/r/singularity/comments/1andqk8/gemini...
En même temps, plus quelqu’un a besoin d’un LLM pour ce genre d’usage, moins il est susceptible de repérer les faiblesses de la sortie. De la même façon que je ne sais pas écrire en espagnol, je ne peux pas non plus évaluer la qualité d’une traduction espagnole produite par un LLM.
À l’extrême, les étudiants d’aujourd’hui pourraient dépendre des LLM, leur faire confiance sans mieux savoir, puis en venir à tout croire sans rien connaître, incapables même d’évaluer la qualité ou les performances.
Un domaine où je vois les choses différemment de l’auteur, c’est le code. J’aime les algorithmes, mais le code est écrit pour être lu par des ordinateurs, et je ne vois pas de gros problème à ce qu’un ordinateur écrive du code.
Les LLM m’ont fait gagner beaucoup de temps sur l’écriture de fonctions simples, ce qui m’a permis de passer rapidement les corvées ennuyeuses d’un projet et de me concentrer sur les parties intéressantes.
La phrase de Miyazaki selon laquelle « les humains ont perdu confiance en eux » me semble la plus juste. Les LLM peuvent être d’excellents outils pour automatiser des tâches répétitives et ennuyeuses, mais il est triste de penser qu’ils pourraient remplacer le point de vue propre à une personne.
Ils aident très peu à structurer. Écrire, c’est avoir une compréhension si claire que, même en la réduisant à des mots, quelqu’un d’autre peut s’en saisir.
Je suis d’accord pour dire que les LLM n’aident pas vraiment sur cette partie.
Mais toutes les informations doivent se trouver dans le prompt. Sinon, ils hallucinent.
Le résultat n’est pas publiable tel quel, mais il suffit pour démarrer et itérer plutôt que de regarder une page blanche.
J’aimerais aussi les essayer sur la section méthodologie, car chaque article répète presque les mêmes informations avec des formulations différentes.
Mais je ne fais pas encore confiance à l’exactitude des détails techniques. Un LLM n’est qu’un modèle de langage ; il n’a ni connaissance ni compréhension.
Écrit comme ça, un LLM ressemble à un algorithme de décompression inversée. Le LLM gonfle une idée simple et la rend brouillonne, puis quelqu’un d’autre la résume à nouveau avec un LLM pour la ramener à quelque chose de proche du prompt d’origine
Les seuls à tirer profit de ce travail absurde sont Sam Altman et sa bande, qui empochent quelque chose comme 0,000000001 $ pour avoir rendu cela possible
Les exceptions sont les textes et le code répétitifs ou de type boilerplate, où il faut exprimer longuement peu d’informations
http://prize.hutter1.net/
Il suffit de regarder l’avant-propos, la FAQ, et le fait que toutes les contributions gagnantes sont désormais des réseaux de neurones
La réponse au découragement de l’enseignant me paraît assez simple. Beaucoup de gens ne sont pas à l’université pour apprendre et cultiver leur esprit, mais pour survivre dans une économie brutalement sociale-darwiniste
Ceux qui étaient venus étudier sincèrement les angles d’Euler ont toujours été une infime minorité ; les autres voient ça comme une étape obligée pour obtenir un emploi qui sera peut-être automatisé par l’IA
Du point de vue du renforcement des conditions, l’enseignant n’a qu’à retirer des points aux étudiants qui trichent manifestement
En théorie, les étudiants abandonneront, ou deviendront assez bons pour ne pas se faire prendre. Ce dernier cas pourrait être une compétence demandée à l’avenir
C’est tout de même étrange que des parents disent : « si tu franchis ces portes, pour chaque dollar que tu gagneras en broyant du sésame dans telle entreprise, nous t’en donnerons deux de plus »
Travailler et s’instruire par soi-même, ce n’est pas quelque chose de correct et de digne ? Est-ce vraiment un mauvais marché ?
C’est du moins ce qu’indique sa page : https://claytonwramsey.com/about/
Les professeurs ne reçoivent pas non plus de vraie formation pédagogique, mais lui non plus ne semble pas avoir appris correctement à enseigner
Au final, il est assez jeune, et son texte ressemble plutôt à une réaction vive et spontanée. Il faut le juger en conséquence
Il y a plusieurs façons d’utiliser les LLM
Le problème vient de gens qui lancent un prompt ponctuel très court et obtiennent une sortie générique et ennuyeuse. C’est « entrée nulle, sortie générique »
Ma façon de les utiliser, en pratique, c’est de déverser mes idées et de demander de l’aide pour les organiser, obtenir des retours sur les formulations et les transitions, améliorer le ton et le style en tant que non-natif tout en essayant de garder ma personnalité, simplifier des phrases brouillonnes, repérer les manques ou les problèmes dans un texte, etc.
C’est généralement un processus itératif, et la longueur cumulée des prompts dépasse celle du résultat final. J’intègre aussi les retours manuellement
Si quelqu’un tape seulement « écris-moi un billet de blog sur X », le prompt sera sans doute plus intéressant que la sortie ; mais avec cinq cycles de révision et du contexte, voulez-vous vraiment lire tous les prompts et les brouillons plutôt que la version finale ?
Si vous voulez, les voici : https://chatgpt.com/share/6817dd19-4604-800b-95ee-f2dd05add4...
Pour info, le brouillon initial donné à ChatGPT est meilleur que le texte posté ici
C’est très difficile à faire comprendre aux étudiants. Quand un enseignant demande d’écrire sur un événement historique, ce n’est pas une sorte de rite de passage vers un diplôme
L’objectif est d’améliorer plusieurs capacités : collecter de l’information, la comprendre, l’assimiler, critiquer ce qu’on a lu et, au bout du compte, se forger sa propre opinion
Dire « je déverse mes idées et je laisse le LLM les organiser » donne l’impression que vous n’êtes pas intéressé par le fait de développer votre capacité à réellement assimiler l’information
Pour moi, c’est le signe d’un manque d’intérêt à devenir une personne intéressante. Je pense que c’est une question de maturité, et qu’on finit par le comprendre un jour
C’est aussi ce que dit l’auteur, au fond. Ce qui m’intéresse, c’est ce que vous avez à dire sur un sujet qui vous tient à cœur, pas ce que vous pouvez produire pour faire semblant d’y tenir ou de le connaître
Si vous n’êtes pas capable d’organiser vos pensées vous-même, il est difficile de croire que vous êtes déjà arrivé à un point intéressant ; et pour y parvenir, il faut s’exercer
Or j’ai peur qu’en utilisant un LLM sans s’exercer, on finisse par ne jamais devenir quelqu’un d’intéressant
Là encore, ce n’est pas toujours simple : il faut parfois itérer en demandant « traduis dans la langue utilisée par les gens de telle région », par exemple
L’auteur a raison sur un point. En tant qu’utilisateur d’une deuxième langue, un LLM produit un texte meilleur que le mien
Mais les prompts sont dans une langue étrangère et mêlés à des fragments de brouillon, donc ils seraient inutiles au lecteur et je ne les partagerai pas
Je vois plutôt ça comme le fait de confier un brouillon de livre à un éditeur et à un traducteur
Depuis l’apparition de l’IA, je n’ai cessé de réfléchir au rapport entre prompt et sortie
À cause des caractéristiques des systèmes que nous utilisons, on suppose naturellement que le prompt sera plus court que la sortie, mais plus on précise ce que l’on veut, plus le prompt s’allonge, tandis que la taille de la sortie reste la même
Si, au lieu d’écrire un essai, on décrit ce qu’il doit contenir, cette description devient inévitablement plus longue que l’essai lui-même. Parce qu’expliquer ce qu’on veut dire demande plus de texte que de simplement le dire
Le fait que l’on s’attende à recevoir davantage d’effort en échange de moins d’effort montre que ce que l’on obtient au final, c’est du remplissage
C’est pourquoi les prompts sont plus intéressants ; il m’est souvent arrivé de commencer à écrire un prompt parce que je ne savais pas quoi écrire, puis, au cours du processus, de voir soudain se clarifier ce que je voulais dire
Globalement, l’IA est bien plus utile pour compresser des idées complexes en quelque chose de simple que pour développer des idées simples en quelque chose de complexe
Si l’on est capable de spécifier en anglais, avec suffisamment de précision, le nouveau système que l’on veut construire pour obtenir exactement le système souhaité, autant écrire directement le code
Si je passe une heure à écrire un prompt de 500 mots, que j’y ajoute X données supplémentaires, comme des lignes de tableau, et que le LLM me renvoie X réponses parfaites, peu importe que le ratio de sortie soit moins bon que si j’avais tapé moi-même ces caractères
Ce qui compte, c’est de savoir si le travail a été terminé plus vite pendant cette heure et les quelques minutes de traitement du LLM
C’est similaire à la programmation. Le but d’utiliser un LLM n’est pas d’écrire du code meilleur que celui que je pourrais écrire moi-même, mais d’écrire du code suffisamment bon beaucoup plus rapidement
Cela dit, comme d’autres l’ont dit, le prompt n’est peut-être pas aussi intéressant ni aussi répétitif qu’on l’imagine. Il peut simplement être : « voici l’exercice, quelle est la réponse ? »
Je suis entièrement d’accord avec l’argument de l’auteur, mais il est difficile de réfuter les conditions et barrières économiques liées à l’obtention d’un diplôme
La plupart des gens voient le diplôme comme un passage obligé pour obtenir un emploi correct, et c’est économiquement naturel
Malheureusement, les employeurs d’aujourd’hui encouragent eux aussi ce type de travail par copier-coller. Il suffit de voir Meta et Google déclarer que la majorité du nouveau code écrit est produite par l’IA
Le monde sera dévoré par l’IA
Autrefois, seuls les plus intelligents ou les plus riches allaient à l’université ; le diplôme universitaire est donc devenu un indicateur indirect d’intelligence
Désormais, puisque les diplômés obtiennent de bons emplois, la façon de donner de bons emplois à tout le monde devient de donner un diplôme à tout le monde
Si la plupart des gens ne s’intéressent pas à l’apprentissage qui sous-tend le diplôme, mais seulement à l’emploi, on finit par avoir des étudiants qui ne se soucient que de la note de passage et du certificat final
Si les gens ne sont venus que pour jouer le jeu, on ne peut pas s’attendre à ce qu’ils apprennent
Cela dit, même si 90 % passent à côté de l’occasion qui leur est offerte, 10 % la saisiront et en tireront tout ce qu’ils peuvent
Si vous êtes à l’université, je vous recommande de profiter des connaissances proposées et des occasions d’interagir avec elles. L’université peut être ouverte à tous, mais ceux qui voient l’or qu’elle contient et apprennent vraiment sont une minorité chanceuse
Le jeu ne se résume pas au score final. Il y a bien plus à disposition
Je crains que les LLM aient déjà créé la première génération de développeurs incapables de fonctionner sans LLM
Utiliser un LLM pour une partie du travail ne me pose pas de problème, mais il faut pouvoir fonctionner sans lui
On ne peut pas mettre toutes les données dans des prompts d’IA, certains problèmes ne peuvent pas être résolus avec un LLM, et s’appuyer sur du code ou de la configuration générés pour des problèmes simples empêche de développer ses propres compétences
Je m’oppose fortement à la conclusion de Clayton selon laquelle « je n’ai jamais préféré voir le résultat d’un modèle génératif plutôt que le prompt d’origine. Le résultat a moins de substance que le prompt et manque de vision humaine »
Nous avons créé ceci avec l’IA, et je suis convaincu que, si vous n’êtes pas le créateur, vous ne voudrez pas voir l’entrée brute
https://www.youtube.com/watch?v=H4NFXGMuwpY
Les utilisateurs d’IA se diviseront en deux catégories : ceux qui utilisent l’IA comme un outil complet de bout en bout, et ceux qui l’utilisent comme un outil pour renforcer leur travail et leur créativité existants
Le second cas est clairement un excellent usage de l’IA
Cela pourrait peut-être forcer un changement majeur dans la façon d’évaluer les étudiants. Après la remise d’un essai, l’enseignant devra peut-être discuter du sujet avec l’étudiant pour vérifier ce qu’il a réellement assimilé
Ou, plus probablement à mon avis, les LLM ne feront que tout empirer
Cela arrive parce que l’enseignant pose aux étudiants des questions qui ne font que leur demander de répéter son propre texte
Pour enseigner correctement, il faut faire ainsi
« On a un petit bras robotique factice construit avec des Tinkertoys. Il possède trois articulations angulaires : une base rotative, une épaule et un coude, et chaque articulation dispose d’un rapporteur permettant de lire l’angle »
De cette façon, on comprend vraiment ce que ces problèmes signifient concrètement
Je ne connais rien à la robotique, mais cela ressemble à un exercice assez courant, du genre où un LLM pourrait recracher les devoirs de quelqu’un d’autre
Si un étudiant fait cela, le problème vient peut-être de lui ; mais si 90 % le font, c’est le devoir qui est mal conçu
J’ai déjà enseigné bien avant l’arrivée des LLM, et il y avait beaucoup de copies rendues faites de déchets copiés-collés
Je mettais toujours 0, sans parler de plagiat. Car traiter ça comme du plagiat aurait nécessité une procédure administrative universitaire
À la place, je me contentais de commenter : « On demandait X, et vous avez rendu un non-sens collé depuis ailleurs »
Tant que les sorties des LLM restent au niveau actuel, elles ne représentent pas vraiment une menace compétitive dans les devoirs
Si un étudiant est assez attentif pour réécrire dans sa propre voix, je considérerais même cela comme une réussite. S’il rend tel quel le déchet produit par un LLM peaufiné par RLHF par un sous-traitant d’étiquetage de données, il suffit de lui mettre 0
Les étudiants n’en ont rien à faire d’un billet de blog de 3 000 mots qui joue sur l’émotion ; ils choisissent le chemin de moindre résistance
Si vous n’êtes pas prêt à barrer tout le devoir et à écrire en gros rouge « conneries de ChatGPT, 0 » avant de le rendre, il faut vous demander quel est l’objectif du devoir au départ
Cela dit, je comprends. L’université est devenue un système où les étudiants paient pour obtenir un diplôme, et les professeurs ont perdu tout pouvoir d’appliquer le moindre standard ou la moindre discipline face aux administrateurs
Donc tout ce qu’ils peuvent faire, c’est donner la note minimale de passage à des déchets de ChatGPT, puis disserter sur leur philosophie dans un blog que les étudiants ne liront jamais
C’était une fraude manifeste. Par exemple, obtenir la bonne réponse avec un code incorrect
Mais je n’avais aucune intention de me lancer dans la procédure administrative de signalement de fraude ; j’ai simplement mis 0
Mettre 0 à une bonne réponse me semble mener tout droit à une réclamation ou à un appel réussi
Mais les idées nouvelles peuvent échouer, donc la plupart étaient plutôt mauvaises et recevaient de faibles notes
Ne sachant pas quoi faire, j’ai vite commencé à écrire mes dissertations sans lire les livres imposés, à partir de résumés Wikipedia et de critiques d’autres personnes
Après mes premiers A et A+, j’ai compris que même un texte original de niveau moyen, la moitié des gens est trop peu capable de le comprendre
Pour qu’une idée en littérature soit reconnue comme réellement intellectuelle, elle doit aussi séduire des gens qui ne se souviennent pas vraiment de ce qu’ils ont lu
Même chez les personnes cultivées et intelligentes, un océan d’informations semblables brouille la vue
L’objectif des devoirs de rédaction en cours ne devrait pas être de produire un texte, mais de faire réfléchir l’étudiant. Un modèle de langage peut faire le premier, pas le second.
Voir autant d’experts et d’universitaires très intelligents dans l’éducation et le monde académique ne pas comprendre cela est profondément désespérant.
Ils voient le travail comme une simple production de livrables, sans réfléchir à la manière dont le processus construit des connaissances, des compétences et de l’expérience.
Les étudiants qui s’y connaissent le moins se laissent entraîner par les LLM sans comprendre le but de l’écriture ou de la résolution de problèmes, ni les limites des LLM, et perdent ainsi des années.
Parfois, ils dépensent des centaines de milliers de dollars pour faire régresser leur cerveau et n’obtenir qu’un bout de papier, avant de se retrouver face au monde réel, où les problèmes sont bien plus ouverts et où la qualité de résolution des LLM chute fortement.
Ceux qui s’attaquent réellement aux problèmes par eux-mêmes et apprennent auront, à long terme, un avantage énorme.
Si tout ce qui nous intéresse est de déplacer du poids, alors oui, il faut utiliser un outil.
Mais on fait cet exercice pour l’effet qu’il aura sur vous. Si l’enseignant pose une question, ce n’est pas parce qu’il ne connaît pas la réponse.
Si je voulais apprendre et m’immerger dans les ressources, je pourrais économiser 60 000 dollars et le faire gratuitement en ligne, probablement plus efficacement.
Le but des devoirs de rédaction en cours est d’amener l’université à me délivrer un diplôme.
Apprendre réellement le contenu ne suffit pas à obtenir ce diplôme : il faut franchir les barrières mises en place par les professeurs et payer des frais de scolarité énormes.
Ce serait bien s’il existait un autre système permettant d’apprendre réellement puis d’obtenir une certification valable de cette employabilité, mais tant que les professeurs restent les gardiens de ce très convoité certificat d’employabilité, ce problème d’incitations continuera.
Quand j’étais jeune et qu’on m’a demandé d’écrire une dissertation sur « pourquoi les forces du bien gagnent dans Le Seigneur des anneaux », c’était en réalité une barrière destinée à vérifier si j’avais bien lu le roman.
Il y avait trois options : lire le roman et écrire moi-même la dissertation, trouver une dissertation déjà écrite, ou récupérer celle d’un ami comme modèle et la réécrire.
Avant Internet, trouver une dissertation déjà écrite n’était pas si facile, même s’il existait des recueils de dissertations sur des sujets courants, avec le risque de se faire prendre par le professeur ou que quelqu’un utilise la même source.
Les options A et C permettaient au moins d’apprendre quelque chose sur le roman et d’affiner ses compétences d’écriture.
Aujourd’hui, on peut demander à ChatGPT d’écrire une dissertation de quatre pages sur un roman dont on n’a jamais entendu parler, et en rester là. Le processus n’apporte aucune valeur.
C’est un exemple simple, mais il s’applique exactement de la même façon à la programmation. Un programmeur débutant dira qu’un LLM lui donne la capacité de s’attaquer à des tâches difficiles et à des langages qu’il ne connaît pas, mais il n’acquiert ni compétence ni connaissance grâce à cette expérience.
Si vous demandez à Google Maps de trouver un itinéraire de Prague à Bruxelles, il vous donnera une liste de virages pour atteindre votre destination, mais vous ne pouvez pas prétendre avoir appris la géographie de l’Allemagne au passage.
Je suis d’accord pour dire que la situation décrite par l’auteur est insatisfaisante, mais la responsabilité incombe en grande partie au système éducatif, et plus encore à l’auteur.
Avec ce genre de devoirs de rédaction, il est normal que les étudiants utilisent des LLM. Si leurs camarades les utilisent, ne pas le faire serait idiot.
Les éducateurs doivent revoir la manière dont ils enseignent et évaluent. Il est étrange que l’auteur ne le voie pas.
Les universités et les écoles doivent changer leur fonctionnement face à l’IA ; sinon, elles mettent les étudiants en situation d’échec.
Je sais que l’IA pose de nombreux problèmes potentiels et réels pour la société, mais si elle est correctement adoptée, elle peut aussi transformer positivement l’expérience éducative.
D’abord, les étudiants sont un public captif. Ils ne veulent pas être là, mais la loi les y oblige.
Même au-delà de l’enseignement obligatoire, c’est pareil : l’inertie les a poussés vers l’enseignement supérieur, sans qu’ils réalisent qu’ils avaient de vrais choix ou des alternatives.
Ensuite, beaucoup des compétences développées en cours sont en réalité inutiles.
J’ai passé beaucoup de temps en cours d’anglais langue seconde, mais ce qui m’a vraiment appris la langue, c’est l’utilisation d’Internet. Les cours d’anglais de la fin n’étaient qu’une façon de faire semblant d’être occupé.
Même dans les cours de langue maternelle, j’ai dû écrire pas mal de dissertations, mais la seule chose utile a été l’examen final de ce cours.
Depuis, je n’ai jamais écrit de « vraie » dissertation. Et même si je le faisais, je l’écrirais probablement en anglais, dans un autre style appris sur des forums.