Une enseignante à l’université recourt à la machine à écrire pour réduire les devoirs rédigés par l’IA
(sentinelcolorado.com)- L’introduction de devoirs à la machine à écrire manuelle oblige à écrire sans écran, sans dictionnaire en ligne, sans correcteur orthographique ni touche d’effacement, confrontant directement les étudiants à leur capacité à formuler eux-mêmes des phrases sans ordinateur
- Cette initiative est née du constat de la multiplication de devoirs grammaticalement impeccables produits grâce à l’IA générative et aux plateformes de traduction en ligne, et a conduit à réunir de vieilles machines à écrire manuelles pour faire ressentir l’expérience d’écriture, de réflexion et de classe d’avant le numérique
- En cours, des machines à écrire à clavier allemand et à clavier QWERTY étaient disposées côte à côte, et il fallait manipuler physiquement le chargement du papier, la pression sur les touches et le retour chariot, ce qui ralentissait tout le travail
- Les étudiants ont apprécié la réduction des distractions : sans écran ni notifications, ils ont davantage demandé de l’aide à leurs camarades et davantage échangé, tandis que l’absence de touche d’effacement les poussait à réfléchir plus intentionnellement avant d’écrire
- Les contraintes physiques elles-mêmes — fautes de frappe, espacements irréguliers, saisie lente — ont été acceptées comme faisant partie du processus d’apprentissage, en écho au retour des examens au stylo et sur papier et des examens oraux en classe
Introduction d’un devoir analogique en cours
- Grit Matthias Phelps, enseignante d’allemand à Cornell University, offre une fois par semestre à ses étudiants la possibilité de réaliser un devoir d’écriture à la machine à écrire manuelle
- Une manière de faire l’expérience de la frappe sans écran, sans dictionnaire en ligne, sans correcteur orthographique et sans touche d’effacement
- Le devoir figure dans le syllabus comme un exercice analog
- Ce devoir a été lancé au printemps 2023, motivé par la frustration face à des étudiants capables de produire des travaux grammaticalement parfaits grâce à l’IA générative et aux plateformes de traduction en ligne
- Avec cette remarque : « What’s the point of me reading it if it’s already correct anyway, and you didn’t write it yourself? Could you produce it without your computer? »
- Pour faire comprendre l’expérience d’écriture, de réflexion et de classe d’avant le numérique, elle a réuni des dizaines de vieilles machines à écrire manuelles via des magasins d’occasion et des places de marché en ligne
- Elle estime qu’il est encore trop tôt pour parler d’un retour massif de la machine à écrire au-delà de Cornell, mais y voit un écho au mouvement vers des modes d’évaluation plus anciens comme les examens en classe au stylo et sur papier ou les examens oraux, afin de freiner l’usage de l’IA dans les devoirs sur ordinateur portable
L’ambiance en classe le jour du cours analogique
- Lors d’un récent cours analogique, les étudiants sont entrés dans la salle en découvrant les machines à écrire posées sur les tables, certaines avec clavier allemand, d’autres avec clavier QWERTY
- Catherine Mong, étudiante de première année de 19 ans, a expliqué qu’elle n’avait absolument aucune idée de ce qui allait se passer et qu’elle n’avait vu des machines à écrire qu’au cinéma, décrivant leur usage comme « a whole science »
- Pour une génération smartphone, la machine à écrire manuelle était moins intuitive qu’elle n’en avait l’air, et Phelps a montré comment insérer le papier à la main et comment appuyer assez fort sur les touches pour imprimer les lettres sans les faire baver
- Elle a aussi expliqué que la sonnerie entendue en fin de ligne signalait la fin d’une ligne et qu’il fallait ramener manuellement le chariot pour commencer la suivante
- Un étudiant a réagi : « that’s why it’s called ‘return.’ »
- Phelps a expliqué que « tout ralentit », évoquant la sensation d’autrefois où l’on ne faisait qu’une seule chose à la fois, ainsi que le plaisir que cela pouvait procurer
- Elle a même amené ses enfants de 7 et 9 ans comme « tech support » pour vérifier que les étudiants ne sortaient pas leur téléphone
Moins de distractions et changement dans les interactions
- Les étudiants ont accueilli favorablement la réduction des distractions, et l’intérêt du devoir allait bien au-delà du simple apprentissage de l’usage d’une machine à écrire
- Ratchaphon Lertdamrongwong, étudiant de deuxième année en informatique, a expliqué avoir compris que la différence de la frappe à la machine à écrire ne concernait pas seulement l’interaction avec la machine, mais aussi la manière d’interagir avec le monde autour de soi
- Dans ce cours, il fallait rédiger une critique du film allemand vu en classe
- Sans écran, aucune notification ne vient perturber l’écriture, et comme il n’est pas possible de trouver instantanément toutes les réponses au bout des doigts, les étudiants se sont mis à demander de l’aide à leurs camarades, ce que Phelps a activement encouragé
- Lertdamrongwong a déclaré qu’il avait dû davantage parler et socialiser pendant la rédaction de sa dissertation, en contraste avec les salles de classe actuelles où les gens regardent constamment leur ordinateur portable ou leur téléphone
- Comme il n’y a pas de touche d’effacement et qu’on ne peut pas corriger instantanément toutes ses erreurs, cela l’a amené à réfléchir plus intentionnellement avant d’écrire
- Il a ajouté : « I was forced to actually think about the problem on my own instead of delegating to AI or Google search »
Les contraintes physiques de la machine à écrire et les réactions des étudiants
- La plupart des étudiants manquaient de force dans l’auriculaire pour faire de la frappe au clavier à l’aveugle, et tapaient plus lentement en utilisant leurs index
- Catherine Mong, étudiante de première année, faisait face à une difficulté supplémentaire : elle s’était récemment cassé le poignet et devait donc écrire d’une seule main
- Se décrivant comme perfectionniste, Mong s’est d’abord sentie frustrée par l’aspect brouillon de la page, avec des espacements étranges entre certaines lettres et des fautes de frappe
- Phelps a indiqué aux étudiants de revenir en arrière sur les erreurs puis de taper un ‘X’ par-dessus
- Mong a rendu un travail couvert de marques de crayon, qui n’avait rien de propre ni de fini en apparence, mais elle a accepté le fait même de faire des erreurs comme une part du processus d’apprentissage
- Mong a qualifié son devoir de dactylographie d’un poème de « fun and challenging », acceptant les espacements étranges et exploitant les limites visuelles de la page pour créer des retraits et des lignes fragmentées dans un style rappelant le poète E.E. Cummings
- Cela a nécessité plusieurs feuilles de papier et beaucoup d’erreurs, et elle a conservé tous les résultats
- Elle a dit qu’elle les accrocherait sans doute au mur, qu’elle était fascinée par la machine à écrire et qu’elle avait raconté à ses amis qu’elle avait passé un examen d’allemand à la machine à écrire
1 commentaires
Réactions sur Hacker News
Quand j’ai fait mon diplôme de Computer Science, la plupart des matières comptaient 50 % pour l’examen final et 30 % pour le partiel, et même les examens de programmation se faisaient à la main, sous surveillance des assistants, dans une salle de cours ou un gymnase
Les devoirs, labs et projets comptaient peu, mais sans les faire il était pratiquement très difficile de réussir l’examen de fin de semestre
Donc j’ai l’impression qu’on faisait déjà une éducation résistante à l’IA
Puis, au nom de l’alignement sur le processus de Bologne et d’une imitation des systèmes américain et britannique, une réforme universitaire a mis l’accent sur le contrôle continu et l’évaluation par devoirs
Résultat : les étudiants qui travaillaient en parallèle se sont retrouvés fortement désavantagés à cause des points de présence et de participation, et la triche de type devoirs faits par procuration, déjà possible avant les LLM, est devenue encore plus facile
Avant, seuls quelques étudiants avec de l’argent ou une famille d’experts pouvaient se le permettre, alors qu’aujourd’hui tout le monde peut le faire avec ChatGPT ; soudain tout le monde s’indigne, mais les réponses concrètes se résument à des détecteurs bidon ou à une simple hausse de la difficulté des devoirs, ce qui pénalise surtout les étudiants sérieux
En formation des enseignants, on attaquait l’ancien modèle centré sur les examens en le qualifiant de modèle napoléonien dépassé, mais s’il a duré aussi longtemps, c’est peut-être pour de bonnes raisons
Ce qui me paraît encore plus problématique, c’est l’incapacité générale à admettre aujourd’hui qu’on s’est trompé
Cela dit, la capacité à rédiger des articles ou tout simplement à bien écrire est vraiment importante, et j’ai le sentiment que beaucoup d’étudiants obtiennent leur diplôme sans l’avoir réellement apprise
Même dans les cursus de Computer Science aux Pays-Bas, la formation à l’écriture est faible, et j’ai souvent vu des étudiants dont le niveau en anglais ou en néerlandais restait à peine au niveau lycée
Moi-même, je n’ai appris à écrire correctement qu’au début de mon Ph.D., quand mon directeur de thèse m’a recadré avec beaucoup d’exigence
À long terme, je pense que l’IA peut avoir un effet positif sur l’éducation en apportant un apprentissage personnalisé
Il existe aussi des formes d’évaluation, comme l’oral ou l’examen écrit traditionnel, où il est difficile de tricher sur ses connaissances, et pour les enseignants l’automatisation des tâches de vérification est également une aide précieuse
Il y avait juste un peu de partie écrite, sur des sujets comme le subnetting, et l’essentiel de la note venait d’une configuration physique d’un réseau à réaliser puis à faire tester avant de partir
Le professeur avait saboté à l’avance trois endroits du réseau, et on avait environ 20 minutes pour trouver la cause et réparer
J’ai particulièrement retenu le coup du gros connecteur DIN légèrement desserré, juste assez pour qu’au premier regard tout semble normal
Dès le lycée, on utilisait des cartes perforées, et il fallait parfois 24 heures pour obtenir le résultat d’une compilation, ce qui obligeait à réfléchir très profondément au code
J’ai donc pris l’habitude de faire un desk check à la main, même sur des programmes de mille lignes, et ça m’a naturellement entraîné à améliorer la lisibilité et la simplicité pour repérer fautes de frappe et erreurs logiques
Parfois, je soumettais quand même une version corrigée en sachant qu’elle ne compilerait pas, juste pour faire apparaître d’autres erreurs cachées
À l’examen, on n’avait droit qu’à 4 à 6 tentatives, et il fallait obtenir à la fois une compilation propre et une sortie correcte
Aujourd’hui, plus de 40 ans après, le seul domaine où je retrouve une tension comparable est l’embedded code, et j’ai l’impression que beaucoup de ces compétences d’autrefois ont disparu dans une illusion de productivité
À l’université, ce que j’ai toujours trouvé le plus agréable et le plus gratifiant, ce sont les devoirs et projets
Ce qui est dommage, c’est qu’aujourd’hui ils sont bien plus vulnérables à la triche via l’IA
Je me souviens de l’époque où il y avait en maths le débat sur l’autorisation des calculatrices
Alors que la plupart des écoles les interdisaient, la nôtre a au contraire rendu la calculatrice obligatoire pour tout le monde et a adapté les devoirs et examens en conséquence
Au lieu de réponses entières qu’on pouvait faire de tête, on donnait des problèmes complexes où l’on ne pouvait savoir si la réponse était juste qu’en vérifiant la méthode de résolution, et l’usage de programmes TI-BASIC était autorisé aux examens
Plutôt que de bachoter, j’ai moi-même créé des programmes de résolution pour les types de questions susceptibles de tomber, et en apprenant à ma calculatrice à réussir l’examen, j’apprenais moi aussi
Cette expérience m’a mené à des études de Computer Science puis à une carrière dans le logiciel, et je reste reconnaissant envers ces professeurs qui voyaient les technologies récentes non comme des outils de triche, mais comme des amplificateurs de potentiel
Du coup, au lieu de se focaliser sur le blocage et la détection de l’IA, je me demande si les écoles ne devraient pas plutôt créer des devoirs qui exigent l’IA
Les étudiants vont vivre et travailler dans un monde où l’IA existe ; ils devraient donc apprendre à rédiger des prompts qui n’orientent pas vers une réponse prédéfinie, à vérifier les hallucinations, et à produire des résultats bien plus complexes qu’avant
Reproduire exactement l’éducation des générations précédentes me semble au contraire défavorable aux étudiants d’aujourd’hui
Ce que tu as appris en programmant ta calculatrice pour résoudre des problèmes, c’est justement parce que tu comprenais suffisamment la méthode pour pouvoir l’implémenter toi-même
À l’inverse, quand on confie la résolution à l’IA, on n’apprend généralement rien du tout, et les sujets d’examen sont souvent déjà assez bien définis pour ne même pas exiger beaucoup de prompt engineering
On peut se servir de l’IA pour acquérir des connaissances de fond, mais dans un examen cette approche n’a pas vraiment d’effet pédagogique
Si le vrai objectif est d’enseigner l’usage de l’IA, alors autant créer simplement un cours d’IA distinct
Une calculatrice ou un ordinateur d’occasion, on l’achetait une fois, mais l’IA risque fort d’exiger un coût permanent
Au final, je suis donc plutôt contre, parce que ça ne ferait sans doute qu’accentuer l’écart entre les familles aisées et les autres
Elle exécute simplement les opérations qu’on lui donne, alors qu’un LLM produit une sortie selon son propre jugement, et l’utilisateur doit être capable d’évaluer si ce jugement est correct
Cela suppose au préalable une vraie formation et de l’expérience
Pour cette raison, je vois les LLM non comme des substituts mais comme des amplificateurs pour experts, et je pense qu’il faut d’abord suivre un cursus solide sans LLM avant d’apprendre à les utiliser
Les calculatrices scientifiques avaient des circuits internes clairs, une structure de propriété claire, on les achetait et elles nous appartenaient, et on pouvait même les programmer avec un livre
L’IA, au contraire, rend dépendant de quelques entreprises de big tech, et l’utilisateur n’a presque aucun contrôle
S’il apparaît ensuite une logique de bait-and-switch, avec des prix qui montent une fois les gens devenus dépendants, il sera difficile de refuser
Donc considérer l’IA comme un outil pédagogique comparable à une calculatrice, c’est à mes yeux plutôt comparer des pommes et des oranges, et habituer gratuitement les étudiants à l’IA revient en pratique à renforcer leur dépendance future aux abonnements des big tech
Pour un élève, ses parents peuvent sembler être des experts qui savent presque tout, mais ils peuvent aussi parfois inventer, et l’élève n’a pas forcément les connaissances de base pour faire la différence. Les LLM sont similaires
Donc, de la même façon qu’on n’autorise pas les parents à écrire la dissertation à la place de l’élève, à faire le devoir d’arts plastiques à sa place ou à répondre aux questions de géographie pendant un examen, il est difficile d’autoriser l’IA sans limite
Avant, j’organisais mes cours avec 60 à 80 % de projets et 40 à 80 % de quiz en ligne
Maintenant, je suis passé à 50 % de projets et 50 % de quiz en présentiel, et je reviens à des examens au crayon sur papier avec une feuille de notes autorisée
Je me tourne de plus en plus vers un workflow centré sur le papier, par exemple en imprimant les articles à lire et annoter en cours
Ironiquement, la lenteur administrative de l’université et l’infrastructure existante aident plutôt ce virage
J’ai l’impression qu’à l’avenir, le diplôme universitaire pourra redevenir le signal d’une compétence réelle, et pas seulement d’une capacité à faire des prompts IA
En particulier, j’ai souvent constaté que lorsque les devoirs ordinaires ne sont pas surveillés, la qualité des travaux d’équipe est bien meilleure si l’évaluation individuelle se fait dans un cadre où l’on ne peut pas tricher
Tous les articles sensationnalistes relayés dans la presse me semblent surtout révéler le problème d’institutions paresseuses
Chez moi, presque tout se fait en présentiel, projets compris, et quand les étudiants apportent leur rendu je leur fais expliquer le code ligne par ligne en face à face
Mon établissement n’a pas encore vraiment changé son système d’examen, mais j’ai de petits groupes, donc ce type de vérification directe reste possible
Je me demande donc si tu rends vraiment les quiz assez difficiles pour que des étudiants n’ayant rien appris obtiennent moins de 20 à 40 % à l’examen
Si ce sont des QCM à quatre choix, alors même au hasard on a déjà une espérance de 25 %
L’un de mes cours prend exactement le contrepied : on est en licence, mais on nous demande un travail de niveau Ph.D. tout en s’attendant à ce qu’on utilise l’IA
Dans d’autres cours, il suffit de signaler qu’on a utilisé l’IA pour que ce soit acceptable, et dans d’autres encore, l’IA est immédiatement considérée comme de la triche
Dire que les règles varient beaucoup est encore en dessous de la réalité : c’est totalement disparate, et personne n’a l’air de connaître la bonne réponse
Personnellement, pour le moment, c’est en utilisant l’IA pour faire des choses au-delà de mon niveau que j’ai le plus appris ; j’ai même l’impression d’avoir plus appris ainsi qu’en étudiant intensivement pendant tout un semestre
J’enseigne dans deux universités au Japon et je donne aussi des conférences sur l’IA dans d’autres établissements ; l’impression générale est que professeurs et étudiants ne s’accordent que sur une chose : il n’y a pas de consensus
Faire produire des résultats complexes comme des textes, du code, des business plans ou de la musique était jusque-là efficace pour apprendre et mémoriser, et cela avait aussi un lien avec la vie réelle après le diplôme
Mais l’IA a transformé ce processus de production en raccourci, au point qu’un étudiant peut désormais rendre un résultat sans presque rien apprendre
En même temps, la valeur directe à long terme de compétences comme l’écriture, la programmation ou la planification est devenue plus incertaine
Les hypothèses qui soutenaient les méthodes pédagogiques classiques se sont donc effondrées, alors que les enseignants, les étudiants et l’administration restent encore attachés aux anciens cadres
L’IA est trop récente et évolue trop vite pour qu’on puisse parler de l’avenir avec assurance, mais à mon avis l’éducation doit changer en profondeur, et ce processus ne sera certainement pas simple
Quand on apprend l’arithmétique de base, la calculatrice raccourcit le parcours d’apprentissage et c’est donc de la triche ; en calcul différentiel, au contraire, elle devient nécessaire
Pour l’IA, c’est pareil : dans certains cours elle nuit à l’apprentissage, dans d’autres elle peut l’accélérer, donc des politiques selon le contexte me paraissent tout à fait raisonnables
Il y a de fortes chances qu’il n’ait pas encore les bases nécessaires pour ce type de travail, et qu’il lui soit difficile de juger par lui-même ce qui est exact dans ce qu’il apprend en ce moment
Les enfants à l’école doivent être encore bien plus perdus face à des messages contradictoires selon les enseignants
Ce que je trouve intéressant, c’est que si les gens rédigent leurs travaux dans Google Docs, on peut analyser assez facilement l’historique de vie du document
De ce que je comprends, ce n’est presque plus un document mais une sorte de journal d’événements : on voit ce qui a été tapé, à quelle vitesse, ce qui a été collé puis effacé
En théorie, on pourrait donc rejouer le processus de création du document pour voir comment il a été rédigé
Mais à l’ère de l’IA, même si l’on écrit à la machine à écrire, il peut être plus efficace de faire d’abord générer un brouillon par l’IA puis de simplement le retaper
Si l’on reçoit d’abord une version quasi parfaite pour ensuite se contenter de la taper, l’objectif de départ s’effondre de lui-même
Il existait autrefois des interfaces étranges pour brancher une IBM Selectric comme une imprimante, donc au fond la blague du Typing as a Service n’est pas complètement absurde
Il ne faudra sans doute pas une journée avant qu’un étudiant découvre comment faire manipuler l’écran par un LLM pour taper directement le document et même produire de fausses traces de révision
L’astuce se diffusera vite, et ces métriques seules deviendront de moins en moins utiles pour juger
J’ai déjà entendu parler d’un étudiant qui avait repris le texte d’un ancien étudiant, l’avait collé dans un nouveau document en modifiant juste un peu pour lui donner l’apparence d’un travail original, mais il n’avait pas supprimé l’historique dans le .docx remis, et il s’est donc fait prendre tel quel
Mais maintenant, je me dis que je devrais peut-être plutôt les restaurer et les utiliser
Je ne serais pas surpris de voir apparaître des LLM entraînés sur keylogger, capables d’imiter jusqu’au taux de fautes de frappe individuel et de se comporter comme un clavier USB
Je ne comprends pas bien pourquoi les gens disent qu’aujourd’hui les examens ne se font plus en présentiel ni à l’écrit
J’ai été diplômé assez récemment, et sur tout mon cursus je n’ai eu qu’un seul take-home exam, tous les autres étant des examens écrits surveillés en présentiel
Et même ce take-home unique était beaucoup plus difficile qu’un examen ordinaire, donc je ne l’ai pas trouvé plus facile
Ensuite, les professeurs n’avaient plus que deux options : soit laisser la triche se faire, soit inventer sans fin de nouveaux types de questions, et avec l’arrivée de l’IA j’ai l’impression que cette deuxième option est elle aussi pratiquement morte
Beaucoup d’écoles et d’universités sont passées à des systèmes en ligne, et même après le retour en présentiel elles n’ont pas abandonné les dispositifs mis en place à ce moment-là
J’ai obtenu mon diplôme en 2020, donc je n’ai pas tout vécu directement, mais à travers des amis enseignants et un frère diplômé quelques années plus tard, l’ampleur du changement me paraît énorme
On pouvait travailler à l’avance sans subir la pression extrême et l’apprentissage compressé typiques des examens en salle, et même s’ils étaient plus longs et plus difficiles, on pouvait prendre le temps de comprendre les notions manquées ; j’ai donc le sentiment d’y avoir davantage appris
C’est dommage que, comme souvent chez les humains, on finisse par détruire ce qui nous est bénéfique à force de mauvaises optimisations
La machine à écrire me paraît un peu trop extrême
À l’école, comme j’avais une écriture illisible, j’utilisais un AlphaSmart, et à mon avis un simple ordinateur portable sans accès internet suffit largement
En lisant ces commentaires, je me suis même mis à trouver les universités américaines un peu ridicules
Tous mes examens étaient en présentiel, et les notes reposaient à 100 % sur les examens
Des centaines de milliers, voire des millions de personnes ont obtenu leur diplôme comme ça et vivent très bien, donc je ne pense pas que les étudiants aient particulièrement été lésés
Les réactions du type « pas de labos ? » qu’on voit dans les réponses me paraissent au contraire assez étranges
On peut très bien garder les labos et les devoirs, mais au lieu de les intégrer directement dans la note finale, en faire une condition seuil pour avoir le droit de passer l’examen
Ce n’est pas que le modèle américain soit exceptionnel ; c’est simplement qu’il existe de meilleures façons de faire et qu’il y a des choses à apprendre ailleurs
Envoyer dans l’économie des diplômés qui n’ont acquis qu’un ensemble aussi étroit de compétences semble regrettable
À moins d’être dans une usine à diplômes en ligne, j’ai rarement vu des universités où il n’y aurait vraiment rien de tout ça
Des millions de personnes y candidatent, et d’innombrables étudiants étrangers viennent y étudier
Avec une machine à écrire, je n’arrive pas vraiment à écrire en réfléchissant comme avec un traitement de texte
Il faudrait probablement commencer par rédiger un brouillon à la main ; mais si ensuite la saisie n’est plus qu’une simple recopie, ce n’est finalement pas très différent du fait de recopier un texte généré par l’IA
Si de toute façon on écrit en classe et que le matériel est fourni par l’établissement, un Chromebook verrouillé me paraît moins cher et meilleur pour la rédaction
Si cette culture a disparu, ça ne me dérangerait pas qu’elle revienne
Quand j’étais à l’université, les notes étaient entièrement déterminées par un oral / une discussion avec le professeur
Tout le reste ne servait qu’à obtenir le droit de se présenter à l’évaluation
Dans une telle structure, j’ai même du mal à imaginer comment quelqu’un aurait pu tenter de tricher, et même si c’était très stressant pour les étudiants qui comptaient sur le bachotage, les échanges eux-mêmes étaient généralement excellents
Mais dans les cours de début de licence, on a presque toujours des centaines d’étudiants, donc ce serait difficile à faire fonctionner en pratique
En revanche, dans les cours de fin de cursus universitaire, ce serait vraiment envisageable, et j’aurais moi aussi aimé connaître ce type d’évaluation