Organiser des examens universitaires à l’ère des chatbots

• Lors d’un examen du cours de stratégie open source, une méthode d’évaluation non traditionnelle a été mise en place afin d’encourager les étudiants à apprendre par eux-mêmes, avec accès libre à Internet et à toutes les ressources
• Les étudiants devaient choisir à l’avance s’ils utiliseraient ou non un chatbot ; en cas d’utilisation, ils étaient tenus d’indiquer les sources, les prompts et l’analyse des erreurs
• Sur 60 étudiants, 57 n’ont pas utilisé de chatbot, et leurs résultats ont globalement montré une tendance plus favorable au groupe sans usage
• Les étudiants semblaient réticents à utiliser des chatbots en raison de leur peur d’être accusés de triche et de leur perception des critères d’évaluation du professeur
• Le professeur s’appuie sur un fichier de « flux de conscience » (stream of consciousness) pour suivre le raisonnement des étudiants, et insiste davantage sur l’importance de renforcer leur pensée propre que sur l’usage des chatbots

---

Modalités de l’examen

• L’examen reposait sur des règles ouvertes : toutes les ressources et Internet autorisés, aucune limite de temps, discussions entre étudiants autorisées, possibilité de proposer soi-même des questions, etc.
  • Les étudiants pouvaient aussi choisir librement leur tenue d’examen, des habits traditionnels aux costumes humoristiques
• Cette approche visait à faire de l’examen un prolongement de l’apprentissage et à réduire la pression

Système de choix concernant l’usage des chatbots

• Chaque étudiant devait indiquer explicitement avant l’examen s’il utiliserait un chatbot
  • Option A : pas de chatbot ; toute utilisation est considérée comme de la triche
  • Option B : chatbot autorisé, mais chaque usage exige de fournir les sources, les prompts et une analyse des erreurs
• Les erreurs du chatbot étaient sanctionnées plus sévèrement que les erreurs humaines ; l’utilisateur devait donc assumer la responsabilité du résultat

Choix des étudiants et répartition des notes

• Sur 60 étudiants, 57 n’ont pas utilisé de chatbot
  • Groupe préférence personnelle : privilégie l’apprentissage autonome, notes de 15 à 19
  • Groupe non-utilisateur : n’aime pas interagir avec des chatbots, moyenne de 13
  • Groupe pragmatique : juge le chatbot inutile dans ce type d’examen, notes de 12 à 16
  • Groupe gros utilisateurs : la dépendance au chatbot crée de la confusion, avec pour la plupart des notes de 8 à 11
• Parmi les 3 étudiants ayant choisi d’utiliser un chatbot :
  • 1 a simplement oublié de l’utiliser
  • 1 s’en est servi au minimum pour vérifier des concepts
  • 1 a compliqué les choses avec une configuration LLM complexe, au point de moins bien comprendre (poser une question à un LLM, puis demander à un autre LLM de vérifier)
    • En discutant sans chatbot, il montrait pourtant une compréhension suffisante ; c’est la sortie du chatbot qui l’a au contraire empêché de mieux comprendre. Le chatbot lui a donc été nuisible

Perception générationnelle de la triche

• La plupart des étudiants ne font pas confiance aux chatbots ou craignent d’être soupçonnés de triche
• Certains redoutent même que les réponses générées automatiquement par Google soient perçues comme de la triche
• Le système universitaire actuel prévoit des sanctions sévères en cas de triche, pouvant aller jusqu’à 3 ans d’interdiction d’accès à l’université
• Le professeur se dit surpris, par rapport aux générations précédentes, de voir des étudiants réticents même à collaborer avant un examen

Expérimentation du fichier de « flux de conscience »

• Il a été demandé aux étudiants de consigner leurs pensées en temps réel pendant l’examen
  • Modifications et suppressions interdites, copie interdite, seules les URL autorisées
  • Utilisation de chatbot interdite, seuls leurs propres raisonnements devaient être notés
• 55 étudiants sur 60 l’ont remis, dont 24 avec succès via git-send-email
• Ces traces permettent de suivre le stress et le cheminement intellectuel des étudiants
  • Certains ont indiqué qu’en écrivant, leur compréhension du problème devenait plus claire et que leur anxiété diminuait
  • Le professeur s’en sert pour repérer des étudiants qui comprennent réellement mais s’expriment mal

Conclusion et philosophie éducative

• Le professeur prévoit de reconduire cette approche l’année suivante
• Pour les chatbots, c’est avant tout la capacité à les utiliser comme outil qui compte ; si on les maîtrise bien, ils ne sont pas forcément nécessaires
• Le vrai problème n’est pas la technologie, mais la destruction des infrastructures par l’ancienne génération et l’inefficacité des systèmes
  • L’introduction d’Outlook a dégradé l’expérience email, au point que les étudiants surnomment leur messagerie « le dossier spam du président »
  • Beaucoup d’étudiants ne connaissent même pas la différence entre Git et GitHub, conséquence d’un environnement dépendant de Microsoft
• Le professeur transmet à ses étudiants le message suivant : « Apprenez plus vite et plus profondément que ma génération », en insistant sur le progrès intergénérationnel dans l’apprentissage et la transmission de l’esprit critique

[GN⁺]

Réactions sur Hacker News

• Il y a 10 ans, les examens se faisaient à la main, sans Internet ni LLM
  Et cette méthode fonctionne encore très bien aujourd’hui. Si l’objectif n’est pas d’évaluer la capacité des étudiants à faire des recherches sur Google, il n’y a pas vraiment de raison de changer d’approche

  • Moi aussi, je reviens aux examens sur papier dans mes cours. Les appareils numériques sont interdits, et l’évaluation est répartie sur 7 petits quiz. J’ai réduit la part des projets à 50 %, parce qu’il est difficile de vérifier si l’étudiant les a vraiment réalisés lui-même
  • Le problème, c’est le manque de temps pour corriger. Il m’arrive de devoir parcourir 20 pages en 15 minutes. Du coup, je simplifie avec des QCM, des schémas et des exercices de calcul. Beaucoup d’étudiants ont aussi une écriture vraiment illisible, donc autoriser au moins une saisie simple dans un terminal pourrait être raisonnable. Et même si l’étudiant ne mémorise pas tout, le plus important est qu’il comprenne intuitivement où trouver la réponse
  • Les examens en open book ne sont pas nouveaux. On en voyait souvent aussi en mathématiques ou en biologie. Sans maîtriser les concepts de base, on ne réussit pas juste en cherchant sur Google. Il faut concevoir des examens qui évaluent davantage la pensée critique que la simple mémorisation
  • À l’université, il y a eu une période où l’on poussait fortement l’extension des cours en ligne. La qualité de l’enseignement a baissé et la valeur des diplômes s’est diluée. Je me demandais pourquoi une université publique cherchait à maximiser ses profits
  • Je pense que cette méthode finit par trop privilégier les tests de mémorisation. J’avais moi-même une bonne mémoire à moyen terme, donc je réussissais bien les examens, mais cela ne signifiait pas une vraie compréhension. Un système qui avantage seulement ceux qui ont une bonne mémoire n’est pas équitable

• J’ai l’impression que beaucoup d’étudiants n’arrivent pas à répondre à la question : « pourquoi faut-il apprendre ? »
  Après le diplôme, la réalité, c’est qu’il suffit souvent d’en savoir « juste assez pour ne pas se faire licencier ». À l’ère des LLM, ce seuil baisse encore. C’est justement pour cela que je pense qu’il faut revenir à des formes d’examen traditionnelles : examens manuscrits à livre fermé, oraux, suppression des devoirs à la maison, et à la place publication de milliers de questions avec leurs corrigés pour entraîner cette mémoire qui sert de base à la créativité

  • Pour moi, l’objectif de l’université n’est pas simplement de « ne pas se faire licencier », mais de contribuer à l’expansion des connaissances humaines. Or aujourd’hui, l’université est devenue un lieu qui produit des profils adaptés aux attentes des entreprises selon une logique de marché. Et beaucoup d’emplois sont peut-être en réalité des « bullshit jobs »
  • Il est aussi risqué de supposer que les étudiants pourront dépendre en permanence des LLM. Si l’abonnement montait à 1000 dollars par mois, pourraient-ils encore travailler ?
  • En Europe, les examens oraux et manuscrits étaient déjà courants depuis longtemps. C’est plutôt la culture de la notation des devoirs à la maison qui me paraissait étrange. À l’ère des LLM, la vraie question est encore davantage de savoir quoi apprendre
  • Désormais, la question éducative n’est plus « comment enseigner ? », mais « quel est le sens du travail et des compétences ? ». La société valorise davantage la performance visible que la compétence, et l’IA renforce encore cette tendance
  • Mon professeur d’électromagnétisme disait : « ne mémorisez pas les formules, comprenez les relations ». Mais je pense que la mémorisation des formules est justement le point de départ pour comprendre ces relations. La physique n’est pas seulement une affaire d’équations, c’est une discipline qui vise à comprendre la structure d’évolution des systèmes

• L’idée que « la plupart des étudiants ne veulent pas utiliser de chatbot » semble désormais fausse
  Je suis professeur à l’université, et le nombre d’étudiants dépendants des LLM explose. Je crains qu’on voie bientôt apparaître une génération incapable d’étudier sans LLM

  • Le professeur et l’étudiant cités dans l’article s’intéressaient probablement réellement à l’apprentissage, donc ils n’avaient pas besoin des LLM. Mais pour la plupart des étudiants, l’objectif est juste de valider, donc utiliser un LLM est rationnel. Moi aussi, dans une matière qui ne m’intéresserait pas, j’aurais sans doute utilisé un LLM
  • Ce cas relève selon moi d’un contexte d’examen très particulier, donc il est difficile d’en tirer une règle générale. Si la consigne est « vous pouvez utiliser l’IA, mais vous êtes responsables du résultat », les étudiants bien préparés n’auront pas forcément besoin de l’utiliser
  • Si l’usage des LLM est interdit à l’université, les étudiants apprendront à penser par eux-mêmes sous l’effet de cette contrainte. L’esprit critique est une compétence qui demande un entraînement constant
  • Si les LLM commencent à facturer leur vrai coût, une barrière de prix pourrait empêcher beaucoup d’étudiants d’y accéder
  • Le problème vient aussi du fait que Google a dégradé la recherche en la remplaçant par des boîtes LLM. La cause n’est peut-être pas le désir des étudiants, mais l’orientation imposée par les entreprises

• Un professeur a trouvé que les étudiants avaient une capacité d’empathie et une bienveillance étonnamment élevées. Son approche de l’IA, contrairement à celle de beaucoup d’autres enseignants, paraît très humaine

• L’idée de « permettre aux étudiants de discuter entre eux pendant l’examen » est intéressante
  Certains plaisantent en disant qu’il faudrait alors délivrer des diplômes par équipe. Et comme certaines entreprises recrutent déjà par équipe, ce n’est peut-être pas une si mauvaise idée

  • Auteur du message d’origine ici. J’enseigne Open Source Strategies. Le cœur du sujet, c’est la collaboration. Définir un problème, poser des questions et élargir sa compréhension à travers les réponses, c’est déjà une excellente forme d’apprentissage.
    Une autre méthode consiste à demander à l’étudiant 1 d’expliquer un concept, puis de l’enseigner à l’étudiant 2 en 20 minutes pour qu’il le comprenne. Ensuite, on évalue l’étudiant 1 à partir des réponses de l’étudiant 2. C’est une manière d’encourager une coopération responsable
  • Ce serait encore mieux avec une règle imposant aux deux étudiants de participer activement
  • Ce type de cours collaboratif semble être une réaction à la culture compétitive de l’école
  • Il y a aussi eu la plaisanterie cynique : « envoyons simplement tous les diplômes à OpenAI ». C’est une satire du fait que la valeur de l’éducation vacille

• La conception souple des examens de ce professeur est impressionnante. Il comprend ses étudiants, clarifie ses attentes et cherche à apprendre avec eux, ce qui est rare à voir

  • Auteur du message d’origine ici. La plupart des professeurs le sont devenus parce qu’ils réussissaient très bien les examens standards. Moi, à l’inverse, j’étais un mauvais élève. J’ai obtenu mon diplôme avec le minimum requis, puis j’ai construit une carrière dans l’open source, ce qui m’a ensuite permis d’être recruté comme professeur. Je suis reconnaissant envers ce parcours non conventionnel

• J’ai été surpris par l’idée que « les étudiants n’osent pas collaborer entre eux de peur d’être accusés de triche ». J’avais plutôt entendu dire qu’autrefois, la triche était omniprésente

  • J’enseigne en master, et ces dernières années environ 15 % des étudiants plagient ouvertement. Il est même arrivé que deux personnes rendent des copies identiques octet pour octet
  • Ce cours ne représente peut-être pas le comportement général de tous les étudiants

• J’ai trouvé que la manière d’enseigner de ce professeur relevait vraiment d’une approche réfléchie et équilibrée. Elle donne aux étudiants à la fois autonomie et responsabilité.
  La phrase « mon objectif est que vous appreniez plus vite et plus profondément que moi » m’a particulièrement marqué