- Lors d’un examen du cours de stratégie open source, une méthode d’évaluation non traditionnelle a été mise en place afin d’encourager les étudiants à apprendre par eux-mêmes, avec accès libre à Internet et à toutes les ressources
- Les étudiants devaient choisir à l’avance s’ils utiliseraient ou non un chatbot ; en cas d’utilisation, ils étaient tenus d’indiquer les sources, les prompts et l’analyse des erreurs
- Sur 60 étudiants, 57 n’ont pas utilisé de chatbot, et leurs résultats ont globalement montré une tendance plus favorable au groupe sans usage
- Les étudiants semblaient réticents à utiliser des chatbots en raison de leur peur d’être accusés de triche et de leur perception des critères d’évaluation du professeur
- Le professeur s’appuie sur un fichier de « flux de conscience » (stream of consciousness) pour suivre le raisonnement des étudiants, et insiste davantage sur l’importance de renforcer leur pensée propre que sur l’usage des chatbots
Modalités de l’examen
- L’examen reposait sur des règles ouvertes : toutes les ressources et Internet autorisés, aucune limite de temps, discussions entre étudiants autorisées, possibilité de proposer soi-même des questions, etc.
- Les étudiants pouvaient aussi choisir librement leur tenue d’examen, des habits traditionnels aux costumes humoristiques
- Cette approche visait à faire de l’examen un prolongement de l’apprentissage et à réduire la pression
Système de choix concernant l’usage des chatbots
- Chaque étudiant devait indiquer explicitement avant l’examen s’il utiliserait un chatbot
- Option A : pas de chatbot ; toute utilisation est considérée comme de la triche
- Option B : chatbot autorisé, mais chaque usage exige de fournir les sources, les prompts et une analyse des erreurs
- Les erreurs du chatbot étaient sanctionnées plus sévèrement que les erreurs humaines ; l’utilisateur devait donc assumer la responsabilité du résultat
Choix des étudiants et répartition des notes
- Sur 60 étudiants, 57 n’ont pas utilisé de chatbot
- Groupe préférence personnelle : privilégie l’apprentissage autonome, notes de 15 à 19
- Groupe non-utilisateur : n’aime pas interagir avec des chatbots, moyenne de 13
- Groupe pragmatique : juge le chatbot inutile dans ce type d’examen, notes de 12 à 16
- Groupe gros utilisateurs : la dépendance au chatbot crée de la confusion, avec pour la plupart des notes de 8 à 11
- Parmi les 3 étudiants ayant choisi d’utiliser un chatbot :
- 1 a simplement oublié de l’utiliser
- 1 s’en est servi au minimum pour vérifier des concepts
- 1 a compliqué les choses avec une configuration LLM complexe, au point de moins bien comprendre (poser une question à un LLM, puis demander à un autre LLM de vérifier)
- En discutant sans chatbot, il montrait pourtant une compréhension suffisante ; c’est la sortie du chatbot qui l’a au contraire empêché de mieux comprendre. Le chatbot lui a donc été nuisible
Perception générationnelle de la triche
- La plupart des étudiants ne font pas confiance aux chatbots ou craignent d’être soupçonnés de triche
- Certains redoutent même que les réponses générées automatiquement par Google soient perçues comme de la triche
- Le système universitaire actuel prévoit des sanctions sévères en cas de triche, pouvant aller jusqu’à 3 ans d’interdiction d’accès à l’université
- Le professeur se dit surpris, par rapport aux générations précédentes, de voir des étudiants réticents même à collaborer avant un examen
Expérimentation du fichier de « flux de conscience »
- Il a été demandé aux étudiants de consigner leurs pensées en temps réel pendant l’examen
- Modifications et suppressions interdites, copie interdite, seules les URL autorisées
- Utilisation de chatbot interdite, seuls leurs propres raisonnements devaient être notés
- 55 étudiants sur 60 l’ont remis, dont 24 avec succès via git-send-email
- Ces traces permettent de suivre le stress et le cheminement intellectuel des étudiants
- Certains ont indiqué qu’en écrivant, leur compréhension du problème devenait plus claire et que leur anxiété diminuait
- Le professeur s’en sert pour repérer des étudiants qui comprennent réellement mais s’expriment mal
Conclusion et philosophie éducative
- Le professeur prévoit de reconduire cette approche l’année suivante
- Pour les chatbots, c’est avant tout la capacité à les utiliser comme outil qui compte ; si on les maîtrise bien, ils ne sont pas forcément nécessaires
- Le vrai problème n’est pas la technologie, mais la destruction des infrastructures par l’ancienne génération et l’inefficacité des systèmes
- L’introduction d’Outlook a dégradé l’expérience email, au point que les étudiants surnomment leur messagerie « le dossier spam du président »
- Beaucoup d’étudiants ne connaissent même pas la différence entre Git et GitHub, conséquence d’un environnement dépendant de Microsoft
- Le professeur transmet à ses étudiants le message suivant : « Apprenez plus vite et plus profondément que ma génération », en insistant sur le progrès intergénérationnel dans l’apprentissage et la transmission de l’esprit critique
Aucun commentaire pour le moment.