Les détecteurs d’IA sont-ils efficaces ? Des étudiants font face à de fausses accusations de triche

Des détecteurs d’IA accusent à tort des étudiants de tricher — avec de lourdes conséquences

• Environ deux tiers des enseignants déclarent utiliser régulièrement des outils destinés à détecter les contenus générés par l’IA. À cette échelle, même un faible taux d’erreur peut vite s’accumuler.

Le cas de Moira Olmsted

• Moira Olmsted, qui avait interrompu temporairement ses études au début de la pandémie pour fonder une famille, voulait ardemment retourner à l’université.
• En 2023, elle s’est inscrite à un cours en ligne de la Central Methodist University, mais un devoir qu’elle avait remis a été jugé comme potentiellement généré par l’IA par un outil de détection, ce qui lui a valu un 0.
• Olmsted a expliqué qu’elle était autiste et qu’elle écrivait dans un style formel, ce qui pouvait être confondu avec un texte généré par l’IA.
• Sa note a finalement été modifiée, mais elle a reçu un avertissement sévère indiquant qu’en cas de nouveau signalement, cela serait traité comme du plagiat.

Le problème de la précision des détecteurs d’écriture par IA

• Les meilleurs détecteurs d’écriture par IA sont très précis, mais pas parfaits.
• Businessweek a testé GPTZero et Copyleaks à partir de 500 essais de candidature à l’université soumis juste avant la sortie de ChatGPT.
• Ces services ont signalé à tort 1 à 2 % des essais comme ayant probablement été écrits par une IA.
• Les étudiants faussement signalés étaient plus susceptibles d’être neurodivergents, anglophones de seconde langue ou d’avoir appris à utiliser un vocabulaire simple et un style mécanique.
• Les services de détection d’IA peuvent aussi parfois être trompés par des outils automatisés conçus pour faire passer un texte d’IA pour un texte humain.

Le cas de Ken Sahib

• Ken Sahib, étudiant multilingue ayant passé la majeure partie de son enfance en Italie, dit s’être senti « submergé » lorsqu’il a reçu un 0 pour un devoir de synthèse de lecture dans un cours de réseau au Berkeley College.
• Le professeur a affirmé que tous les outils arrivaient au même résultat et que le texte avait été généré par l’IA.
• Sahib a finalement validé le cours, mais l’incident a détérioré sa relation avec le professeur.

Les problèmes liés à l’usage des détecteurs d’IA

• Certains enseignants prennent leurs distances avec les détecteurs d’IA et essaient d’intégrer l’IA dans leurs cours, mais beaucoup d’universités et de lycées utilisent encore ces outils.
• Cela alimente dans les salles de classe une anxiété et une paranoïa généralisées face aux fausses accusations.
• Des étudiants de premier cycle disent consacrer énormément de temps à défendre l’authenticité de leur travail, ce qui dégrade leur expérience d’apprentissage.
• Ils disent aussi craindre d’utiliser des services courants d’aide à la rédaction par IA et des correcteurs grammaticaux, souvent commercialisés spécialement auprès des étudiants.

Les startups des détecteurs d’IA

• Les détecteurs d’écriture par IA examinent généralement la perplexity, qui mesure la complexité des mots dans un texte remis.
• Les entreprises de détection d’IA insistent sur le fait que leurs services ne doivent pas être traités comme juge, jury et bourreau, mais comme des points de données servant à guider et informer les enseignants.
• Copyleaks donne aux étudiants accès au service afin qu’ils puissent voir leur propre score d’IA.
• Turnitin élargit son portefeuille de produits IA avec un service destiné à aider les étudiants à montrer le processus par lequel ils ont construit leurs travaux écrits.

Comment les étudiants réagissent

• Après avoir été signalée, Olmsted est devenue obsessionnelle pour éviter une nouvelle accusation. Elle s’enregistrait en train de faire ses devoirs sur son ordinateur portable et travaillait dans Google Docs pour suivre les modifications et créer une trace numérique.
• Nathan Mendoza, étudiant de troisième année en génie chimique à l’UC San Diego, utilise GPTZero pour vérifier préventivement ses propres travaux. Il dit passer l’essentiel de son temps à reformuler ses phrases pour éviter d’être faussement signalé par les détecteurs d’IA.
• D’autres étudiants ont accéléré ce processus en utilisant des services d’« humanisation de l’IA », capables de réécrire automatiquement leurs travaux pour franchir les détecteurs d’IA.

Les services d’« humanisation de l’IA »

• Selon le test de Bloomberg sur Hix Bypass, un essai rédigé par un humain que GPTZero avait faussement évalué comme étant généré par l’IA à 98,1 % a vu ce taux chuter fortement à 5,3 % après modification par ce service.

Le problème de l’usage d’outils d’aide à la rédaction comme Grammarly

• Les étudiants en viennent à reconsidérer l’usage d’outils populaires d’aide à la rédaction en ligne comme Grammarly.
• Bloomberg a constaté qu’utiliser Grammarly pour « améliorer » un essai ou lui donner un ton « académique » pouvait faire basculer un texte initialement reconnu comme 100 % humain en un texte jugé 100 % généré par l’IA.
• Kaitlyn Abellar, du Florida SouthWestern State College, dit avoir supprimé de son ordinateur les plugins de programmes comme Grammarly.

Un système actuel non durable

• Pour certains enseignants et étudiants, le système actuel paraît non durable, à cause de la charge qu’il impose des deux côtés du bureau de l’enseignant et parce que l’IA est là pour rester.
• Adam Lloyd, professeur d’anglais à l’University of Maryland, déclare : « L’intelligence artificielle fera partie du futur, que cela nous plaise ou non », ajoutant que « vouloir isoler l’IA de la salle de classe ou empêcher les étudiants de l’utiliser est une mauvaise idée ».

L’avis de GN⁺

• Le problème des faux positifs des outils de détection d’IA peut avoir des effets graves, en particulier sur les étudiants neurodivergents, les apprenants de l’anglais et ceux qui utilisent un style simple. Les établissements doivent tenir compte de ces groupes et interpréter avec prudence les résultats des détecteurs d’IA.
• La course aux armements entre détecteurs d’IA et services d’humanisation de l’IA abîme la confiance entre enseignants et étudiants et n’apporte presque aucun bénéfice pédagogique. Chercher à intégrer l’IA dans les cursus pourrait constituer une meilleure approche à long terme.
• Plutôt que d’interdire des outils comme Grammarly, il pourrait être utile d’envisager des usages pédagogiques pour améliorer les compétences rédactionnelles des étudiants. Par exemple, les enseignants pourraient fournir une liste d’outils recommandés ou orienter vers de bonnes pratiques d’usage.
• Le fait que des entreprises comme Copyleaks et Turnitin essaient de développer des services plus favorables aux étudiants constitue une évolution positive. Mais il est préférable de traiter les cas suspects par une communication ouverte avec les étudiants plutôt que de dépendre excessivement de ces outils.
• Pour préparer un avenir où la coexistence entre l’IA et les humains sera inévitable, il est important d’enseigner aux étudiants un usage éthique des outils d’IA et de développer leur créativité ainsi que leur esprit critique. Cela nécessite des changements innovants dans les cursus et les modes d’évaluation.

[GN⁺]

Avis Hacker News

• Fort de 30 ans d’expérience à enseigner les mathématiques dans le supérieur, la triche est omniprésente lors des examens à distance. La solution serait d’interdire l’usage de la technologie et d’exiger des examens en présentiel, mais les étudiants ne s’inscriraient pas aux cours. Je pense qu’un conseil de l’enseignement supérieur devrait l’imposer pour tous les cours. Mais les examens en présentiel ne suffisent pas à eux seuls. Les étudiants se sont habitués à travailler pour valider plutôt que pour apprendre, et la triche augmente. L’enseignement primaire et secondaire doit aussi évoluer.

• L’IA est là pour durer, il faut donc de nouvelles façons d’évaluer les performances des étudiants. Autrefois, les calculatrices étaient interdites aux examens parce qu’on ne pouvait pas les utiliser, alors qu’aujourd’hui nous vivons à une époque où l’on a une calculatrice 24/7. Il faut s’adapter au changement et décider collectivement, en tant que société, comment y répondre.

• Le problème, c’est qu’on n’explique pas à l’étudiant pourquoi l’IA a signalé son travail. Un algorithme devrait pouvoir expliquer précisément pourquoi il a signalé un travail donné. Les solutions actuelles basées sur l’IA ne peuvent pas le faire, donc elles ne sont pas appropriées.

• Le professeur d’un élève a averti qu’il ferait passer toutes les dissertations dans un logiciel de détection d’IA, mais ce message d’avertissement lui-même s’est révélé avoir été généré par une IA.

• En tant que consultant dans un grand hôpital universitaire, j’utilise ChatGPT pour rendre mon anglais plus concis et plus orienté business. Les détecteurs d’IA peuvent fonctionner, mais ils ne sont pas plus utiles qu’un correcteur orthographique. L’IA n’est qu’un grand modèle de langage, et en fait pas vraiment un modèle. Les enseignants devraient être de bons détecteurs de mensonges.

• Si la détection de l’IA n’est pas fiable à 100 %, alors elle n’est pas adaptée pour juger l’avenir de millions d’étudiants et de jeunes. Il faut sortir de la technologie ou du format dissertation. Les critères de maîtrise d’un sujet doivent changer.

• Identifier un travail généré par IA peut être facile pour un humain, mais difficile à programmer pour un ordinateur. Dans mon précédent emploi, en travaillant sur des détecteurs de plagiat, j’ai compris à quel point ils peuvent être facilement trompés.

• Il est contradictoire qu’un enseignant utilise un détecteur de LLM pour faire échouer un étudiant. L’enseignant reproche à l’étudiant de ne pas avoir compris le devoir, alors que lui-même ne comprend pas la décision de l’outil et esquive sa responsabilité.

• Dans l’école de mes enfants, ils ont installé des scanners d’armes alimentés par l’IA, mais ceux-ci identifiaient les ordinateurs portables Lenovo fournis par l’école comme des armes. On achète et on fait confiance à des produits IA, mais ils ne fonctionnent pas correctement.

• Il est surprenant de voir à quel point les gens en sont venus à faire confiance aux algorithmes. Ils ne savent pas comment cela fonctionne, ne peuvent pas l’expliquer, mais croient simplement que ça marche. Si quelqu’un est déclaré tricheur, il ne peut plus rien faire. Beaucoup de gens ne prennent aucune responsabilité. Autrefois, on pouvait être soupçonné de triche, mais si on ne pouvait pas le prouver, cela n’avait pas d’importance. Aujourd’hui, il n’est même plus nécessaire de le prouver, parce qu’on croit qu’il existe un système.