Comment les étudiants utilisent Claude

• Anthropic a analysé 1 million de conversations anonymisées issues de Claude.ai afin d’étudier comment les étudiants utilisent l’IA dans un véritable contexte éducatif
• Il s’agit de la première analyse à grande échelle d’usages réels, venant compléter les limites des études fondées sur des enquêtes ou des expériences

Résumé des principales conclusions

• Les étudiants en filières STEM sont les plus actifs dans l’adoption de Claude, et la spécialité Computer Science représentait à elle seule 36,8 % de l’ensemble des conversations (contre seulement 5,4 % des diplômes aux États-Unis)
• Les usages étudiants de l’IA se répartissent en quatre catégories : résolution directe de problèmes, génération directe de contenus, résolution collaborative de problèmes, génération collaborative de contenus
• La majorité des étudiants utilisent Claude pour des fonctions cognitives de haut niveau comme la création (Creating) et l’analyse (Analyzing)
• Cela correspond aux niveaux supérieurs de la taxonomie des objectifs pédagogiques de Bloom, ce qui peut susciter des inquiétudes quant à un affaiblissement de l’esprit critique lié à une dépendance à l’IA

Méthode d’identification des usages éducatifs de l’IA

• Un outil d’analyse interne appelé Clio a été utilisé pour classer les conversations avec Claude par sujet, supprimer les informations personnelles, puis agréger les résultats
• Sur 1 million de conversations, 574 740 ont été identifiées comme directement liées aux études ou à la recherche
• Clio a procédé à l’analyse en classant automatiquement les échanges dans des catégories de haut niveau telles que « débogage de code » ou « explication de concepts économiques »

Pourquoi les étudiants utilisent Claude

• 39,3 % de l’ensemble des conversations servent à générer ou améliorer des contenus éducatifs (par exemple : création d’exercices, édition d’essais, résumés, etc.)
• 33,5 % sont liées à la résolution de devoirs et à des explications techniques (par exemple : débogage de code, implémentation d’algorithmes, résolution de problèmes de mathématiques, etc.)
• Autres usages :
  • Analyse et visualisation de données : 11,0 %
  • Conception de recherche et développement d’outils : 6,5 %
  • Création de diagrammes techniques : 3,2 %
  • Traduction et correction linguistiques : 2,4 %

Comparaison des taux d’usage de Claude selon les disciplines

• Spécialités surreprésentées :
  • Computer Science : part des diplômes 5,4 % → part des conversations 38,6 %
  • Sciences naturelles et mathématiques : part des diplômes 9,2 % → part des conversations 15,2 %
• Spécialités sous-représentées :
  • Business : 18,6 % → 8,9 %
  • Health Professions : 13,1 % → 5,5 %
  • Humanities : 12,5 % → 6,4 %
• Les étudiants en STEM adoptent Claude rapidement

Analyse des types d’interaction étudiant-IA

• Quatre types d’interaction sont définis selon deux axes :
  • direct vs collaboratif (obtenir rapidement une réponse vs collaborer avec l’IA dans un échange interactif)
  • résolution de problèmes vs génération de contenus (obtenir une solution à une question vs produire un contenu comme un essai)
• Les quatre catégories représentent chacune 23 à 29 % de l’ensemble des conversations, avec une répartition relativement équilibrée
• Exemples positifs d’apprentissage :
  • explication de concepts philosophiques
  • création de supports pédagogiques en chimie
  • explication de concepts d’anatomie musculaire

Possibilités de triche avec l’IA

• Environ 47 % des conversations relèvent d’interactions directes, avec un risque potentiel de triche
  • Exemples : demande de réponse à un problème de machine learning, demande de correction d’un sujet d’examen, reformulation de phrases pour éviter le plagiat
• Même les échanges collaboratifs peuvent avoir une faible contribution à l’apprentissage
  • Exemple : demande de résolution d’un exercice de statistiques

Schémas d’interaction selon les disciplines

• Sciences naturelles et mathématiques : orientation vers la résolution de problèmes (par exemple : demande d’explication étape par étape)
• Computer Science, ingénierie, sciences naturelles : préférence pour les interactions collaboratives
• Humanities, Business, santé : équilibre entre interactions directes et collaboratives
• Sciences de l’éducation : plus forte part de génération de contenus (74,4 %)
  • Cela inclut des cas où des enseignants utilisent Claude pour créer des supports pédagogiques et des plans de cours

Analyse du travail cognitif délégué à l’IA par les étudiants

• Analyse des fonctions cognitives assurées par Claude sur la base de la taxonomie de Bloom
  • Part des tâches cognitives de haut niveau :
    • création (Creating) : 39,8 %
    • analyse (Analyzing) : 30,2 %
  • Part des tâches cognitives de niveau inférieur :
    • application (Applying) : 10,9 %
    • compréhension (Understanding) : 10,0 %
    • mémorisation (Remembering) : 1,8 %
• Le fait que l’IA générative puisse prendre en charge des fonctions de pensée de haut niveau est pédagogiquement significatif, mais peut aussi entraîner une baisse des capacités des apprenants

Limites de l’étude

• Les données reflètent probablement surtout des utilisateurs précoces
• L’usage d’autres IA que Claude n’est pas pris en compte
• Une partie des données peut provenir d’enseignants ou de personnels
• Les différences d’usage selon le moment du semestre ne sont pas intégrées
• L’analyse n’évalue pas si les réponses de l’IA contribuent réellement aux résultats d’apprentissage
• Les usages interdisciplinaires ne sont pas classifiés
• L’application de la taxonomie de Bloom à l’IA comporte des limites

Conclusion et pistes pour la suite

• L’IA offre de nombreuses possibilités pour l’apprentissage, mais pose aussi d’importants défis en matière d’esprit critique et d’éthique académique
• Questions clés :
  • Comment permettre aux étudiants de conserver des compétences cognitives fondamentales à l’ère de l’IA ?
  • Comment redéfinir les examens et les critères d’évaluation ?
  • Quel est le sens de l’apprentissage à une époque où l’IA peut rédiger des essais et résoudre des problèmes complexes ?
• Claude est déjà utilisé comme outil d’apprentissage significatif dans l’enseignement, et la collaboration avec les éducateurs devrait encore s’élargir

L’approche d’Anthropic pour l’éducation

• L’entreprise poursuit ses recherches sur le rôle pédagogique de l’IA en coopération avec des universités
• Elle expérimente un « Learning Mode » centré sur la compréhension des concepts plutôt que sur la fourniture directe de réponses
• Elle prévoit d’étudier plus en profondeur l’impact futur de l’IA sur l’apprentissage

[GN⁺]

Avis Hacker News

• La question de savoir dans quelle mesure les étudiants utilisent l’IA pour tricher revient souvent. C’est difficile d’y répondre, car on ne connaît pas le contexte pédagogique dans lequel les réponses de Claude sont utilisées
  • Des enseignants ont développé des produits populaires pour aider à résoudre ce problème
  • Il est très tentant de s’appuyer sur l’IA. Certains se souviennent avoir eu du mal à implémenter des structures de données complexes
  • Il est possible de copier-coller du code et de résoudre des problèmes grâce à l’IA. C’est impressionnant, mais cela peut nuire au processus d’apprentissage
  • Il semble qu’Anthropic ait intérêt à minimiser le fait que des étudiants utilisent les LLM pour faire leurs devoirs
  • Les étudiants utilisent souvent Claude pour obtenir des explications techniques ou des solutions
  • La « rédaction d’essais » peut être considérée comme une solution à un devoir académique
  • Il est probable que les étudiants qui utilisent des LLM pour terminer leurs devoirs le fassent depuis des comptes séparés
• Les étudiants utilisent principalement les systèmes d’IA pour apprendre de nouvelles choses
  • C’est une manière d’éviter le mot « triche » et de présenter positivement la créativité
  • Il est important de s’assurer que les étudiants ne délèguent pas à l’IA des tâches cognitives essentielles
  • Près de la moitié des conversations entre étudiants et IA servent à chercher des réponses directes
  • On cite par exemple la fourniture de réponses à des problèmes de machine learning ou de réponses directes à des questions d’examens d’anglais
  • Ces problèmes ne violent peut-être pas les principes de l’éducation, mais ils peuvent freiner l’apprentissage
  • Il y a 50 ans, des discussions similaires existaient déjà, comme si les calculatrices jouaient alors le rôle de l’IA
• Certains soupçonnent que cet article soit un élément de communication destiné à éviter un contrôle strict de l’usage des LLM
  • Au-delà de la triche, certaines disciplines nécessitent des sessions d’apprentissage continues
  • Le fait que des étudiants demandent de « montrer le travail et l’expliquer » peut être une preuve de triche
  • Si les étudiants confient leurs devoirs aux LLM, cela peut entraîner de graves problèmes de compétences
  • Même dans l’auto-apprentissage, la tentation de chercher la solution existe
  • Anthropic devrait reconnaître que les réponses à tous les textes sont désormais disponibles gratuitement et instantanément
  • Cela oblige à transformer en profondeur la manière d’enseigner
  • Même dans des domaines comme la musique, l’IA peut être utilisée pour éviter l’apprentissage
  • Il existe aussi un problème de notation sur courbe pendant cette période encore « transitoire »
  • Avec des professeurs paresseux ou qui refusent d’adopter de nouvelles méthodes d’évaluation, les étudiants honnêtes n’ont guère d’incitation à apprendre par la voie difficile
• Certains estiment que l’écriture n’est pas importante
  • L’écriture est l’expression de la pensée, et écarter la pensée peut poser problème
  • Si les étudiants n’apprennent pas à écrire en réfléchissant, cela peut avoir des conséquences négatives
  • Certains espèrent que davantage de personnes verront l’écriture comme une pratique qui met l’accent sur la pensée
  • Des outils sont en cours de développement pour prouver que les étudiants et les auteurs ont rédigé leurs textes de manière traditionnelle
• En tant qu’étudiant, certains se demandent comment éviter que les modèles de langage ne nuisent à leur apprentissage
  • Ils utilisent beaucoup Claude, téléchargent des diapositives et posent des questions
  • Ils ont de nombreuses conversations avec Claude pour résoudre des problèmes
  • Dans les cours de machine learning, la triche est un gros problème
  • Il arrive que des étudiants utilisent des LLM pendant des quiz pour trouver des réponses
  • Certains ont utilisé Claude pour vérifier les erreurs dans leurs devoirs, tout en se demandant s’ils n’auraient pas davantage appris en les corrigeant eux-mêmes
• Certains pensent que les étudiants utilisent souvent Claude comme substitut à l’acquisition de compétences fondamentales
  • Les conversations avec Claude semblent surtout aider les étudiants à résoudre des problèmes
• Il n’existe aucun moyen d’empêcher les étudiants d’utiliser plusieurs modèles d’IA, de mélanger les réponses, puis de les remettre à leurs enseignants
• Malgré les inconvénients matériels de l’éducation à l’ère de l’IA, certains envient les étudiants qui ont accès à ces systèmes
  • Certains ont connu des professeurs qui ne se souciaient pas de savoir si les étudiants comprenaient les supports de cours
  • Ils auraient aimé disposer des LLM modernes pour obtenir des explications de concepts sous d’autres angles