Les outils de codage IA freinent l’apprentissage des développeurs, selon une étude d’Anthropic

Résumé clé en une phrase
Les outils de codage IA peuvent aider ou nuire à l’apprentissage selon la manière dont ils sont utilisés. Poser activement des questions pour comprendre les concepts est essentiel, tandis qu’une délégation totale fait perdre à la fois en apprentissage et en vitesse.

Aperçu de l’étude

• menée par l’équipe de recherche d’Anthropic
• participants : 52 ingénieurs logiciels
• protocole expérimental : apprentissage d’une nouvelle bibliothèque Python (Trio) puis réalisation d’une tâche de codage
• groupe IA : utilisation d’un outil de codage IA basé sur GPT-4o
• groupe témoin : utilisation de la documentation et de la recherche web uniquement
• durée : environ 1 heure de travail

Principaux résultats

• groupe utilisant l’IA → score au quiz inférieur de 17 %
• même avec l’IA, la vitesse d’exécution n’a pas augmenté
• groupe sans IA → a rencontré plus de 3 fois plus d’erreurs liées à Trio → amélioration naturelle des compétences de débogage

Différences selon les modes d’usage de l’IA (découverte clé)

• mauvais schéma (moins de 40 % au quiz)
  • délégation totale à l’IA (génération complète du code, débogage entièrement confié à l’IA)
  • dépendance croissante au fil du temps
  • terminaison la plus rapide, mais effet d’apprentissage très faible
• bon schéma (65 % ou plus au quiz)
  • usage de l’IA uniquement comme outil d’aide à la compréhension
  • questions complémentaires après génération du code / demande d’explications sur les concepts / questions de vérification de compréhension
  • deuxième meilleure vitesse + résultats d’apprentissage élevés

Enseignements conclusifs

• le problème n’est pas l’usage de l’IA en soi → c’est la manière de l’utiliser qui détermine l’apprentissage
• l’« expérience frustrante d’être bloqué » est importante pour construire l’expertise
• quand l’IA prend en charge les erreurs à la place de l’utilisateur → le travail avance plus vite, mais la compréhension du « pourquoi de l’erreur » manque
• il existe un arbitrage entre productivité à court terme ↑ et développement des compétences à long terme ↓

Avis de développeurs de terrain (référence)

• positif : cas où un travail d’un an a été terminé en deux semaines, avec une vitesse multipliée par 10
• négatif : recommandation de ne l’utiliser que sur du code déjà compris ; risque de dette technique pour les juniors
• avis partagés : « le codage est terminé » vs « le passage de la création à la supervision est inconfortable »

Recommandations

• lors de l’apprentissage d’une nouvelle technologie : éviter la dépendance totale à l’IA et accepter volontairement les moments où l’on bloque
• pour les tâches où la productivité prime : usage actif de l’IA possible
• entreprises : nécessité de concilier pression sur les livrables des juniors et montée en compétences sur la vérification et le débogage du code généré par l’IA
• perspective future : les agents IA prendront en charge les tâches principales → les humains devront réserver du temps séparément pour étudier le code et les concepts

Limites de l’étude

• échantillon réduit (52 personnes)
• durée de travail courte (1 heure)
• utilisation de GPT-4o (modèle ancien selon les standards de 2025)
• capacité prédictive des scores au quiz sur les compétences à long terme incertaine

https://aisparkup.com/posts/8832

[mammal]

C’est comme réviser des exercices de maths avec le corrigé ouvert et en se contentant de les regarder. Sur le moment, on a l’impression d’avoir compris, mais dès qu’on referme le livre, il ne reste plus rien.

[tazuya]

Je suis 100 % d’accord.

[onestone]

Je suis tout à fait d’accord.

[aobamisaki]

Cela semble être un ensemble de résultats de recherche qui apporte une réponse claire à la question de savoir pourquoi nous ne devrions pas dépendre entièrement de l’IA, mais l’utiliser uniquement comme un « outil » d’assistance.

[power362]

S’ils l’avaient fait avec Opus, ils auraient sans doute sacrifié la progression, mais pas la vitesse.

[kimjoin2]

Je pense que l’étendue des connaissances qu’il faut maîtriser a changé.
De plus en plus, la partie bas niveau qu’il n’est plus nécessaire de connaître s’élargit.

[treestae]

Ces temps-ci, avec les modèles, j’ai l’impression que lire le code devient presque optionnel.

[hungryman]

Une année de travail est devenue deux semaines, alors pourquoi est-ce seulement 10 fois plus rapide..?

[tazuya]

Les deux cas sont distincts, mais le texte de l’article est rédigé de façon assez confuse. Si vous regardez le dernier lien de l’article, il s’agit des deux cas ci-dessous.

Un architecte logiciel avec 30 ans d’expérience en a fait un éloge appuyé, affirmant qu’il avait terminé en deux semaines une fonctionnalité qui lui aurait pris un an avec une approche traditionnelle. De son côté, Roland Dreier, contributeur au noyau Linux, a déclaré qu’« il y avait eu un bond énorme au cours des six derniers mois » et qu’il avait constaté un gain de vitesse de 10x sur des tâches complexes.

[snisper]

On a donc trouvé une raison pour laquelle les étudiants et les profils junior ne devraient pas utiliser l’IA.

[cshj55]

Si on ne les utilise pas, on ne peut pas se faire embaucher, non ?

[snisper]

Ne vaudrait-il pas mieux adopter la bonne stratégie d’usage de l’IA comme outil en en utilisant le moins possible pendant l’apprentissage, puis en l’exploitant activement au moment de chercher un emploi ? Avant comme aujourd’hui, il est rare que des amis débattent de façon critique d’un sujet entre eux, non ? On regarde surtout YouTube ou on essaie de trouver sur des blogs, mais quand on veut apprendre quelque chose, j’ai souvent constaté que le moyen le plus rapide est de l’expliquer soi-même.