L’illusion des promesses sur le code assisté par l’IA : pourquoi l’explosion du « shovelware » n’a pas lieu

• Les affirmations récentes sur les gains de productivité des outils de codage par IA ont été vérifiées à partir des données, et en réalité ni la vitesse ni les livrables n’augmentent de manière visible
• Selon une étude de METR, les développeurs pensaient que les outils de codage par IA amélioraient leur productivité de 20 %, mais en pratique elle a baissé de 19 %
• Les nombreux slogans promotionnels ainsi que les affirmations exagérées d’une productivité multipliée par 10 par les entreprises et les développeurs ne se reflètent ni dans la réalité du marché ni dans les nouvelles sorties logicielles
• Aucun phénomène comparable à une explosion du Shovelware (applications produites en masse, logiciels de faible qualité) n’est observé, donc aucun changement visible n’apparaît
• Les exagérations sur la productivité de la part d’entreprises comme GitHub, Copilot, Cursor, Google et OpenAI, ainsi que de certains développeurs, sont utilisées à mauvais escient dans les investissements, les restructurations et la fixation des salaires
• Conclusion principale : « Tant qu’il ne sort pas réellement davantage de logiciels, l’affirmation selon laquelle le codage par IA rend les développeurs 10 fois plus efficaces est fictive » ; les développeurs ne doivent donc pas céder à la pression et doivent répondre avec des données

---

Introduction : des développeurs logiciels en colère contre le codage par IA

• Après de longues années comme développeur logiciel, l’auteur dit avoir construit sa fierté et son identité autour de la programmation
• Au début de l’adoption des outils de codage basés sur l’IA, il était enthousiaste, mais une étude récente (METR) l’a rendu sceptique
  • Il pensait personnellement que le codage par IA le rendait environ 25 % plus rapide, alors que l’étude METR conclut au contraire à 19 % de ralentissement
• L’étude montre que la perception qu’ont les développeurs de l’efficacité des outils d’IA est à l’opposé des données mesurées
• Ses propres expérimentations lui ont aussi fait sentir que l’usage de l’IA n’avait pas d’effet positif sur le temps réel de programmation

Vérification directe : expérimentation comparative aléatoire avec et sans IA

• Une méthode expérimentale a été appliquée pour mesurer, par unité de travail, la différence de temps (Delta) entre les cas avec IA et sans IA
• Les données recueillies pendant 6 semaines n’ont révélé aucune différence statistiquement significative
• Malgré un petit échantillon, une tendance montrant que l’usage de l’IA rendait en réalité le travail 21 % plus lent a été observée (le même chiffre que dans l’étude METR)
• S’il y avait vraiment eu un gain de 2x ou 10x, les données l’auraient montré clairement
• Le rêve actuel du codage par IA ne se matérialise pas et, en pratique, rien ne change

Entre attentes et réalité : pourquoi il n’y a pas d’explosion du Shovelware

• Si la révolution de productivité promise par le codage par IA était réelle, on devrait voir exploser toutes sortes d’apps, de services et de jeux
• Les messages marketing des nombreux outils de codage par IA pullulent (« Built to make you extraordinarily productive », etc.)
• Google, OpenAI, GitHub Copilot et d’autres affirment eux aussi que les développeurs sont 25 % plus rapides ou 10 fois plus productifs
• Mais dans les données réelles sur les nouvelles sorties logicielles (GH Archive, BigQuery, etc.), aucune forte croissance ni explosion n’apparaît
• Malgré la diffusion grand public du codage par IA depuis 2022, il n’y a pas de changement majeur dans le volume mondial de nouvelles releases et de nouveaux projets

Impact sur le marché et réalité des développeurs

• Des répercussions sociales apparaissent aussi dans l’industrie : stratégie AI-First, FOMO, licenciements massifs et baisse des salaires des développeurs
• Sur le terrain, les outils d’IA n’apportent pas de révolution de productivité
• Ni la courbe d’apprentissage ni la maîtrise des outils ne permettent d’expliquer un écart absolu de productivité

Conclusion : la nécessité d’un jugement lucide fondé sur les données

• Le point essentiel est de constater à partir des données qu’il n’y a à ce jour aucun changement dans le volume de nouveaux logiciels livrés
• Aucune preuve n’étaye l’affirmation selon laquelle l’IA aurait créé des développeurs 10x
• Les développeurs ne doivent pas céder à la pression et doivent choisir leurs outils en s’appuyant sur les données qu’ils ont eux-mêmes vérifiées

Réponses aux objections les plus fréquentes

1. « Si l’on maîtrise vraiment l’art du prompt, on devient un développeur 10x »

   • Si certains atteignaient réellement une productivité multipliée par 10, la production mondiale de nouveaux logiciels aurait plus que doublé
   • La preuve la plus importante n’est pas le discours, mais les résultats objectifs (apps, projets, etc.)

2. « Nous n’en sommes qu’au début, il faut du temps »

   • Des dizaines de milliards de dollars ont déjà été investis, et l’adoption est déjà en cours dans les équipes
   • Les décisions prises aujourd’hui ont un impact direct sur la vie réelle des gens

3. « Si on ne l’adopte pas maintenant, on sera distancé »

   • Même dans les données de GitHub Copilot, l’augmentation réelle de productivité liée à la montée en compétence reste extrêmement faible (taux d’acceptation de 29 % à 34 %)

4. « La qualité s’est améliorée, seule la quantité n’a pas bougé »

   • La qualité globale du secteur serait au contraire en régression, et les tests diminuent aussi
   • Si c’était vraiment un outil de développeur 10x, on devrait voir une déferlante de Shovelware

5. « Tout tourne autour des sites web, et aujourd’hui plus personne ne se soucie des noms de domaine. Les sous-domaines de plateformes comme Vercel suffisent »

   • Beaucoup d’utilisateurs continuent malgré tout de préférer des domaines individuels

6. « L’explosion des domaines en .ai (47 % cette année) = une augmentation réelle »

   • La hausse des nouveaux domaines s’explique seulement par le pivot des startups IA, pas par une explosion du nombre total de nouveaux domaines
   • Le volume total des domaines ne montre pas cela

7. « L’essentiel du développement se joue en dehors du code »

   • Dans les environnements de développeurs individuels ou de petites équipes, plutôt que dans les grandes entreprises, le code reste effectivement central
   • On ne voit toujours pas apparaître une hausse notable des nouveaux projets répondant à de petits besoins de codage du quotidien

Mot de la fin

• Les développeurs ne publient pas réellement davantage
• L’affirmation selon laquelle le codage par IA offrirait une productivité multipliée par 10 peut être réfutée par les données
• Il ne faut pas se laisser emporter par le FOMO et les récits marketing du secteur, mais évaluer à partir des résultats concrets
• Message de l’auteur : « Si vous ressentez la pression, montrez les données et les graphiques. Pour toute affirmation de productivité multipliée par 10, exigez les justificatifs. »