L’IA freine l’adoption de nouvelles technologies

• À mesure que les modèles d’IA s’intègrent au workflow des développeurs, ils encouragent ou freinent l’usage de certaines technologies
• Comme les grands modèles de langage fournissent des réponses biaisées en faveur de certaines technologies, une tendance apparaît à adopter en priorité celles que l’IA prend facilement en charge
• Même auparavant, les outils bien documentés et largement pris en charge étaient souvent privilégiés, mais le problème soulevé ici est que l’IA amplifie excessivement ce critère de décision

Écart de connaissances

• Les grands modèles de langage étant entraînés sur d’immenses jeux de données pendant de longues périodes, ils embarquent souvent, dès leur sortie, des connaissances déjà obsolètes
• Concernant les nouvelles technologies apparues après la date de cutoff de l’entraînement, l’IA ne peut pas apporter une aide adéquate
• Exemple : les principaux modèles d’Anthropic, d’OpenAI et d’autres ont une date de cutoff des connaissances située autour de 2023~2024
• À cause de cet écart de connaissances, les personnes qui veulent utiliser de nouvelles technologies subissent le manque de support de l’IA, ce qui retarde leur adoption
• Les technologies déjà présentes sur le marché disposent d’une base d’utilisateurs passionnés, ce qui accumule de la documentation, tandis qu’une technologie entièrement nouvelle génère beaucoup moins de documents ou de billets de blog, donc il est plus difficile qu’elle soit intégrée à l’entraînement des modèles
• Même lorsque l’IA offre en partie des fonctions de connexion à Internet, il faut souvent les demander explicitement, ou bien elles n’existent pas du tout
• Un manque de support IA pour une nouvelle technologie → moins d’utilisateurs et moins de contenu → moins de données d’entraînement pour les modèles → à nouveau moins de support IA : un cercle vicieux est possible
• Lorsqu’un développeur voulant utiliser un framework JavaScript récent cherche l’aide de l’IA, si le modèle ne peut pas fournir d’indications suffisantes, l’incitation à choisir une documentation plus ancienne ou des outils familiers devient plus forte

Influence du system prompt

• Certains modèles d’IA, comme Claude, montrent fréquemment une préférence pour React et Tailwind
• Exemple : même après avoir demandé à Claude d’« utiliser du HTML/CSS/JS vanilla », on observe qu’il propose du code React ou cherche à réécrire le code existant en React
• Dans le system prompt de certains modèles (ou dans des prompts fonctionnels non publics), certaines bibliothèques ou certains outils comme React, Tailwind, Mermaid, etc. sont explicitement mentionnés
• Dans un exemple réel de conversation, lorsqu’on demande l’usage de Svelte Runes, le modèle propose une alternative en React et finit par pousser l’utilisateur à accepter facilement React
• Comme les utilisateurs choisissent souvent la solution la plus simple (Path of least resistance), l’option par défaut proposée par l’IA influence fortement le choix technologique

Test

• Un test simple a été mené pour vérifier si les modèles d’IA recommandent React lorsqu’on leur demande de créer une nouvelle web app
  • Anthropic Claude 3.5 Sonnet : lors des trois essais, il a fourni des exemples de création de projet en React + Tailwind
  • OpenAI ChatGPT 4o : lors des trois essais, il a créé l’application en React + Tailwind et a proposé un aperçu via la fonction Canvas
  • Google Gemini 2.0 Flash : lors des trois essais, il a utilisé du HTML/CSS/JS vanilla, mais a recommandé d’utiliser React, Angular ou Vue
  • DeepSeek-V3 : il a proposé diverses combinaisons comme HTML/CSS/JS vanilla ou Node.js, Express.js, MongoDB, Bootstrap. En revanche, il formulait davantage une vue d’ensemble du projet qu’un code concret
• D’après ces résultats, Claude et ChatGPT privilégient fortement React + Tailwind, Gemini préfère HTML/CSS/JS mais recommande React, et DeepSeek présente la plus grande variabilité technologique, avec une qualité de sortie un peu plus orientée aperçu général

Retour d’expérience

• Les développeurs débutants, ou ceux qui créent des applications uniquement via des prompts, sont très susceptibles d’accepter tels quels les résultats de ChatGPT et d’autres outils
• Même si l’on choisit un autre framework, le modèle peut continuer à orienter vers React en raison de règles internes comme le system prompt
• Une ambiance peut s’installer où l’on choisit des technologies déjà réputées bien fonctionner avec l’IA, ce qui freine la diffusion de technologies nouvelles ou minoritaires
• L’auteur estime que les biais des grands modèles de langage agissent aujourd’hui dans le sens d’allonger la durée de vie des technologies populaires et d’élever les barrières à l’entrée sur le marché pour les nouvelles technologies
• Il est proposé que les entreprises d’IA publient explicitement des informations sur les biais technologiques de leurs modèles
• Pour de futures recherches, on pourrait par exemple comparer l’évolution dans le temps des system prompts contenant certaines technologies avec les tendances de téléchargement des packages afin d’en rechercher des corrélations. Toutefois, les variables étant nombreuses, le bruit risque d’être important

[Référence 1] La notion de « plateforme de chat IA la plus populaire » repose sur l’observation subjective de l’auteur
[Référence 2] Claude et ChatGPT, grâce aux fonctions artifact et canvas, fournissent aux utilisateurs des résultats faciles et immédiats, ce qui leur donne une influence particulièrement forte sur les débutants en développement ou les nouveaux utilisateurs

[iolothebard]

La polarisation entre les riches qui s’enrichissent et les pauvres qui s’appauvrissent disparaît…
Quand on crée un nouveau produit, il faut au minimum créer aussi un serveur MCP…

[bbulbum]

Même si cela semble paradoxal, j’ai l’impression qu’à l’ère de l’IA, développer sa capacité à apprendre par soi-même est une façon de renforcer sa compétitivité.

[aer0700]

Est-ce que ce n’est pas aussi le cas de Stack Overflow ?

[GN⁺]

Avis Hacker News

• L’IA n’empêche pas l’adoption de nouvelles technologies

  • Les nouvelles technologies ou les montées de version demandent du temps pour que les gens s’y habituent
  • C’est comme dire que Stack Overflow empêche l’adoption de nouvelles technologies
  • Les LLM sont réentraînés périodiquement pour des raisons commerciales
  • Les early adopters ne dépendent pas des LLM

• Éléments anticipés dans l’article sur OpenAI Codex

  • Les utilisateurs peuvent être enclins à accepter les réponses de Codex en partant du principe que les packages qu’il propose seront plus utiles
  • Manque possible de visibilité sur les nouveaux packages
  • Il peut suggérer des méthodes obsolètes pour des packages existants
  • Les développeurs open source peuvent être davantage incités à maintenir la compatibilité avec les versions antérieures

• Avis selon lequel les nouvelles technologies sont des déchets qui aspirent les données et les salaires

  • Les gens ressentent une fatigue vis-à-vis des nouvelles technologies
  • Il faudrait proposer quelque chose de nouveau qui n’aspire ni les données ni les salaires

• Avis selon lequel, si un LLM mentionne une technologie en particulier, il faut utiliser cette technologie

  • S’il ne précise pas de technologie, il faut clarifier le choix technologique et poser la question
  • Un LLM ne devrait pas avoir de préférences figées par la structure du prompt de son fournisseur
  • Un travail est nécessaire pour éviter des biais comme React
  • Inquiétudes concernant Anthropic, financé par des entreprises technologiques
  • Cela pourrait déterminer si le LLM reçoit des recommandations de AWS, Azure, GCP, etc.

• Avis selon lequel les LLM seraient utiles pour des langages comme Elm

  • À utiliser avec des agents capables de fonctionner dans une boucle d’évaluation

• Partage d’expérience sur l’usage de matplotlib pour la visualisation de données

  • L’IA fonctionne suffisamment bien pour demander des modifications de graphiques sans écrire de code
  • Impression que la porte se referme sur les nouveautés
  • Autres exemples comme Emacs lisp

• Question sur l’impact des LLM sur l’adoption de nouveaux frameworks et technologies

  • Les questions sur React obtiennent de bonnes réponses, mais pas celles sur les nouveaux frameworks
  • À mesure que davantage de développeurs dépendent des outils d’IA, l’adoption de nouvelles technologies pourrait devenir plus difficile

• Problème de préférence de génération de code dans Claude 3.5 Sonnet

  • Tendance à générer du code en React ou à convertir du code existant en React

• Exemple de développeurs utilisant les frameworks JavaScript les plus récents

  • Les outils d’IA ne parviennent pas à fournir des indications pertinentes
  • Un monde où Django et React sont considérés comme des choix évidents permet un développement d’applications web moins coûteux

• Exemple du standard MCP promu par Anthropic

  • Fournit de longs textes/MD optimisés pour que Claude puisse comprendre le protocole
  • Utile pour amorcer de nouveaux plugins/serveurs
  • Un standard vieux de quelques mois compte déjà des centaines d’implémentations