- Une analyse de l’impact des LLM sur les contenus du web à partir de l’activité sur Stack Overflow après ChatGPT.
- L’activité sur Stack Overflow a diminué de 16 % à 25 % depuis ChatGPT.
- La baisse est plus marquée pour les langages les plus utilisés et les plus connus.
- Chiffres établis en comparaison avec des sites chinois et russes où ChatGPT est bloqué, ou avec des sites liés aux mathématiques, plus difficiles à remplacer par l’IA.
- Le nombre de votes sur les publications n’a pas changé, ce qui suggère que la qualité des réponses ne s’est pas améliorée.
- Cela signifie que la quantité de données générées par des humains diminue depuis l’arrivée de ChatGPT.
- Plusieurs problèmes peuvent en découler.
- La quantité et la qualité des ressources disponibles sur l’ensemble d’Internet pourraient diminuer, tout comme l’efficacité des données d’entraînement pour l’IA.
- Les données de ChatGPT étant détenues de manière exclusive par OpenAI, l’écart technologique entre les entreprises pourrait encore se creuser.
- Le champ d’exploration humaine pourrait se rétrécir, et le développement de nouveaux produits ou langages que l’IA n’a pas appris pourrait ralentir.
- Les écarts entre pays, entre niveaux de revenus et plus largement entre catégories sociales pourraient se creuser davantage, en particulier là où il est difficile de bénéficier des avantages des LLM.
- Une question à examiner pour construire un écosystème durable du web et de l’IA.
5 commentaires
On dirait qu’à mesure que les modèles de langage remplacent les échanges qui avaient lieu sur Stack Overflow, les connaissances partagées sur Internet via la communication entre personnes diminuent peu à peu. Si l’on reprend la métaphore de la cathédrale et du bazar, cela ressemble à une cathédrale monopolisée par quelqu’un, au sens strict du terme.
Ce qui m’inquiète, et le plus gros problème que j’ai personnellement constaté, c’est qu’on est en train de voir se produire ce que l’économie appelle « la mauvaise monnaie chasse la bonne ».
Avant l’arrivée de ChatGPT, pour faire approuver Google Ads, il suffisait, à la fin de l’année dernière, d’écrire environ 8 articles sur un blog. Maintenant, même en en écrivant deux fois plus, l’approbation est refusée pour manque de contenu ou contenu non valide. Et ce, même quand tous les textes ont été entièrement rédigés à la main.
Comme les blogs générés automatiquement par l’IA se multiplient, les critères d’approbation d’AdSense ont été relevés, et on ne sait pas du tout où cela s’arrêtera. Résultat, j’ai fini par abandonner l’idée d’obtenir l’approbation AdSense pour mon blog de critiques de films, sur lequel j’écrivais depuis presque trois mois.
Du côté de ceux qui contrôlent, comme ils ne peuvent pas distinguer si c’est de la « bonne monnaie » (du contenu écrit par un humain) ou de la « mauvaise monnaie » (du contenu créé par l’IA, ou créé par l’IA puis retouché), ils vont probablement continuer à relever les exigences. Au final, j’ai l’impression qu’on risque de revoir ce qu’on a déjà observé au début de l’année : des pages web générées automatiquement qui se retrouvent en tête des résultats de recherche Google.
J’ai plutôt tendance à voir cela positivement.
Les méthodes traditionnelles de recherche d’information exigeaient deux choses : « la capacité à saisir les bons mots-clés dans un moteur de recherche » et « la capacité à sélectionner, parmi les résultats, celui que je voulais vraiment ». La fatigue que cela générait était considérable.
Quand on veut simplement trouver du code pour faire quelque chose de simple, on suit parfois un résultat StackOverflow et on tombe sur trois ou quatre réponses avec du code. Parmi elles, certaines sont downvotées parce qu’elles reposent sur d’anciennes spécifications du langage et sont trop complexes ; d’autres sont bien acceptées, mais avec les montées de version elles ne fonctionnent plus correctement, si bien que dans les commentaires les gens expriment activement leur frustration et cherchent entre eux des solutions. Ce genre de situation arrivait plus souvent qu’on ne le pense.
Au fond, dans le grand contexte, depuis l’ère de l’information, il reste indispensable de disposer de « la capacité à extraire, dans le déluge d’informations, celles que je veux vraiment ». Mais j’ai l’impression que le nombre d’options qui nous sont proposées devient trop grand, au point que juger, trier et décider devient pénible et fatigant.
De ce point de vue, un grand modèle de langage bien entraîné peut fournir, avec une UX raisonnable, des informations allant des plus triviales que les gens recherchent souvent jusqu’à des informations d’un niveau un peu plus avancé ; je pense donc qu’une certaine division du travail devient au contraire possible.
Les informations très récentes, pour lesquelles il est difficile d’obtenir une réponse appropriée avec un LLM, ou les questions complexes où de nombreux contextes s’entremêlent de diverses façons, seraient alors prises en charge par des services de questions-réponses comme StackOverflow.
Cela dit, il reste selon moi une question essentielle : savoir si les LLM peuvent effectivement sélectionner et fournir au grand public des informations exactes, sur la base de fondements clairement établis.
Bien sûr, comme l’étude ne porte que sur quelques sites, elle est assez limitée et peut être fortement biaisée,
mais au final, l’idée qu’un écart technologique puisse se creuser à plusieurs niveaux me semble tout de même préoccupante.
Dans les commentaires, quelqu’un disait que « l’IA concentre les richesses en redirigeant vers les entreprises d’IA l’argent généré par la valeur des contenus produits par les gens »,
et je trouve que c’est assez juste.
Ah, les emojis ne s’affichent pas. Je compatis.