Le « Slop » produit par l’IA me terrifie

• Exprime la crainte que l’intelligence artificielle s’arrête à son niveau actuel et que les humains cessent eux aussi de viser une meilleure qualité
• L’IA actuelle produit rapidement des résultats achevés à 90 %, mais il existe un risque de voir disparaître la culture de l’effort nécessaire pour atteindre les 10 % restants
• Inquiétude face au phénomène consistant à lancer tels quels des produits “assez bons” (good enough) et à les voir acceptés sans esprit critique par les consommateurs
• Les outils d’IA produisent en masse des résultats uniformisés, rendant de plus en plus difficile la création de logiciels originaux et porteurs d’un véritable artisanat
• Plus que le progrès technique, c’est le déclin de la qualité et de la créativité qui pose problème : si développeurs et utilisateurs deviennent indifférents, l’artisanat logiciel pourrait disparaître

---

Les limites du progrès de l’IA et le risque du niveau « assez bon »

• Si l’IA s’arrêtait à son niveau actuel, il existerait des modèles capables de construire presque entièrement un navigateur web ou un compilateur, sans jamais atteindre la perfection
  • Cela est comparé à une voiture autonome qui fonctionne dans la plupart des situations, mais échoue au moment crucial
• Si ces résultats achevés à 90 % continuaient d’être produits à la chaîne, on pourrait évoluer vers une société qui ne cherche plus à atteindre les 10 % restants
• Le cœur du problème n’est pas tant l’IA elle-même que l’attitude humaine qui considère que “c’est assez bien”

Le « slop » et la dégradation de la qualité logicielle

• L’auteur s’inquiète de la banalisation des résultats médiocres produits par l’IA (slop)
  • Il critique le fait que des applications ou contenus générés par l’IA soient jugés seulement comme étant « prêts à être lancés », sans véritable apprentissage ni compréhension de leur qualité réelle
• Même si des agents IA écrivent des applications, le problème est que ceux qui les pilotent peuvent les déployer sans comprendre la qualité du résultat
• Cette évolution conduit à une forme de « dropshipping » du logiciel, qui produirait des résultats encore plus bas de gamme qu’une production de masse façon IKEA

Uniformisation des outils d’IA et perte de créativité

• Des modèles comme Claude peuvent aider à apprendre de nouvelles technologies, mais ils tendent au final à converger vers des applications moyennes de style Next-React-Tailwind
• Même en essayant de créer avec l’IA une application originale (par exemple Paper by FiftyThree), le résultat finit en forme banale et sans inspiration
• L’IA gère mal la création hors des chemins balisés, ce qui devient une limite pour la fabrication de logiciels créatifs

Un problème centré sur l’humain et sur la structure de l’industrie

• Le « slop » n’est pas un phénomène nouveau : il est présenté comme un problème déjà issu de mauvaises décisions humaines et de structures d’incitation défaillantes
  • Chaises inconfortables, résultats de recherche pollués par le SEO, interfaces lamentables : tout cela est le fruit de choix humains
• Dans la culture « Move fast and break things », les applications façonnées avec soin disparaissent sous l’effet des copies gratuites des grandes entreprises et de la destruction du marché
• Les agents IA peuvent répéter ce processus encore plus vite, accélérant ainsi la disparition cyclique des bons logiciels

L’indifférence des utilisateurs et des développeurs

• Certains espèrent que les outils d’IA pourront réduire l’écart entre utilisateurs et développeurs
  • Sont cités en exemple les feuilles Excel complexes créées par des comptables ou les utilisateurs qui mettent en place des automatisations sur TikTok
• Mais ces utilisateurs créatifs peuvent n’être que des cas exceptionnels, et la plupart des gens pourraient rester indifférents aux problèmes techniques, à la vie privée ou à la qualité
• En fin de compte, si la société se satisfait d’un niveau « assez bon », l’artisanat et la culture du développement créatif pourraient disparaître
• Le texte se conclut sur ce constat désespéré : « même si notre artisanat technique meurt, personne n’en sera triste »

[GN⁺]

Réactions sur Hacker News

• Avec la généralisation des produits d’IA générative, il est regrettable que les gens ne regardent pas le monde dans son contexte historique
  L’impact de l’IA sur le monde ressemble aux transformations technologiques passées, et la manière dont le monde fonctionne ne change pas fondamentalement
  La plupart des produits et services ont sacrifié la qualité en se contentant de rester à un niveau « suffisamment correct »
  Comme pour des chaussures de randonnée qui n’ont besoin de tenir que 20 miles, il n’y a pas de raison d’acheter quelque chose de durable si cela suffit ; c’est pareil pour le logiciel
  La plupart des utilisateurs ne se préoccupent ni de sécurité, ni de vie privée, ni de maintenabilité, ni de robustesse
  Cette réalité n’a rien de nouveau et continuera ainsi

  • La plupart des utilisateurs ne s’en soucient pas tant qu’ils n’y sont pas confrontés directement
    Ce n’est qu’en cas de fuite massive de données ou de panne mondiale qu’ils se mettent en colère
    Ce sont précisément des exigences cachées (hidden requirements)
    Quand les exigences changent, le logiciel atteint ses limites, comme des bottes prévues pour 20 miles ne permettent pas d’en faire 35
  • Il semble y avoir une fausse dichotomie entre qualité et coût
    Il existe des produits bon marché et durables, tout comme des projets coûteux mais médiocres
    On peut donc se demander pourquoi il serait impossible de faire dès le départ quelque chose de peu cher et de bonne qualité
  • La plupart des entreprises qui fabriquent des produits haut de gamme en petites séries font faillite
    Parce que les gens ne veulent pas de dépenses d’investissement (capex)
    Presque personne ne veut acheter une voiture plus chère que sa maison ou des chaussures à 2 000 dollars
  • La nature même du capitalisme, qui consiste à satisfaire les exigences minimales au coût le plus bas et le plus vite possible, finit par produire un niveau de vie élevé
    Par exemple, la Ford Model T a démocratisé l’automobile en réduisant les coûts de fabrication
  • Le schéma historique des technologies génériques a toujours été similaire, qu’il s’agisse de l’imprimerie, de l’industrialisation, de l’automobile ou d’Internet
    La qualité a baissé, mais l’accessibilité a explosé, avant qu’un nouvel équilibre ne s’installe
    La haute qualité ne subsiste que dans des niches où elle est économiquement justifiée

• Il y a une peur de voir comment la civilisation va évoluer
  Les riches vont devenir plus riches, et beaucoup de gens risquent de perdre leur emploi et tout espoir
  Une société sans revenus n’est pas viable et risque fort de mener à la violence
  Il y a selon eux très peu de personnes au pouvoir capables d’empêcher cela

  • À la question « Qui pourrait l’empêcher ? », la réponse est personne
    Sont cités à l’appui Survival of the Richest de Douglas Rushkoff et une vidéo YouTube
  • Une vidéo de Reinhold Niebuhr est recommandée
    Certaines choses empirent, d’autres s’améliorent, et il est difficile de conclure à un bilan net positif ou négatif
    Chaque époque a ses propres problèmes à résoudre
  • La montée du populisme est vue comme une forme de changement sans violence, une tentative de modifier l’ordre établi
  • Ceux qui détiennent le pouvoir n’agissent pas par éthique ou lucidité, mais quand le coût de l’inaction devient plus élevé
  • Il est avancé qu’une course au développement de robots avancés est en cours pour éviter la violence

• Il existe des inquiétudes fondamentales au sujet des systèmes basés sur des LLM
  Mais ce type de préoccupation existait déjà avant les LLM
  Comme lors de l’offshoring passé, ce sont désormais des fermes de GPU qui produisent du code à la place des humains
  La différence, cette fois, est que l’investissement privé en a presque réduit le coût à zéro
  Mais la facture finira par être payée un jour

  • Autrefois, l’argent allait vers des pays à bas salaires et contribuait à leur croissance,
    alors qu’aujourd’hui il se concentre dans les pays les plus riches
  • Le coût de l’offshoring par IA n’est pas nul
    Des services comme ChatGPT font payer un abonnement, et les prix finiront probablement par s’aligner sur ceux de l’externalisation en Inde
  • L’expression « code spaghetti bon marché » est inappropriée car elle véhicule un préjugé racial
    La qualité du code n’est pas une question de race, mais d’investissement et de gestion

• L’IA générative s’inscrit dans le prolongement de l’industrialisation
  C’est un système conçu pour produire des choses aussi vite et aussi peu cher que possible
  Le « suffisamment correct » est devenu la norme, et l’accumulation de la dégradation de la qualité ne s’arrête plus
  Le système est devenu si vaste qu’il est difficile d’en changer la direction

• Dans l’univers des startups, la plupart privilégient la vitesse plutôt que l’artisanat
  Des slogans comme « Move fast and break things » sont devenus banals
  En réalité, la majorité ne s’est jamais vraiment souciée des 10 % finaux de qualité

  • La qualité logicielle était déjà en déclin bien avant les LLM
    Les LLM pourraient au contraire accélérer la correction des bugs
    Des problèmes auparavant laissés de côté avec un « les statistiques montrent que personne ne s’en soucie » pourraient être résolus plus vite
    • Tout logiciel qui réussit trouve un point d’équilibre entre bugs et utilité
      Atteindre 0 % de bugs est presque impossible, et les utilisateurs acceptent certains défauts pour obtenir les fonctions dont ils ont besoin
      Les LLM ne changent pas cet équilibre, mais pourraient réduire les occasions pour des concurrents de viser des niches d’utilisateurs
    • Les LLM ne sont pas la cause profonde ; ils ne font qu’accélérer un peu un système déjà incliné dans cette direction
    • Si de très petites équipes peuvent lancer de grosses applications, cela pourrait même conduire à une amélioration de la qualité

• À l’idée que « le savoir-faire artisanal pourrait mourir »,
  la réponse est que s’il reste des gens qui aiment encore cette compétence, elle ne mourra pas

• Les LLM ressemblent à une incarnation du principe de Pareto
  Si 1 % du temps permet d’obtenir 80 % du résultat, personne ne se soucie des 20 % restants
  Cela révèle la faiblesse d’une culture qui maximise la consommation plutôt que la qualité
  On voyait déjà ce phénomène avec les fermes à contenus, et on en observe maintenant l’aboutissement dans le gaspillage des data centers

  • Dans cette perspective, l’expansion des data centers ressemble à un gaspillage de ressources à l’échelle planétaire
    Elle accélère une culture qui a même perdu le sens de ce qu’est la qualité
  • « La qualité compte »
    Une manière de penser qui croit le contraire finira par se détruire elle-même
    Mais les humains étant irrationnels, il est impossible de savoir quand ce « finalement » arrivera

• Les États-Unis sont plus tolérants envers le « suffisamment correct »
  Le Japon, lui, ne sortirait même pas ce type de produit
  Par exemple, la série des Mario 3D de Nintendo atteint un niveau de finition qu’un studio américain n’oserait même pas imaginer
  Apple fait figure d’exception par son obsession de la qualité, alors que Microsoft est parfois jugé comme n’ayant « aucun goût »

• Il existe un fort mécontentement sur le terrain envers les développeurs qui abusent des LLM
  Ceux qui doivent relire ou maintenir du code généré par LLM voient leur charge de travail multipliée à cause de structures de code inhumaines
  Ils se croient « efficaces », mais en réalité ils font perdre du temps aux autres
  Beaucoup espèrent que cette situation prendra fin

• Si le texte vient de quelqu’un qui utilise un domaine japonais, cela le rend intéressant
  Les Japonais ont une plus grande patience vis-à-vis de la qualité, tandis que les Américains ont davantage tendance à se satisfaire du « suffisamment correct »
  Le fait qu’un produit haut de gamme comme ceux de Grado se vende alors qu’il est assemblé au pistolet à colle en serait un exemple