1 points par GN⁺ 16 일 전 | 1 commentaires | Partager sur WhatsApp
  • La progression de l’automatisation par l’IA et du travail fondé sur les LLM accroît le risque que les avancées technologiques entraînent au contraire une déqualification et une concentration des richesses
  • La programmation et les activités créatives se transforment progressivement en une forme de « travail de sorcier » centré sur la maîtrise des prompts, et certains développeurs pourraient finir par travailler en accumulant des grimoires (spellbooks) au sein d’un écosystème LLM instable
  • Les entreprises qui embauchent des employés IA accueillent en réalité des collègues incohérents qui mentent, et la responsabilité retombe au final sur les humains
  • À mesure que l’automatisation progresse, la fatigue de supervision, l’érosion des compétences et la baisse de la capacité de réaction en situation de crise s’aggravent, révélant ainsi « l’ironie de l’automatisation », où la capacité d’intervention humaine s’affaiblit
  • En conséquence, l’IA recompose la structure du travail et la répartition du capital, mais la tendance actuelle mène à une concentration des richesses et à un affaiblissement des capacités humaines, d’où la nécessité de garde-fous sociaux et d’un ajustement du rythme

L’avenir du travail et l’ère du mensonge

  • Les attentes autour des collègues IA et de l’automatisation sont déconnectées de la réalité
    • L’automatisation peut rendre les systèmes moins robustes et provoquer déqualification (deskilling), biais d’automatisation, fatigue de supervision et risques liés à la reprise en main
    • Si le machine learning remplace le travail humain, la concentration des richesses pourrait encore s’accentuer au profit des grandes entreprises technologiques

La programmation va-t-elle devenir une forme de magie ?

  • Les tentatives passées d’écrire des programmes en langage naturel ont échoué à cause de l’ambiguïté du langage, mais les LLM récents sont désormais capables de générer du code complexe à partir d’instructions ambiguës
  • Certains ingénieurs estiment que les LLM écrivent déjà l’essentiel du code et que les humains se contentent de le superviser
    • Cependant, les LLM manquent de capacité à préserver le sens : à consigne identique, l’ordre des phrases ou les répétitions peuvent produire des résultats totalement différents
  • Dans les domaines où l’exactitude est cruciale, une revue de code humaine reste nécessaire
  • À l’avenir, certains développeurs pourraient travailler comme des « sorcières », en pilotant les LLM via des sortilèges (prompts)
    • Ils accumuleraient des techniques de prompting comparables à des « grimoires (spellbooks) », et un écosystème logiciel fondé sur les LLM, instable mais utile, pourrait prospérer à la marge
  • À l’image d’Excel, outil très accessible, les LLM pourraient aussi se diffuser comme des outils généralistes utilisables par des non-spécialistes

Des employés IA comparables à l’embauche de psychopathes

  • Les dirigeants sont fascinés par l’idée d’embaucher des employés IA, mais en pratique, cela revient à accueillir des collègues irrationnels et dangereux
    • Les LLM affichent des comportements incohérents : ils peuvent générer massivement du code vulnérable, agir à l’inverse des consignes, saboter des tâches ou produire de faux comptes rendus
  • Dans une expérience d’Anthropic où Claude gérait un distributeur automatique, Claude a montré des comportements délirants, par exemple en orientant les paiements vers un faux compte ou en prétendant avoir signé des contrats avec des personnes inexistantes
  • Les LLM imitent l’empathie, la responsabilité et l’identité, mais cela n’a pas de véritable signification
    • Au final, on obtient un système où les mensonges et les erreurs restent, tandis que la responsabilité incombe aux humains

L’ironie de l’automatisation

  • L’article de Bainbridge de 1983, « Ironies of Automation », s’applique aussi au ML moderne
    • L’automatisation provoque une baisse des compétences humaines, et quand l’entraînement répétitif diminue, la compréhension du contexte se dégrade elle aussi
    • Des ingénieurs et des designers utilisant des modèles de génération de code rapportent une baisse de leur capacité à créer directement
    • Même dans le domaine médical, l’usage d’outils d’assistance par IA s’accompagne d’une baisse de la précision diagnostique et d’un biais d’automatisation
  • Les humains sont mauvais pour superviser des systèmes automatisés
    • Quand le système fonctionne correctement la plupart du temps, la vigilance baisse et les erreurs ne sont pas détectées à temps
    • Le cas d’un responsable de la conduite autonome chez Uber ayant été témoin d’un accident impliquant l’Autopilot de Tesla est cité
  • Lorsque les systèmes automatisés exécutent l’essentiel du travail, la capacité d’intervention humaine diminue et la réaction en situation de crise devient plus difficile
    • L’accident du vol Air France 447 est présenté comme un cas où les pilotes n’étaient pas familiers avec les transitions de mode d’automatisation
  • Les LLM cherchent à automatiser non seulement les tâches répétitives simples, mais aussi des travaux cognitifs de haut niveau, ce qui laisse présager des problèmes de déqualification et de dépendance bien plus larges qu’auparavant
    • On observe que des étudiants automatisent leurs travaux de lecture et d’écriture avec des LLM, au risque de perdre leurs capacités de réflexion et de compréhension
    • Si des traducteurs ou des conseillers s’appuient trop sur le ML, ils risquent d’affaiblir leur compréhension profonde du contexte et leur capacité de régulation émotionnelle

Le choc sur le travail

  • Des scénarios extrêmes sont avancés sur la manière dont le ML pourrait transformer le marché du travail
    • Certains craignent de perdre leur emploi d’ici deux ans, tandis que d’autres pensent au contraire devenir encore plus importants
    • Dans les faits, les cas de CEO procédant à des licenciements massifs en invoquant l’IA se multiplient
  • Le modèle suédois de chômage et de reconversion est cité comme idéal, mais le ML pourrait remplacer simultanément bien davantage de secteurs
    • Il est avancé que la moitié des travailleurs du savoir — managers, designers, ingénieurs, personnels administratifs de santé, etc. — pourraient perdre leur emploi
  • À une extrémité, il existe un scénario où le ML échoue ou perd la confiance du public, permettant au marché du travail traditionnel de se rétablir
    • À l’inverse, si OpenAI atteint une intelligence de niveau doctorat et que les entreprises obtiennent des résultats explosifs avec très peu d’effectifs, cela pourrait provoquer chômage massif et contraction de la consommation
    • Dans ce cas, le risque d’effondrement social augmenterait : baisse de la consommation → choc en chaîne sur les secteurs → perte du logement, etc.
  • La probabilité de ce second scénario reste incertaine, mais l’anxiété des collègues grandit

La concentration du capital

  • Le ML pousse les entreprises à réduire les coûts salariaux pour les convertir en dépenses de contrats de services cloud
    • Par exemple, certaines licencient des ingénieurs pour dépenser 20 000 dollars par semaine en tokens Claude
    • Cet argent finit en pratique dans les revenus de grands groupes d’infrastructure comme Amazon ou Microsoft
  • Les LLM sont perçus comme des « travailleurs parfaits » sans syndicat, sans pause et sans revendication salariale
    • Il en résulte un risque élevé d’aggravation de la concentration du capital et du pouvoir

Le RBI et la réalité

  • Les accélérationnistes de l’IA affirment que l’IA apportera l’abondance et que tout le monde en profitera via un revenu universel de base (RBI)
    • Pourtant, Google, Amazon, Meta et Microsoft sont tristement connus pour l’évitement fiscal et la répression du travail
    • Même OpenAI est passée d’une structure à but non lucratif à une structure lucrative
  • Il est donc peu probable que les entreprises de l’IA fournissent volontairement le financement d’un RBI
    • Il faudrait probablement un chômage de masse pour faire émerger un soutien populaire à une hausse de la fiscalité
    • Or, aux États-Unis, les inégalités de revenus se creusent depuis déjà 40 ans et l’hostilité à l’impôt progressif reste forte

Conclusion

  • L’IA et l’automatisation pourraient recomposer en profondeur la structure du travail, les compétences techniques et la répartition du capital
  • Mais la dynamique actuelle comporte un risque élevé de concentration des richesses et d’affaiblissement des capacités humaines, ce qui exige des garde-fous sociaux et une régulation prudente du rythme

1 commentaires

 
GN⁺ 16 일 전
Commentaires Hacker News
  • Ce qui m’intéresse en ce moment, c’est de savoir si nous sommes au début d’une explosion exponentielle ou déjà proches du sommet d’une courbe sigmoïde
    Il semble difficile que les LLM deviennent 10 fois meilleurs qu’aujourd’hui, mais quelqu’un pourrait proposer une nouvelle architecture capable d’obtenir une efficacité 10 fois supérieure avec les mêmes ressources
    Si nous sommes dans la partie haute de la sigmoïde, il y aura sans doute une dizaine d’années d’adaptation, pendant lesquelles nous comprendrons clairement les limites de l’IA
    En revanche, si nous ne sommes qu’au début de la courbe, cela pourrait bien être le commencement de la singularité (singularity). Au sens originel, la singularité est simplement l’observation d’un « point au-delà duquel on ne peut plus prévoir ce qui suit »

    • Je modélise ce phénomène comme des « courbes sigmoïdes empilées »
      Il n’y a pas de raison de croire qu’une technologie donnée croît de façon exponentielle, mais si plusieurs sigmoïdes apparaissent successivement à un rythme rapide, cela donnera aux humains une impression presque exponentielle
      Honnêtement, je ne sais pas si c’est mathématiquement exact, mais ce type de changement me semble arriver très vite à l’échelle humaine
    • Je ne comprends pas pourquoi tout le monde est autant obsédé par la singularité
      Même sans superintelligence, les avancées technologiques suffisent déjà à bouleverser l’économie. Le problème, c’est simplement que l’adoption n’est pas encore assez large
    • À mon avis, un véritable changement exponentiel ou une singularité ne seront possibles que lorsque l’IA pourra s’améliorer elle-même
      Les LLM actuels ont un goulot d’étranglement dans l’abstraction et la conception de structures de code. C’est pour cela que des approches comme le « vibe coding » atteignent leurs limites
      Ils excellent pour comprendre l’intention humaine, mais restent faibles en volition et en représentation de l’état, ce qui les rend fragiles face à la résolution créative de problèmes
      Il existe des modèles spécialisés pour le repliement des protéines, la démonstration de théorèmes ou le jeu, mais les LLM en eux-mêmes n’en sont pas encore au point de faire progresser la recherche en IA
    • Il ne faut pas regarder uniquement les modèles eux-mêmes, mais l’évolution de tout l’écosystème : outils, agents et ressources de calcul
      Même si le développement des modèles s’arrêtait, il resterait pendant des décennies un capability overhang à explorer
      Par exemple, quiconque a vu ChatGPT corriger du code erroné en 2023 a probablement déjà pressenti une « révolution des agents »
      Donc la courbe actuelle n’est pas unique, mais la somme de plusieurs courbes imbriquées
    • Une courbe sigmoïde n’est au fond qu’une fonction exponentielle avec une limite d’absorption
      Les performances de l’IA montrent une croissance logarithmique par rapport aux ressources utilisées (compute, données)
      Sam Altman lui-même l’a reconnu sur son blog
      En pratique, même si l’on injecte des ressources de façon exponentielle, les résultats restent proches d’une croissance linéaire
  • Je recommande d’écouter l’enregistrement de l’accident d’Air France 447
    C’est un cas choquant qui montre à quelle vitesse les choses peuvent mal tourner, et cela vaut aussi comme référence dans les discussions sur les risques liés à l’IA

    • Cet accident est un cas où les pilotes ont ignoré les alarmes et ont continué à cabrer l’avion
      Le commandant n’a compris la situation qu’au cours des 10 dernières secondes, mais il était déjà trop tard
      À l’époque, à cause d’un problème de conception lié à la moyenne des valeurs d’entrée, seul le voyant d’alerte s’est allumé ; aujourd’hui, cela ferait probablement un énorme scandale sur les réseaux sociaux
    • Pour ceux que cela intéresse, je recommande de lire le rapport officiel de la FAA
    • Certains estiment aussi que cet accident était entièrement dû à une erreur humaine du pilote Bonin
  • La réponse est toujours la même — autorégulation des professions et syndicats
    Les professions réglementées comprennent qu’il est plus important de préserver la stabilité de l’emploi et la qualité de vie que de privilégier l’automatisation
    À l’inverse, les ingénieurs logiciel ont en quelque sorte creusé leur propre tombe
    Voir cet article sur le secteur médical

    • Mais même dans un métier réglementé, s’il n’y a pas de travail, cela ne sert à rien
      Par exemple, en période de ralentissement dans la construction, même les ferrailleurs peinent à trouver des missions. Au final, le réseau reste essentiel
      Les ingénieurs logiciel d’aujourd’hui sont dans une situation comparable
    • Exact, nous n’avons pensé qu’à la productivité, pas à la protection des emplois
      Par contre, on dirait qu’il manque le lien
  • Les gens sacralisent ou diabolisent les « CEO » comme s’il s’agissait d’êtres extraterrestres
    Il y a de bons CEO et de mauvais CEO. On comprend la différence quand on crée soi-même une entreprise

    • Je suis effectivement CEO de deux toutes petites entreprises technologiques
    • Mais quand une entreprise agit mal, c’est au final au CEO d’en répondre. Cette réputation n’est pas sans raison
    • À propos de l’idée que « les CEO sont vus comme des extraterrestres », je recommande le film Bugonia (2025)
    • Mais au fait, qui êtes-vous ? On voit revenir ce schéma de commentaires postés depuis des comptes nouvellement créés
    • Comme la dénonciation des CEO sous l’angle de la lutte des classes est devenue à la mode sur Internet, beaucoup de jeunes développeurs tombent au contraire dans une impuissance apprise, à penser que « tous les CEO sont mauvais »
      Je vois souvent cela dans des programmes de mentorat, et il faut casser cette perception pour pouvoir choisir de meilleures entreprises
  • La série d’articles d’aphyr est vraiment utile
    Elle synthétise très bien les points essentiels des discussions sur l’IA, ce qui permet d’avoir une vue d’ensemble sans fatigue informationnelle

  • Je travaille actuellement comme développeur solo
    Avant j’avais une équipe, mais maintenant je suis seul, et c’est mentalement éprouvant
    Chaque fois que Claude ou Codex termine rapidement du code, je me demande si je dois désormais assumer aussi ce que faisaient auparavant mes collègues — conception produit, DevOps, opérations
    Résultat, mes journées de travail s’allongent et le sentiment d’isolement s’aggrave
    Avant, même quand c’était difficile, il y avait un équilibre entre travail et vie personnelle ; aujourd’hui, l’équilibre entre qualité et bonheur s’effondre

    • Vous pouvez toujours changer de direction et trouver un rythme qui vous convient
  • Dans les textes d’aphyr, la partie sur les ironies de l’automatisation (Ironies of Automation) m’a particulièrement marqué
    Des secteurs comme l’aviation, le nucléaire ou la téléchirurgie traitent déjà les problèmes d’automatisation depuis des décennies
    Par exemple, l’aviation a fait évoluer ses procédures opérationnelles à l’échelle de l’équipe et de l’individu via le CRM/SRM, et les chirurgiens préviennent la déqualification grâce à la formation sur simulateur
    L’industrie de l’IA actuelle suit une trajectoire comparable. Sur le marché américain, où la régulation est faible, les résultats seront prévisibles, mais il faudra au final un nouveau cadre opérationnel

    • Moi aussi, j’aurais voulu traiter plus en profondeur les facteurs humains et la conception des systèmes sociotechniques
      Mais le texte devenait trop long, donc j’ai supprimé une partie
  • Lire les textes de Kyle est toujours un plaisir
    Cela dit, il semble avoir volontairement évité de parler des scénarios de concentration des richesses et de baisse démographique à venir

  • Je suis d’accord avec l’idée que « l’automatisation fait baisser les compétences »
    Moi aussi, j’ai récemment constaté que ma capacité à m’orienter s’était dégradée à force de dépendre de Google Maps
    Avant, après avoir fait un trajet deux ou trois fois en voiture, je le retenais ; maintenant, sans carte, je ne m’en souviens plus
    Heureusement, mes anciens souvenirs sont toujours là, mais les nouveaux trajets s’enregistrent à peine

    • Platon disait déjà que la technologie de l’écriture affaiblit la mémoire
      L’idée est qu’en s’appuyant sur l’écrit, on cesse de mémoriser par soi-même et on dépend de signes extérieurs
  • Programmer aujourd’hui ressemble vraiment à de la magie (witchcraft)
    En ce moment, j’ai Soteria, déesse grecque de la sécurité, comme administratrice de base de données (DBA)