Comment l’IA détruit les fondements institutionnels

• Les institutions centrales de la démocratie — l’État de droit, les universités et les médias — sont décrites comme des structures qui rendent possibles la coopération, la stabilité et l’adaptation
• Ces institutions conservent leur légitimité en poursuivant leur évolution et leur adaptation à l’intérieur d’une hiérarchie de l’autorité et d’un cadre de règles
• Les institutions fondées sur la transparence, la coopération et la responsabilité permettent aux individus de prendre des risques intellectuels et de contester l’ordre établi
• Or, le mode de fonctionnement des systèmes d’IA affaiblit, voire fait disparaître, ces caractéristiques institutionnelles
• L’IA entraîne l’érosion de l’expertise, le raccourcissement de la prise de décision et l’isolement entre les personnes, menaçant ainsi la pérennité des institutions civiques

---

Rôle et structure des institutions civiques

• L’État de droit, les universités et la presse libre sont présentés comme les fondements de la vie démocratique
  • Ils fonctionnent comme des mécanismes favorisant la coopération, la stabilité et l’adaptation au changement dans des sociétés complexes
• La véritable force des institutions réside dans leur capacité à évoluer et à s’adapter au sein d’une hiérarchie de l’autorité et d’un cadre de rôles et de règles
• Les institutions orientées vers un but, centrées sur la transparence, la coopération et la responsabilité, permettent aux individus de prendre des risques intellectuels et de remettre en cause l’ordre existant
  • Ce processus se déploie à travers les interactions humaines au sein des institutions, ce qui élargit les perspectives et renforce l’engagement envers des objectifs communs

Effets des systèmes d’IA sur les institutions

• Les caractéristiques fonctionnelles (affordances) des systèmes d’IA affaiblissent en continu les attributs essentiels des institutions
• L’IA provoque l’érosion de l’expertise, le raccourcissement des processus de décision et la rupture des liens entre les personnes
  • Cela compromet l’évolution, la transparence, la coopération et la responsabilité des institutions
• Les systèmes d’IA actuels sont décrits comme une “condamnation à mort” pour les institutions civiques
  • Ces systèmes fonctionnent dans un sens qui détruit la finalité et la durabilité des institutions

Conclusion

• Les systèmes d’IA sont présentés comme structurellement incompatibles avec les institutions civiques essentielles qui soutiennent la démocratie
• Il faut donc considérer l’IA comme un facteur de destruction institutionnelle et s’en méfier

[GN⁺]

Réactions sur Hacker News

• Je pense que l’IA est moins la cause qu’un mécanisme d’accélération d’un phénomène déjà en cours
  Les réseaux sociaux isolaient déjà les gens, et les bots IA accélèrent encore cela. Ils servent aussi à semer la confusion à des fins politiques, ce qui radicalise davantage les personnes
  Le système universitaire était déjà devenu un moyen de faire de l’argent, et les relations humaines existent toujours. L’IA ne change pas cela
  En revanche, l’IA provoque bien un manque de pensée critique. Les gens s’y fient au lieu d’explorer par eux-mêmes ou de penser de manière créative

  • Je ne suis pas d’accord avec cet avis. Verser de l’essence sur un tas de feuilles en feu ne veut peut-être pas dire que j’ai « démarré » l’incendie, mais c’est bien moi qui l’ai rendu incontrôlable
    J’ai l’impression que l’IA est en train de donner le coup de grâce à une structure déjà fissurée
  • Dire que « l’IA ne fait qu’accélérer des problèmes sociaux préexistants », c’est un peu comme dire que « l’addiction à l’héroïne ne fait qu’accélérer ce que la société faisait déjà »
    Il arrive que le catalyseur soit lui-même le problème. C’est pourquoi je pense qu’il faut des garde-fous à la fois pour les réseaux sociaux et pour l’IA
  • « Jeter de l’huile sur le feu » est sans doute la bonne expression. Et c’est en général une très mauvaise chose
    Si l’IA a aggravé la situation, alors c’est bien sa responsabilité si l’incendie est devenu incontrôlable. Si une petite étincelle embrase toute la forêt, c’est à cause du carburant
  • Je pense que le problème de fond, c’est le système capitaliste. Toute technologie est mobilisée pour « faire monter les chiffres », et les externalités sont traitées par l’impôt, sauf qu’en pratique il coûte moins cher d’acheter les responsables politiques
    C’est comme ça qu’on obtient des aliments sans valeur nutritive, une consommation vide de sens, des écoles qui ne font que soutirer de l’argent, et des réseaux sociaux saturés de publicité
    Je pense que, d’ici quelques années, le capitalisme actionnarial finira par se dévorer lui-même
  • Si des bots attisent effectivement le chaos social, alors les plateformes qui ne les bloquent pas sont complices
    Techniquement, bloquer les bots n’est pas difficile. Si elles laissent faire alors qu’une activité centrée sur les humains serait meilleure pour la confiance dans la plateforme et pour la réduction des coûts, on ne peut que soupçonner une collusion avec des forces politiques

• Dire que « l’État de droit, l’université et la presse sont les fondements de la démocratie » était peut-être vrai au XIXe siècle, mais plus aujourd’hui
  La presse est remplie de propagande, l’État de droit est soumis aux intérêts politiques, et l’université aussi est difficile à considérer comme fiable
  Quand on regarde le scandale Varsity Blues, on peut se demander si tout cela est vraiment un pilier de la démocratie

  • L’alternative actuelle à ces institutions, ce sont les réseaux sociaux, qui sont bien pires en matière d’exactitude, d’équité et de curiosité
    C’est pourquoi je pense au contraire que l’IA pourrait être un meilleur substitut. L’IA et les institutions pourraient être dans une relation de symbiose
  • Paradoxalement, les institutions actuelles sont peut-être dans le meilleur état de leur histoire
    On leur faisait davantage confiance autrefois simplement parce qu’on en savait moins ; aujourd’hui, à force de rechercher la perfection, on perd le « suffisamment bon »
    La défiance est une prison que nous avons construite nous-mêmes
  • La presse a toujours été de la propagande. C’est juste qu’avant, faute de médias alternatifs, on ne s’en rendait pas compte
    L’avantage de la démocratie, c’est une structure qui permet de débattre publiquement des problèmes et de les résoudre
  • Si tout cela est vrai, alors j’aimerais demander ce qui devrait constituer les nouveaux fondements de la démocratie

• Le lien de téléchargement de l’article est ici

  • Cet article est un brouillon non relu par les pairs. Les exemples cités, comme DOGE ou la FDA, sont aussi peu étayés
    En particulier, la critique de l’usage de l’IA par la FDA repose sur un article erroné. En réalité, elle est utilisée pour les rappels de produits
    Au final, cet article ressemble davantage à une tribune d’opinion
  • Il y a trop de fautes d’orthographe et de ponctuation pour qu’on puisse lui faire confiance
    Je partage l’idée que « l’IA est nuisible à la société », mais il manque une compréhension de pourquoi le grand public utilise l’IA
    Si la médecine, l’éducation et la presse ne remplissent plus leur rôle, il est naturel que les gens se tournent vers l’IA

• Le problème n’est pas l’IA, mais la structure de confiance des institutions humaines
  La plupart des institutions se sont maintenues sur une logique d’autorité, un peu comme des « castes sacerdotales », mais leur conception date d’avant la théorie des jeux, ce qui les rend vulnérables à la manipulation
  Désormais, les gens ne traitent plus les institutions comme des édifices sacrés, mais comme des structures qui peuvent se briser
  Par exemple, la récente campagne d’expulsions de l’ICE est le résultat d’une attaque Sybil contre la démocratie américaine menée par des forces politiques
  Explication de l’attaque Sybil

  • Dans ce cas, je me demande donc où se trouvent les multiples fausses identités

• Je reste sceptique face à ce genre d’hypothèses. La dégradation commence souvent avant la cause qu’on lui attribue
  Les réseaux sociaux ou Tinder ne sont pas tant la cause de la solitude qu’un accélérateur d’une tendance déjà présente
  Des technologies sociales comme l’État de droit, la presse ou l’université voient leurs failles exposées et exploitées depuis longtemps déjà

• Le titre « l’IA érode l’expertise » me semble étrange
  Si une consultation d’avocat coûte 500 euros les 30 minutes et que l’IA est presque gratuite, alors même avec une qualité à 80 %, le choix économique, c’est l’IA
  Il est vrai que l’IA transforme la société, mais lui faire porter toute la responsabilité est excessif. Les institutions elles-mêmes n’étaient déjà pas en bonne santé

  • Certains ont une vision négative parce que l’IA démantèle les structures existantes du savoir
    Avant, on dépendait des experts, mais désormais n’importe qui peut obtenir du savoir avec un abonnement IA
    La société se dirige vers un état d’entropie maximale. Dans une telle situation, on peut se demander comment se formeront les valeurs et le consensus
  • Au contraire, je pense que plus le sujet est important, plus je paierai pour un conseil fiable
    Un conseil juridique faux à 20 % est plus dangereux que pas de conseil du tout. Le problème commence quand même les avocats se mettent à dépendre de l’IA
  • Le problème de qualité vient de la différence de responsabilité en cas d’échec. Un avocat peut être poursuivi pour un mauvais conseil, alors que l’IA bénéficie d’une exonération de responsabilité

• Au fond, on dirait que les avocats ne commencent à ressentir le danger que maintenant. Les dix prochaines années verront tous les métiers du savoir lutter contre l’IA

  • Les avocats ont des raisons de s’opposer à l’IA non seulement pour survivre, mais aussi pour préserver la valeur essentielle du droit
    Le droit doit progresser en se réfléchissant lui-même, alors que l’IA tend à figer l’état existant. Cela entre en conflit avec l’esprit même du droit
  • « 12 Angry Agents », c’est bien trouvé
  • La tendance à balayer comme complotiste toute critique de la manière dont la technologie déstabilise la société est problématique

• J’ai déjà l’impression que les institutions ont été mortellement touchées
  Les réseaux sociaux et la consommation infinie de contenus affaiblissent la presse, paralysent la prise de décision et isolent les gens

  • Quand on dit que « les réseaux sociaux isolent les gens », on parle sans doute de doomscrolling
    En réalité, les réseaux sociaux peuvent aussi créer du lien. Même si, bien sûr, Facebook est peut-être une exception

• Pourquoi n’y a-t-il pas de défiance institutionnelle envers les dentistes ?
  Depuis les années 1990, les soins sont devenus bien plus confortables et ont amélioré la qualité de vie
  À l’inverse, d’autres experts disent surtout « si vous nous écoutez, ça ira juste un peu moins mal ». Pour gagner la confiance, il faut améliorer concrètement la vie des gens

  • Mais certains disent que les dentistes aussi perdent la confiance des gens à cause de surtraitements et de pratiques commerciales agressives
    Pour ma part, j’ai confiance dans les cabinets dentaires indépendants, mais j’ai du mal à faire confiance aux grandes chaînes
  • Moi non plus, je n’ai aucune confiance dans les dentistes. J’ai déjà eu affaire à des cas où l’on voulait gagner de l’argent avec des actes inutiles
    Au final, le problème, c’est une structure qui transforme le temps et les patients en argent. Les soins attentifs deviennent un privilège réservé aux riches