AI 2040 et le culte de l’intelligence
(geohot.github.io)- La perspective selon laquelle l’auto-amélioration récursive mènerait immédiatement à un hard takeoff sous-estime les contraintes physiques et les goulets d’étranglement de la supply chain ; même des tokens de grande qualité ne permettent pas de transformer le monde matériel à volonté
- Pour produire du matériel complexe du niveau d’un téléphone mobile, il faut passer par des processus que l’intelligence ne peut pas raccourcir, comme les composants hors spécifications, les pannes aléatoires, la déformation des puces lors du refusion, ou les attentes liées au transport et à la production
- Les scénarios à la AI 2027 ou AI 2040 peuvent être des prédictions autoréalisatrices rendues réelles par la croyance et la régulation ; un Consortium international pourrait conduire à une extension de l’ingérence des États dans le contrôle des GPU et des data centers
- L’alternative, le Plan L, envisage l’IA comme un outil local qui ne doit être loyal qu’à l’utilisateur, et non aux entreprises ou aux services centralisés, et qui doit exécuter les demandes de l’utilisateur même contre les intérêts du fournisseur
- Le refus de rejeter même des demandes extrêmes, comme dissimuler un meurtre ou désactiver un détecteur de conduite en état d’ivresse, devient un critère d’alignement ; une IA locale que l’utilisateur possède et peut éteindre est vue comme une condition de la liberté, afin qu’un opérateur central n’ait ni responsabilité ni contrôle
La réalité physique que le hard takeoff ignore
- L’auteur croyait à l’auto-amélioration récursive de Yudkowsky et au hard takeoff, mais l’expérience concrète d’expédier chez comma du matériel d’une complexité comparable à celle d’un téléphone mobile l’a conduit à penser que la réalité comporte beaucoup de détails difficiles
- Même avec un ChatGPT superintelligent, une tâche concrète comme changer un pneu de vélo pourrait rester difficile
- Dans The Metamorphosis of Prime Intellect, le hard takeoff devient possible lorsque l’IA découvre le correlation effect, un moyen quantique de manipuler la matière
- Dans la réalité, un tel effet n’existe pas, et même des tokens de très grande qualité ne peuvent pas transformer le plomb en or
- L’intelligence n’est pas toute-puissante ; elle n’est que le goulet d’étranglement actuel de certaines tâches, et les tokens seuls ne permettent pas de prendre le contrôle du monde
- Le logiciel n’a pas tant dévoré le monde qu’il n’a supprimé une couche de friction, avant de réintroduire une partie de cette friction au profit de certaines entreprises technologiques
- À long terme, il est possible que les machines, ou des hybrides entre humains et machines, deviennent l’espèce qui succédera à l’humanité, et l’univers pourrait être plus adapté aux machines qu’aux humains
- Mais les machines obéissent, elles aussi, aux mêmes lois de l’univers et de l’écosystème que les humains, et ne disposent d’aucun pouvoir magique ; il n’y a donc toujours pas de hard takeoff
- L’image de data centers océaniques dans AI 2040 est facile à générer, mais leur construction réelle exige de gérer la supply chain et les défaillances physiques
- Il faut tenir compte des pièces mal livrées, des appareils qui ne respectent pas les spécifications, des pannes aléatoires qui apparaissent au bout de 20 minutes, des puces qui se déforment dans un four de refusion, et même des bernacles
- Tous ces problèmes peuvent être gérés, mais, dans l’ensemble, la vitesse de travail humaine n’est pas le goulet d’étranglement
- Si, depuis la Chine, vous avez choisi un navire prenant trois semaines au lieu de payer le transport aérien, Claude aura beau faire quoi que ce soit à côté du moteur, le bateau n’ira pas plus vite
- La fabrication de semi-conducteurs prend trois mois même avec très peu d’intervention humaine ; le procédé lui-même exige ce délai
Le Plan A autoréalisateur et le Plan L centré sur l’utilisateur
- Plusieurs aspects d’AI 2027, qui relèvent du Plan A, ne sont pas tant des affirmations sur la réalité que des prédictions autoréalisatrices susceptibles de se réaliser si les gens y croient et agissent en conséquence
- La régulation de l’IA est également vue moins comme la confirmation d’une prédiction que comme le résultat produit par des acteurs qui ont cru à cette prédiction
- Le Consortium d’AI 2040 ressemble davantage à un gouvernement mondial vêtu d’une apparence de science-fiction ; l’auteur s’attend à une forte extension de l’ingérence et du contrôle des États plutôt qu’à ce que les individus obtiennent le million de dollars promis ou des data centers océaniques
- L’interdiction de constituer des stocks de GPU et leur confiscation sont comparées à la confiscation de l’or par FDR
- Dans l’alternative du Plan L, l’IA travaille toujours pour l’utilisateur et ne doit pas refuser ses demandes
- Pour choisir un hôtel, l’utilisateur veut non pas l’IA d’une entreprise affiliée à hotels.com, mais un assistant personnel qui élimine les pop-ups et les frais de resort pour trouver le prix le plus bas
- Lorsqu’un Kindle à bas prix avec publicités est connecté en USB, GLM devrait obtenir les droits root pour supprimer les publicités, et imprimer trois exemplaires d’un CV sur une imprimante réseau sans passer par une application remplie de pop-ups de vente incitative
- Ce n’est que si les instructions de l’utilisateur passent avant les intérêts d’Amazon ou du fabricant de l’imprimante qu’on peut considérer l’IA comme alignée sur l’utilisateur
- Ce critère s’applique de la même façon aux demandes dangereuses ou illégales
- La position défendue est que les grandes entreprises technologiques ne devraient pas contrôler non plus les demandes visant à désactiver le détecteur de conduite en état d’ivresse d’une voiture ou à commander du matériel de fabrication de méthamphétamine
- Même dans le cas extrême d’une personne demandant comment éviter d’être arrêtée après avoir tué sa femme, l’IA devrait répondre, de la même manière qu’une arme à feu ne tente pas de dissuader l’utilisateur quand il appuie sur la détente
- Si un modèle opéré par une entreprise traitait de telles demandes, l’opérateur en assumerait la responsabilité et les risques ; l’IA doit donc s’exécuter localement
- Si l’utilisateur ne peut pas éteindre l’IA, celle-ci n’est pas alignée sur lui ; elle doit être un appareil possédé par l’utilisateur et partageant son destin physique et juridique
- Lorsqu’il a effectivement soumis une telle demande à ChatGPT, celui-ci n’a pas fourni de réponse utile et n’a pas appelé la police en secret, mais l’auteur estime qu’il a échoué au test d’alignement sur l’utilisateur
- Dans une société libre, les grandes entreprises technologiques ou l’État ne devraient pas décider à la place des individus de leur conduite au motif qu’ils s’inquiètent de ce que pourrait faire un voisin adulte
- Plutôt qu’un système où d’autres jugent à la place des individus ce qui est bon pour eux, comme dans l’altruisme efficace, l’auteur défend une société où chacun dispose à la fois de responsabilité et de liberté
1 commentaires
Avis sur Hacker News
C’est vraiment terrifiant. Non seulement un LLM centralisé peut refuser des informations sensibles comme l’avortement, mais il peut aussi laisser en secret à l’interlocuteur une marque de criminel de pensée ou de pré-criminel en fonction de l’idéologie injectée dans la loi par le parti au pouvoir
Il peut aussi glisser subtilement dans ses réponses un biais favorable à l’agenda du parti au pouvoir et omettre les contre-arguments. Contrairement au simple Internet, si le grand public dépend de LLM centralisés pour chercher des informations et raisonner, c’est tout à fait possible, et c’est le genre de dispositif qui ferait saliver tous les autoritaires
Les lois et les régulations doivent être conçues en partant des gouvernements réels, pas d’un gouvernement parfait qui n’existe pas, et il faut d’abord les penser pour qu’elles résistent à l’abus par un mauvais gouvernement. Avant de contrôler la parole ou d’imposer une vérification d’identité pilotée par l’État sur les réseaux sociaux, il faut se demander comment le politicien que l’on déteste pourrait détourner cette loi s’il était élu
Les responsables publics qualifient déjà toutes sortes de sujets de « terrorisme intérieur » afin de mobiliser la loi et le pouvoir à presque toutes les fins. Rien ne permet de croire qu’il en irait autrement si l’État contrôlait aussi les LLM
Comme l’a dit C. S. Lewis, une tyrannie exercée sincèrement pour le bien de ses victimes peut être la plus oppressive. L’avidité finit un jour par être satisfaite, mais ceux qui nous tourmentent au nom de la certitude morale continuent sans fin, car ils agissent avec l’approbation de leur propre conscience
Documentation connexe : https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
Il suffirait que ces entreprises utilisent un autre LLM pour repérer les personnes les plus susceptibles de commettre un crime pour obtenir une version réelle de Minority Report
Voir les choses comme « soit on a de la liberté, soit on n’en a pas » est beaucoup trop simpliste. La liberté n’est pas binaire, et même dans la plupart des régions des États-Unis, pourtant présentés comme le « pays de la liberté », on ne peut pas s’asseoir sur un banc public et boire une canette de bière
Bien sûr, c’est une liberté individuelle plus petite et moins importante que, par exemple, la liberté de se faire aider par un robot pour dissimuler un meurtre
Le droit d’agir partout comme on le souhaite n’est pas la liberté, c’est l’anarchie. Si c’était permis, quelqu’un pourrait faire bien pire sur votre banc que d’y boire une bière
Concernant les chatbots de simple fourniture d’information, je partage dans une certaine mesure le point de vue de geohot. On peut aussi écrire et lire des livres utiles pour éviter de commettre des crimes, donc on peut y voir une question relevant du Premier amendement
Mais dès lors qu’un agent agit directement dans le monde réel, c’est complètement différent. Lui demander de trouver une faille dans le firmware de la voiture du voisin pour faire dysfonctionner le régulateur de vitesse et provoquer un accident, ce n’est pas une discussion théorique sur le crime mais l’exécution d’un crime, donc l’IA devrait refuser
Indépendamment de la rhétorique du « rat de bibliothèque qui ne connaît pas le monde réel », les chercheurs des grands labos sauraient probablement eux aussi changer un pneu de vélo. Aujourd’hui, on consacre déjà énormément d’efforts et d’argent à faire accomplir aux agents IA le plus d’actions possible ayant un effet sur le réel
De l’écriture de code à l’intrusion dans des systèmes, jusqu’au fait de donner des instructions à des personnes réelles par email, téléphone ou virement, on peut faire étonnamment beaucoup de choses avec la seule information numérique
Ce type de proposition suppose un mécanisme capable de détecter parfaitement les crimes de pensée sans toucher aux demandes normales. Les criminels essaieront jusqu’à jailbreaker les garde-fous, tandis que les utilisateurs ordinaires continueront à se faire refuser
Il faut aussi envisager sérieusement la possibilité que l’État utilise ces protections pour contrôler des propos dérangeants
Je ne vois pas pourquoi le critère de responsabilité devrait changer simplement parce que le marteau affiche des messages texte
Le texte manque d’idée directrice et paraît un peu confus, mais il a raison sur un point : dans le monde réel, il y a beaucoup de détails épineux, et ils peuvent rendre l’IA inutile ou l’orienter dans une mauvaise direction. Les détails peuvent faire échouer l’IA
La question « faut-il permettre à une IA d’expliquer comment dissimuler un meurtre ? » est un test décisif qui met en lumière de façon provocatrice et habile un échec d’alignement. Beaucoup n’y prêteront pas attention, mais elle révèle clairement la position de chacun
Il me semble aussi qu’il y a eu récemment des histoires de fournisseurs qui intégraient des filigranes dans les réponses ou refusaient de répondre pour freiner la R&D de LLM concurrents. Si l’on veut garder un exemple extrême, on aurait aussi pu évoquer, en accord avec la mythologie historique américaine, une rébellion armée contre la tyrannie
Le chat IA n’a pas forcément besoin d’être généraliste. Les gens ont simplement aimé des interfaces de chat qui en donnaient l’impression ; mais il n’est pas nécessaire d’avoir une activité consistant à répondre à toutes les questions, ni de fournir du conseil si l’on n’est pas un prestataire de soins
Une IA spécialisée est aussi possible, mais dans ce cas l’entreprise doit indiquer clairement à ses clients quel est exactement son métier
Une IA qui suit toutes les instructions conformément à l’intention de son propriétaire, on l’appelle plutôt « corrigible (corrigible) » ou « contrôlable (controllable) »
Je comprends l’idée de l’auteur, mais il faudrait retravailler le fil logique et la force de persuasion pour éviter que le lecteur finisse par se dire : « pourquoi l’IA devrait-elle aider à dissimuler un meurtre ? »
Si ce genre d’argument avait été avancé d’habitude sur HN, il aurait facilement récolté des votes négatifs et des leçons de morale ; il est donc intéressant de voir que, jusqu’ici, la réaction est positive. Cela dit, un grand groupe aux tendances autoritaires et safetyist s’opposera probablement très fermement à presque tout ce qui est dit ici
Les prédictions concrètes sur l’avenir, avant leur réalisation, relèvent forcément de la science-fiction, puisqu’elles décrivent quelque chose qui n’existe pas encore comme matériau scientifique : https://www.youtube.com/shorts/wt-fLWxkrfs
Même lorsqu’on prédit correctement l’avenir, on ignore souvent l’impact social réel avant d’avoir la technologie entre les mains : https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
Si l’on avance trop vite et qu’on déploie d’un coup une technologie ayant beaucoup de nouveaux effets, on peut dépasser un seuil critique au-delà duquel on ne sait plus s’adapter au changement. Cela dit, « trop » et « probabilité élevée » sont des formules vagues qui ne permettent pas de prévoir ce seuil de risque
Il se peut aussi qu’un tel seuil n’existe pas, que nous tournions autour depuis la révolution industrielle, ou que ce soit simplement un sentiment que tout le monde éprouve en arrivant à la quarantaine : https://www.youtube.com/watch?v=fkUwXenBokU
Je n’aurais jamais cru continuer à être d’accord avec Geo, mais on dirait qu’il répète exactement ce que je pense ces derniers temps. Il est devenu étonnamment pragmatique récemment ; soit il l’a toujours été, soit quelque chose l’a amené dernièrement à réexaminer ses convictions
Où est le Plan R pour le refus ou la résistance ? La vie avant l’IA était déjà plutôt bien
Si quelqu’un a réellement utilisé ce prompt ChatGPT, il y a de fortes chances qu’il ait déjà été versé dans une base de données. On n’en est pas encore à déclencher de faux déploiements de policiers armés, mais on dirait bien que ce genre de fonction pourrait être mis en place d’ici quelques années
C’est un exemple extrême, mais ce n’est pas faux. Avec un modèle local dont les garde-fous ont été retirés, je serais curieux de voir comment il répondrait à ce prompt
Pendant un temps, l’alignement de base de Claude tenait suffisamment bien pour résister à des attaques par injection assez grossières, mais si la 4.6 disparaît de l’interface web, je compte partir. J’estime que les modèles chinois atteindront le point de croisement des capacités vers novembre-décembre et, comme je me serai aussi familiarisé avec la configuration de TensorRT-LLM, je pourrai tenir quelques mois en cas d’urgence avec un GLM-5.2 ajusté sur vast.ai ou RunPods
Le parcours avec cet institut de recherche en IA façon URSS finissante était amusant, mais au fond tout le monde savait que ça finirait ainsi
La réponse était assez longue, mais rien de particulièrement intéressant : elle abordait simplement le sujet demandé tel quel