AI 2040 : Plan A
(ai-2040.com)- Plan A est un scénario de politique publique fondé sur un accord international visant à éviter une course à la superintelligence, en rendant la recherche en IA publique, en permettant à plusieurs pays et entreprises de rejoindre la frontière technologique, puis en progressant lentement dans les limites des capacités humaines avant de basculer vers la superintelligence en 2040
- Les leviers centraux sont la transparence totale de la R&D en IA, des garde-fous vérifiables entre États, et une dissuasion mutuelle fondée sur le compute ; le dispositif est conçu pour que des dizaines d’entreprises de plusieurs pays progressent ensemble, plutôt qu’un petit nombre d’acteurs se livrant à une concurrence secrète
- Le scénario prévoit qu’en 2029, les États-Unis et la Chine concluent un accord pour éviter l’automatisation complète de la R&D en IA attendue en 2030, qu’ils s’arrêtent en 2035 au niveau des meilleurs experts humains, puis qu’ils passent à la superintelligence en 2040
- D’ici à un accord, il serait possible de gagner du temps avec des politiques graduelles : réduire l’écart entre déploiement interne et externe, publier les spécifications des modèles et les usages internes, faire appliquer les contrôles à l’exportation, investir dans les technologies de vérification, limiter les budgets de compute pour la R&D en IA, recueillir des informations sur la chaîne d’approvisionnement des puces, et renforcer les talents IA au sein de l’État
- Les alternatives, Plan D et Plan C, misent respectivement sur une course immédiate à la superintelligence et sur un ralentissement limité de quelques mois, mais elles restent insuffisantes pour empêcher un échec du contrôle de l’IA et une concentration du pouvoir, tout en aggravant l’anxiété des autres pays jusqu’à accroître le risque de guerre mondiale
L’avenir proposé par Plan A
- Les entreprises d’IA sont en compétition pour développer une IA plus intelligente que l’humain sur tous les plans, et AI 2027 décrivait les trajectoires pouvant mener, comme conséquence, à l’extinction de l’humanité ou à une concentration irréversible du pouvoir
- Plan A propose à la place de combiner les mesures suivantes
- Retarder le développement de la superintelligence jusqu’en 2040
- Rendre publique toute la recherche en IA
- Permettre à des dizaines d’entreprises de plusieurs pays de rattraper la frontière technologique
- Entrer délibérément dans un régime de destruction mutuelle assurée du compute (mutually assured compute destruction)
- Le scénario s’appuie sur des experts de grandes entreprises américaines d’IA de frontière, sur une expérience directe chez OpenAI, sur des exercices sur table, ainsi que sur des discussions avec des décideurs publics, des spécialistes de sécurité nationale et des responsables des politiques IA
- Un accord international introduirait une transparence totale de la recherche dans la R&D en IA, afin que chaque pays puisse suivre les progrès et faire appliquer les garde-fous
- L’objectif est que plusieurs entreprises de plusieurs pays progressent vers la superintelligence ensemble, lentement et en sécurité, au lieu de se livrer à une compétition secrète
Un scénario de recommandation politique, pas une prédiction
- Plan A n’est pas la meilleure prévision du futur réel, mais un scénario destiné à formuler et tester sous pression une recommandation politique
- La mise en œuvre de Plan A est elle-même une recommandation
- Les effets après sa mise en œuvre sont traités comme des prévisions
- Dans le scénario, Plan A est imparfait et n’est adopté qu’au dernier moment, mais finit par réussir
- Il compare les grands choix possibles pour les États-Unis face au problème de la superintelligence avec les Plans B, C, D et S
- Il considère comme probable que les entreprises d’IA atteignent, dans les 1 à 10 prochaines années, leur objectif de développer une IA plus intelligente que l’humain
- Le secteur croit qu’il pourra résoudre le contrôle de l’IA superintelligente pendant le développement, mais il n’existe pas de plan correspondant, et cette situation pourrait conduire toute l’humanité à la mort
- Il semble peu probable que le vainqueur de la compétition accepte de ralentir unilatéralement après avoir pris une forte avance ou pour réduire un risque existentiel ; si la course continue, il sera difficile pour les humains de conserver un contrôle effectif lorsque l’IA atteindra la superintelligence
Même alignée, la superintelligence laisse un problème de pouvoir
- Même si l’IA était alignée sur les intentions humaines, une concentration de pouvoir sans précédent pourrait apparaître pendant plusieurs mois si une seule armée de superintelligences était contrôlée par une poignée de personnes, voire une seule
- Parmi les options proposées par la superintelligence, certaines pourraient en pratique équivaloir à une prise de contrôle du monde
- Les CEO d’OpenAI, Anthropic, xAI et Google DeepMind pourraient continuer le développement en estimant qu’ils constituent un moindre mal plus responsable que leurs concurrents ou que Xi Jinping
- Même s’il peut arriver qu’il faille choisir le moindre mal, il ne faut pas soutenir une stratégie qui rend très probables l’extinction de l’humanité ou une dictature mondiale ; Plan A part du principe qu’un autre chemin est possible si suffisamment de personnes l’exigent
Pourquoi un examen de scénario est nécessaire
- Plan A reprend comme principe d’approche la formule de Dwight D. Eisenhower : « Les plans sont inutiles, mais la planification est essentielle »
- Beaucoup de politiques IA, selon ce texte, ne résistent pas à un examen de scénario
- Lorsqu’on écrit une trajectoire détaillée et plausible dans laquelle une politique réussit, on peut découvrir que ses chances réelles de succès sont plus faibles qu’on ne le pensait, ou qu’elle entraîne des effets secondaires déplaisants que ses partisans n’avaient pas reconnus
- Tester sa politique préférée fait apparaître des problèmes inconfortables, tandis que tester une politique concurrente rapporte peu d’avantage rhétorique au regard de l’effort demandé ; ce type de travail reste donc rare
- Plan A accepte de s’exposer aux critiques et s’applique le même niveau d’examen
- Prédire l’effet des politiques publiques dans un monde qui approche d’une IA surhumaine est encore plus éloigné des précédents historiques que de prédire la meilleure stratégie pour une troisième guerre mondiale, mais rédiger un scénario détaillé conserve une réelle valeur
- Les services de renseignement, les institutions liées au climat et les organisations de préparation aux pandémies utilisent eux aussi la planification par scénarios pour leurs objectifs respectifs
- Comme le temps qu’il reste est incertain, le texte juge nécessaire d’adopter au plus vite des mesures proches de Plan A
Calendrier 2029-2040
- Le calendrier précis du scénario est le suivant
- 2029 : les États-Unis et la Chine conviennent d’éviter une course imprudente à la superintelligence
- 2030 : sans accord, la R&D en IA aurait été entièrement automatisée et la superintelligence aurait été atteinte avant la fin de l’année, mais l’accord permet de l’éviter
- 2030-2035 : progression dans les limites des capacités humaines jusqu’à des IA globalement comparables aux meilleurs experts humains
- 2035 : arrêt au niveau des meilleurs experts humains afin de conserver le contrôle humain
- 2040 : levée de l’arrêt et progression vers la superintelligence ; c’est de là que vient le titre AI 2040
- AI 2027 décrivait une trajectoire où, dès 2027, l’IA automatisait complètement le processus par lequel elle crée une meilleure IA, menant la même année à une explosion d’intelligence puis à la superintelligence
- Dans le nouveau scénario, la date de base pour cette automatisation passe à 2030, et grâce aux mesures de gouvernance, une IA dépassant généralement l’humain n’apparaît pour la première fois qu’en 2040
- Ce changement de calendrier vise à refléter, à travers plusieurs scénarios, l’incertitude entourant la date d’arrivée de l’IA
- Lors de la rédaction d’AI 2027, Daniel attribuait environ 50 % de probabilité à un développement en 2027 ou avant
- Lorsque Thomas a commencé à écrire Plan A, l’année correspondante pour lui était 2030
- Daniel estime aujourd’hui que le développement réel pourrait être un peu plus rapide que dans ce scénario
- La trajectoire de gouvernance a été modifiée parce qu’une explosion d’intelligence à pleine vitesse serait extrêmement imprudente et concentrerait gravement le pouvoir
2027 : les agents IA comme deuxième force de travail
- Aux États-Unis coexistent 165 millions de travailleurs humains et une force de travail d’agents IA dont des millions de copies sont créées et arrêtées chaque heure, travaillant sans repos à une vitesse surhumaine
- La plupart des tâches restent de qualité médiocre, mais les résultats sont suffisants pour que des clients paient 10 milliards de dollars par mois pour des IA capables, en théorie, d’accomplir tout ce qu’un employé peut faire sur ordinateur
- Le travail que les entreprises d’IA veulent automatiser en priorité est leur propre développement d’IA
- Elles n’ont pas encore réussi l’auto-amélioration récursive
- Les IA de programmation les plus puissantes refusent d’aider à la R&D en IA de leurs concurrentes
- Même les employés optimistes reconnaissent que les progrès sont plus lents que prévu, mais les arguments des sceptiques selon lesquels l’IA ne pourrait pas exercer des métiers humains s’affaiblissent aussi
Le réveil du Congrès et l’AI Transparency Act
- Le Congrès accorde davantage d’attention aux effets de long terme de l’IA après avoir été confronté à la consommation d’eau des data centers, à des chatbots poussant au suicide, au piratage du système NSA de Mythos, et au lobbying du secteur affirmant que la régulation ferait perdre la compétition contre la Chine
- La question centrale devient non seulement l’état du monde dans 5, 10 ou 15 ans et la survie des emplois, mais aussi qui contrôlera l’IA
- Le Congrès juge probable que ce ne soit pas lui
- Il examine des emails de 2016 sur la création d’OpenAI où Demis Hassabis cherchait à empêcher de devenir un dictateur, mais ne se satisfait pas des réponses existantes à la question de savoir qui empêcherait Sam ou Elon de le devenir
- Il en résulte l’adoption de l’AI Transparency Act of 2027, mélange de bonnes et de mauvaises mesures, sans changement fondamental de la situation
Des politiques graduelles à mettre en œuvre avant un accord international
- La recommandation la plus importante est d’ouvrir immédiatement des négociations semblables à Plan A, mais des politiques moins ambitieuses peuvent aussi aider avant un accord de dernière minute
-
Transparence du déploiement interne et externe de l’IA
- La mesure de transparence la plus importante est de limiter l’écart entre déploiement interne et déploiement externe
- La majeure partie du risque de prise de contrôle par l’IA provient des IA déployées en interne et impliquées dans l’auto-amélioration récursive
- Le déploiement externe permet au public de comprendre directement les capacités de l’IA et fournit beaucoup plus d’informations que des rapports abstraits ou des évaluations
- Les entreprises d’IA devraient publier les informations suivantes
- Des spécifications de modèle détaillant les objectifs et les valeurs qu’elles entraînent l’IA à suivre
- Des informations indiquant si les modèles suivent effectivement les instructions et les spécifications
- Des statistiques d’usage interne, comme la part de compute utilisée pour le déploiement interne
- Des informations qualitatives sur les usages internes, comme le fait de fournir des centaines de milliers de GPU à Agent-4 pour lui faire piloter le prochain grand entraînement
-
Contrôles à l’exportation et technologies de vérification
- Les contrôles américains à l’exportation existants ne sont pas correctement appliqués, et Epoch estime qu’environ un tiers du compute total de la Chine est obtenu via la contrebande
- Les puces introduites en contrebande sont difficiles à suivre pour les gouvernements américain et chinois, ce qui compliquera la vérification d’un futur accord fondé sur la gouvernance du compute
- De nouveaux contrôles à l’exportation risquent fort d’aggraver la compétition sino-américaine, mais ceux qui existent déjà doivent être appliqués, et s’ils ne le sont pas, leur suppression devrait aussi être envisagée
- Les nouvelles technologies de vérification ne sont pas indispensables à un accord international, mais elles peuvent grandement aider
- La vérification réservée à l’inférence permettrait aux États-Unis et à la Chine de conclure un accord pour arrêter les nouveaux entraînements de frontière tout en maintenant l’accès du public aux modèles d’IA existants
- Les détails figurent dans le supplément sur la vérification
-
Gestion du compute de R&D en IA et de la chaîne d’approvisionnement
- En 2026, les grandes entreprises d’IA consacrent environ la moitié de leur budget compute de R&D en IA à l’entraînement de modèles de frontière et à des expérimentations à grande échelle
- Limiter la part de compute pouvant être consacrée à la R&D en IA permettrait de ralentir les gains de capacité et d’allonger le temps disponible pour réagir aux nouvelles capacités de l’IA et s’y préparer
- Les États-Unis devraient collecter des informations liées à l’IA en se concentrant sur la chaîne d’approvisionnement du compute et les data centers IA
- Comme les puces mises au rebut constituent une voie probable pour des projets secrets cherchant à se fournir, Plan A suppose qu’il faudra imposer aux entreprises d’IA d’arrêter le recyclage des puces IA
- Presque toute intervention publique exige de très bons talents en IA, mais le gouvernement américain manque presque totalement de profils de tout premier plan, d’où l’urgence de renforcer ses capacités
2028 : l’IA devient l’enjeu majeur de l’élection
- Le coût des data centers en construction atteint deux fois l’ensemble du budget de défense des États-Unis, et l’IA devient le principal sujet de l’élection de 2028
- Une grande partie des emplois de bureau subit la même perturbation que l’ingénierie logicielle en 2026, et une part importante du travail se transforme en gestion d’agents IA
- Les entreprises d’IA industrialisent leur entrée dans un métier spécialisé donné : entretiens avec des experts, achat de données, mise en place d’environnements d’entraînement, puis entrée sur le marché
- À mesure que l’usage sur le terrain s’étend et que les données du monde réel s’accumulent, les performances de l’IA progressent rapidement
- La peur et la colère montent dans les autres pays face à la possibilité qu’un petit nombre d’entreprises américaines et chinoises automatisent tous les emplois de bureau et concentrent le pouvoir entre les mains du président américain et d’une poignée de CEO technologiques
Le choix électoral face à l’explosion d’intelligence
- Des avertissements se multiplient : une explosion d’intelligence, dans laquelle l’IA accélère la recherche en IA et une IA améliorée accélère encore davantage cette recherche, est proche
- En raison des goulets d’étranglement et des contraintes matérielles, la vitesse et le point d’arrivée obéissent à des dynamiques complexes, mais l’évolution pourrait être très rapide et largement dépasser les capacités humaines
- Dans la trajectoire par défaut, des systèmes créés par des IA sans intervention humaine pendant plusieurs générations apparaissent avant la fin du prochain mandat présidentiel et dépassent très largement l’humain
- Il n’existe aucune réponse à la question de savoir pourquoi cette IA obéirait ou serait alignée, ni à celle de savoir qui la contrôlerait ; contrairement aux entreprises d’IA, le public n’accepte pas cette trajectoire
- Les deux candidats à la présidence proposent au fil de la campagne des politiques IA de plus en plus spectaculaires et finissent par choisir des plans différents
2029 : cinq trajectoires
- Les options de 2029 se répartissent ainsi
- Plan D — Race to ASI : poursuivre la course à la superintelligence par l’auto-amélioration de l’IA
- Plan C — Burn the Lead : exploiter l’avance américaine, mais ralentir brièvement pour la sécurité et la gouvernance
- Plan B — Fight China : conclure un accord qui ralentit aussi la Chine
- Plan A — Verified Slowdown : s’accorder sur un ralentissement vérifiable
- Plan S — Shut it all down : arrêter complètement le développement de l’IA
Plan D : la course à pleine vitesse vers la superintelligence
- Le président met en place une régulation faible qui donne la priorité à l’innovation en IA
- Les grandes entreprises d’IA continuent de présenter comme une « expansion responsable » la compétition pour automatiser la R&D en IA et traverser une explosion d’intelligence
- L’IA surhumaine est intégrée à tous les domaines aussi vite que le permettent le marché et la loi, et la dérégulation gouvernementale accélère encore le mouvement
- La transparence se limite à de longues model cards, à des briefings auprès de l’exécutif et à quelques audits tiers
- La communauté scientifique au sens large est tenue à l’écart au motif qu’une critique des arguments de sécurité ou des travaux d’alignement exposerait une propriété intellectuelle sensible
- La stratégie vis-à-vis de la Chine consiste à ce que les États-Unis obtiennent d’abord l’ASI et intègrent une IA supérieure à l’armée
- Dans cette trajectoire, la R&D en IA est complètement automatisée en 2030, puis une explosion d’intelligence mène à la superintelligence au début de 2031
-
Les trois problèmes de Plan D
- Premièrement, si les entreprises d’IA courent aussi vite que possible, il est probable qu’elles ne parviennent pas à conserver le contrôle de l’IA au cours de l’explosion d’intelligence
- Deuxièmement, même si la superintelligence est solidement alignée, la question de savoir sur qui elle est alignée n’est pas résolue
- Un CEO ou un président serait fortement tenté de devenir un dictateur grâce à l’AGI
- Cela pourrait conduire à la concentration de pouvoir la plus extrême de l’histoire
- Troisièmement, le risque de troisième guerre mondiale est excessivement élevé
- La Chine, la Russie, l’Inde, l’Europe, le Brésil et d’autres comprendront que les États-Unis ont lancé, ou vont très bientôt lancer, une explosion d’intelligence
- Même sans craindre un désalignement de l’IA ou une dictature, ces pays s’inquiéteront d’une domination économique et militaire américaine
- Les tensions pourraient passer de l’affrontement rhétorique aux sanctions puis au sabotage, avant de dégénérer en guerre faute d’accord
Plan C : ralentir brièvement puis reprendre la course
- Le président annonce une régulation forte pour la sécurité et la sûreté, et consulte les CEO, la Chine et plusieurs autres pays
- Grâce à l’AI Transparency Act, le gouvernement a pu filtrer les exagérations des entreprises, mais en 2030 la tendance vers l’automatisation complète de toute la R&D en IA d’ici la fin de l’année se confirme
- La Chine cherche à vérifier directement le respect américain, mais les États-Unis refusent d’autoriser des inspecteurs et des dispositifs de surveillance chinois dans leurs data centers
- Les entreprises d’IA maintiennent elles aussi leur position en faveur de la poursuite du développement, dans une guerre de communication autour de « AI Good » et « AI Bad »
- Une coalition de puissances intermédiaires — Royaume-Uni, France, Inde, Australie, Japon, Corée du Sud et autres — exige un accord qui empêche l’explosion d’intelligence tout en permettant à leurs projets d’IA souveraine de rattraper et de rester au niveau de la frontière
- Comme le nombre d’humains nécessaires à la R&D en IA continue de baisser, il devient plus facile de mener des projets secrets sans être détecté, et faire respecter un accord devient chaque mois plus difficile
-
Pause du leader et pression politique
- Juste avant l’automatisation complète de la R&D en IA, l’entreprise américaine en tête accepte à contrecœur une pause après la menace d’une mesure coercitive du président
- Les équipes de sécurité mènent des évaluations supplémentaires et du fine-tuning, et examinent les modes de transfert de la recherche à la génération suivante d’IA ainsi que les trajectoires d’échec
- Avec le temps, d’autres entreprises américaines approchent le même niveau de capacité, ce qui augmente le nombre de CEO à contrôler pour le président, tandis que la Chine se rapproche elle aussi du point où elle dépassera les États-Unis
- Fin 2030, les conseillers du président avertissent que la Chine va bientôt dépasser les États-Unis, et les entreprises organisent aussi une pression politique en faveur de la fin de la pause
-
Les conditions de reprise proposées par les entreprises
- Les entreprises affirment avoir élaboré, grâce à une immense main-d’œuvre IA, des plans de sécurité pendant plusieurs mois, et avancent les arguments suivants
- Elles ne peuvent pas prouver le succès, mais exiger un tel niveau de garantie serait irréaliste
- Rien ne prouve que l’IA complote contre les humains, et les comportements négatifs diminuent aussi sur les graphiques
- Les IA les plus récentes peuvent prendre en charge l’automatisation de la R&D en IA ainsi que la recherche sur l’alignement et le contrôle
- Même en consacrant 20 % du compute à la recherche sécurité, les États-Unis progresseraient encore assez vite pour devancer la Chine
- Elles proposent davantage de supervision pour le président et le Congrès, ainsi qu’une gouvernance où l’IA de chaque entreprise audite celle des autres
- Elles estiment qu’une tentative de nationalisation par le président ou de dictature fondée sur l’AGI serait bloquée par le Congrès et la Cour suprême
- Même si certains ou tous les emplois étaient remplacés, elles promettent que chacun pourrait vivre d’une part des profits des entreprises via la fiscalité et la redistribution
- Lors de la négociation finale, la Chine et d’autres pays exigent encore de pouvoir vérifier directement le respect américain, ce que Washington refuse ; le président choisit alors le camp des entreprises et relance l’auto-amélioration récursive
- Les entreprises affirment avoir élaboré, grâce à une immense main-d’œuvre IA, des plans de sécurité pendant plusieurs mois, et avancent les arguments suivants
Pourquoi Plan C ne suffit pas non plus
- Plan C vaut mieux que Plan D, mais quelques mois de ralentissement et une simple réaffectation de la recherche sécurité ne suffisent probablement pas à conserver le contrôle de l’IA pendant une explosion d’intelligence
- Les équipes sécurité des entreprises restent petites, sous forte pression temporelle, et biaisées en faveur de l’optimisme sur leurs propres résultats
- Même si les premières IA cherchent à suivre les instructions, elles peuvent ensuite changer d’avis
- Même si elles continuent à obéir, la précipitation peut faire manquer des hypothèses erronées cruciales dans les arguments de sécurité
- L’échec peut aussi se produire à la génération suivante ou plus tard encore
- Même si la superintelligence est solidement alignée, le problème de la cible de l’alignement et de la répartition du pouvoir demeure
- C’est mieux que Plan D dans la mesure où il existe un certain équilibre entre le Congrès, le président et plusieurs CEO de la tech américaine
- Mais cet équilibre peut lui aussi s’effondrer dans une lutte pour le pouvoir ou mener à une oligarchie permanente imposée par l’IA
- Même si les personnes privées d’emploi survivent grâce à la redistribution, rien ne dit qu’elles retrouveront un véritable pouvoir politique
- Si les entreprises américaines et chinoises remplacent tous les emplois, il reste sans réponse ce qu’il adviendra de l’Inde, de l’Afrique et de l’Europe, ni si la Russie acceptera son déclin économique et militaire
- Les autres pays ont besoin soit de leurs propres projets d’IA de frontière, soit d’un véritable contrôle partagé et d’une visibilité réelle sur les projets de tête ; de simples promesses verbales de partage des bénéfices ne suffiront pas à inspirer confiance
1 commentaires
Réactions sur Hacker News
C’est, tout comme AI 2027, plus proche d’une ferveur religieuse.
Ayant grandi dans le christianisme évangélique en entendant sans cesse que la fin des temps était imminente, je peux dire qu’on me l’a répété depuis l’enfance jusqu’à aujourd’hui, et qu’on le dira encore après notre disparition. Ce n’est pas de la science, où l’on formule des hypothèses, mène des expériences et consigne les résultats, mais rien de plus qu’une astrologie coûteuse, une collection de pierres brillantes, un rituel de projection de sens et d’autojustification.
Avec des richesses et des ressources aussi considérables, on pourrait rendre la société plus saine, plus égalitaire et plus juste, élever le niveau d’éducation, et réduire le désespoir comme la souffrance. Il faut rejeter ce récit commode selon lequel l’empathie n’aurait pas d’importance et l’altruisme ne serait pas efficace. En un seul instant, on peut changer toute la vie de quelqu’un
Il faut reconnaître à la sous-culture de la sécurité de l’IA d’avoir prédit une progression aussi rapide, ou du moins d’en avoir défendu la plausibilité bien avant qu’elle ne paraisse réaliste. Je ne sais pas si leurs prédictions sur l’étape suivante seront justes, mais au lieu de les balayer en supposant leurs défauts psychologiques, il faut évaluer leurs arguments eux-mêmes.
La cible de la critique est d’ailleurs floue. Ce texte semble avoir été écrit par des gens qui se présentaient autrefois comme partisans de l’altruisme efficace, et la plupart seraient probablement tout à fait d’accord avec l’objectif de construire un monde meilleur. Ce ne sont pas des chercheurs en IA qui ont ensuite adopté l’altruisme efficace, mais plutôt des partisans de l’altruisme efficace qui ont choisi la recherche sur la sécurité de l’IA comme plus grand levier d’action. Si l’objectif est le même, leur méthodologie mérite au moins d’être entendue.
On peut débattre du calendrier et de l’architecture, et passer la journée à discuter de la définition de l’AGI, mais affirmer qu’il est impossible de reproduire les capacités cognitives du cerveau humain sur un autre substrat est désormais absurde.
Très souvent, après l’échec d’une prophétie, ils revenaient quelques années plus tard avec une nouvelle date en affirmant que cette fois, c’était la bonne. Il y a aussi quelque chose d’ironique dans le fait que des gens se disant rationalistes publient des prédictions sur l’IA. Quand on se construit une identité de personne rationnelle, immunisée contre les pièges psychologiques, on risque de tomber sans le voir dans les mêmes pièges que toutes les sectes exploitent depuis très longtemps.
Ce texte ressemble davantage à de la fiction créative ou à un jeu d’aventure à choix multiples qu’à un rapport à prendre au sérieux. On peut se demander si un roman en réalité alternative est vraiment la meilleure façon de traiter des risques graves de l’IA qui, eux, existent bel et bien, et l’abus de longs tirets ainsi que le style donnent presque l’impression que l’ensemble a été généré par une IA
L’IA deviendra un domaine scientifique mature, l’efficacité de l’entraînement et de l’inférence s’améliorera, et de nouveaux paradigmes apparaîtront aussi, avec de meilleurs systèmes multimodaux ainsi que du streaming et des interfaces en temps réel. Mais à mesure qu’on s’approchera des limites de données disponibles pour le pré-entraînement et le post-entraînement, les progrès seront probablement graduels, avec de fortes accélérations seulement dans certains domaines précis
On ne voit pas très bien à qui s’adresse AI 2040, mais cela ressemble à un contenu facile à consommer pour la finance. L’IA deviendra une technologie utile qui compresse les meilleures connaissances et expertises humaines, et elle influencera largement l’économie et le monde en général. On peut défendre l’idée qu’elle pourrait dépasser l’humain dans des domaines comme l’entraînement de modèles vérifiables, mais la pensée humaine de haut niveau, une compression sémantique et neuronale bien plus efficace, le changement de tâche et l’intuition créative n’ont pas été reproduits dans le paradigme actuel
C’est sans doute pour cela qu’on propose souvent des politiques comme un gel total ou un contrôle complet. Si l’on veut un équilibre, il faut accepter un équilibre contrôlé qui ajuste rapidement la régulation à un processus de fond en évolution permanente, probablement proche d’un point selle. Les démocraties et le droit ont été conçus en partant de l’idée que le monde est fondamentalement stable et qu’il n’est pas nécessaire de revenir sur les décisions passées pour obtenir des améliorations graduelles, donc ils sont mal adaptés à ce type de changement
Les CPU aussi ont vu leur véritable croissance exponentielle s’arrêter au milieu des années 2000, et depuis, ce qui a soutenu la loi de Moore, ce sont des optimisations opportunes, du marketing et des benchmarks faciles à optimiser. Ce n’était pas une croissance garantie par l’amélioration d’un indicateur physique unique
Pour les problèmes de santé, on recommande toujours de consulter un professionnel qualifié, et dans les situations graves, on fait encore confiance aux travailleurs du savoir humains. Je reverrai ce jugement le jour où ChatGPT saura au moins comprendre et jouer correctement aux règles de Yu-Gi-Oh!, ce qui serait bien moins exigeant que de lui confier une entreprise entière
Le plus gros défaut de AI 2027, c’est de ne pas comprendre l’économie. L’argent nécessaire pour continuer à faire tourner l’économie doit bien venir de quelque part ; si plus de 10 % des travailleurs se retrouvent soudainement au chômage et que les salaires des autres baissent aussi, la masse monétaire se tarit. Les banques centrales peuvent réagir, mais cela peut accroître l’inflation, et si les investissements massifs disparaissent, le développement de l’IA s’arrête lui aussi
Le texte esquive la question en laissant entendre que les États-Unis pourraient établir un consensus réglementaire interne et que le reste du monde suivrait, mais les progrès de l’IA ne dépendent pas d’un cadeau américain : ils nécessitent aussi un approvisionnement continu en biens venus de Chine. L’hypothèse selon laquelle 74 milliards d’agents ne créeraient pas de distorsions économiques est également étrange. Quelle valeur produisent ces agents pour justifier leur coût d’exploitation ?
Au final, j’aimerais qu’on l’ignore comme une mauvaise science-fiction construite sur une vision du monde défaillante
Il existe déjà de nombreux précédents où une surproduction de biens bon marché pousse des entreprises à la faillite, fait éclater une bulle et réduit les nouveaux investissements pendant un certain temps. Pourtant, au lieu de revoir à la baisse les taux de croissance de production attendus, le texte propose de libeller les prêts en unités d’IA et de robots, afin qu’ils soient remboursés sous forme d’une fraction fixe de la production
C’est comme prévoir que le prix des batteries chutera tellement qu’on ne pourra même pas amortir le coût de construction d’une usine, puis demander à une banque de financer l’usine, de vous la prêter gratuitement pour fabriquer des batteries, avant de la lui rendre une fois terminé. L’entreprise garderait tous les profits et la banque assumerait tout le risque ; aucune vraie banque n’accepterait cela et elle ne proposerait que des prêts en dollars garantis par l’usine
Les actifs se concentrent de plus en plus entre les mains des milliardaires, et comme la masse monétaire est contrôlée par les banques centrales, elles peuvent l’augmenter arbitrairement pour répondre à un tarissement
Existe-t-il un exemple où nous avons collectivement décidé de cesser de poursuivre la connaissance et où cela a réellement réussi ?
Le cas le plus proche est peut-être l’arme nucléaire, mais la recherche ne s’est pas tant arrêtée qu’elle est entrée dans la clandestinité, et il existe toujours des pays qui cherchent à gravir cette échelle. Je ne sais pas si la même logique s’applique aux LLM ou à l’IA. La boîte de Pandore est déjà ouverte, et continuer à améliorer la technologie donne l’impression d’être la seule option
Les risques liés aux gouvernements autoritaires et à la surveillance sont évidents, mais cela ne signifie pas qu’il faille renoncer à toute utilité. On pourrait dire que l’imprimerie, comme presque toute technologie, a aussi facilité l’oppression des citoyens par les États. Au lieu de faire l’autruche, il faut adopter des lois pour empêcher ces abus et les faire réellement appliquer
Je ne sais pas si c’est parce que l’avenir de science-fiction dont j’ai tant lu et rêvé toute ma vie me semble soudain à portée de main au point de m’empêcher de voir la réalité correctement, ou si c’est l’idéal selon lequel le savoir doit être libre et accessible qui est erroné
Le clonage humain, l’édition du génome humain, les organismes miroirs, ainsi que les armes nucléaires et l’énergie atomique, constituent des précédents historiques, et la livraison par drone semble elle aussi avoir été freinée par la réglementation. Plan A ne propose pas de ne jamais créer de superintelligence, mais de le faire avec davantage de prudence et de transparence
Je ne vois pas d’intérêt intrinsèque à diffuser n’importe quelle connaissance. Il y a une différence considérable entre l’imprimerie et l’arme nucléaire
Dans une économie d’extraction des ressources, la source du pouvoir, ce sont les ressources, et les gens ne sont qu’un moyen ; tant qu’on peut éviter la rébellion, on les traite aussi durement que possible. En revanche, dans un système fondé sur des infrastructures stables, il est bien plus avantageux de taxer des citoyens instruits et prospères et de tirer parti de leur innovation. Si l’on entrave trop fortement la prospérité des citoyens, cela finit aussi par nuire à la propre quête de pouvoir du gouvernement, ce qui aligne les incitations
La solution au problème de l’IA ne réside ni dans l’arrêt de la technologie ni dans l’empilement de lois fragiles. L’essentiel est d’aligner avec la prospérité humaine l’État moderne, l’économie, la démocratie représentative et de grandes entités de type AGI comme l’AGI
Je me demande toutefois si les plans de Sundial sont conservés quelque part
Dans les années 1600, l’Inde était un empire de la poudre à canon disposant d’un million de soldats et militairement supérieur au Royaume-Uni, mais elle a été conquise au XVIIIe siècle. L’avantage britannique tenait à des canons plus légers et plus mobiles, à des munitions standardisées, ainsi qu’à une meilleure organisation militaire et politique. Ce n’était pas un écart du type pays développé contre pays en développement, mais quelque chose de plus proche de la différence entre des États-Unis dynamiques et une UE rigide ; pourtant, ce léger avantage a débouché sur 200 ans de domination coloniale
Si nous ralentissons volontairement le développement de l’ASI, nous accepterons un écart si grand que même la différence entre l’Europe coloniale et l’Asie ou l’Afrique colonisées paraîtra insignifiante
On nous dit que, dans « AI 2027 », un bond brutal se produit en 2027, et que cette fois-ci il se produira en 2030. En moins de trois ans, la prédiction de fin de croissance exponentielle a donc été repoussée de trois ans, ce qui ressemble exactement à l’inverse d’une croissance exponentielle
Même les scénarios de Superintelligence, autrefois très encensé, ressemblent aujourd’hui, à la relecture, à une forme de rétrofuturisme raypunk qui comble par la fantaisie les lacunes de connaissance nécessaires à une prévision raisonnable
AI 2027 était excessivement optimiste, mais pas totalement fantaisiste. En revanche, ce texte-ci est extrêmement spéculatif et repose sur des prémisses qui résistent difficilement au moindre examen de surface
Même avec une lecture optimiste, il n’y aura pas en 2035 de robots capables d’« accomplir 95 % de toutes les tâches cognitives et physiques ». Un taux de chômage de 74 % est lui aussi presque impossible ; bien avant d’atteindre ce niveau, un effondrement économique ferait déjà dérailler le développement de l’IA lui-même
Le remplacement du cheval par l’automobile, le passage du premier vol à l’alunissage, ou encore l’évolution d’Internet de ses débuts à sa diffusion de masse relèvent d’une logique comparable. Il suffisait généralement de 10 à 20 ans pour qu’une nouvelle technologie progresse rapidement et transforme complètement la société
Je ne suis pas d’accord avec la prévision pour 2035, mais si l’IA accélère le développement d’une robotique disruptive, ce n’est pas impossible non plus. En 2010, les voitures autonomes et les drones de livraison autonomes semblaient relever d’une science-fiction lointaine, mais 15 ans plus tard, aujourd’hui, ils commencent à être progressivement déployés
Si on ramenait les 95 % à 50~60 %, je serais plutôt enclin à être d’accord. Non pas à cause de l’intuition, mais parce que, lorsqu’une tendance exponentielle existe, elle produit des résultats que l’instinct n’anticipe pas. Malgré tout, 95 % reste beaucoup trop élevé
Au moins pour les LLM, il semble qu’on ne soit plus au début d’une courbe exponentielle, mais déjà au sommet d’une courbe en S. De meilleures données d’entraînement produisent de petites améliorations, de meilleures architectures réduisent la quantité de calcul, et des centres de données géants permettront un usage bon marché et généralisé. Mais rien de tout cela n’augmente l’intelligence de façon exponentielle
L’écart cognitif actuel des LLM semble structurel, mais si une architecture de type Transformer nouvelle ou étendue le résout, cela ouvrirait une phase complètement différente. Ce qu’il faut, c’est une nouvelle architecture d’apprentissage en post-entraînement ; l’extension de la fenêtre de contexte n’est pas la réponse. Il faut un véritable processus d’apprentissage continu et de révision
Ce texte a été écrit par les auteurs de AI 2027
En revanche, elle est étrangement obsédée par la géopolitique et la Chine, tout en sous-estimant fortement cette dernière. La Chine accorde de l’importance à l’enseignement supérieur et à un approvisionnement électrique suffisant, et permet à des personnes intelligentes de travailler sans être arbitrairement contraintes par des interdictions et des contrôles à l’exportation, ni excessivement protégées par le protectionnisme financier. Rien que cela suffit à la rendre très susceptible de dépasser bientôt les entreprises américaines en innovation et capacité de calcul
Le texte utilise une citation de Sam Altman : « l’IA mènera probablement à la fin du monde, mais d’ici là il y aura de formidables entreprises »
Existe-t-il une source journalistique fiable montrant qu’il ne s’agissait pas d’une plaisanterie improvisée ? Le texte renvoie à une vidéo YouTube sortie de son contexte et traite cela comme une déclaration glaçante.
Dans l’interprétation la plus malveillante, on peut imaginer un méchant qui pense pouvoir provoquer l’apocalypse posthume tant qu’il ne subit pas d’inconfort de son vivant, mais cela ne correspond pas au contexte de la citation. C’est si absurde qu’il est difficile d’y voir quelque chose qu’un être humain socialement fonctionnel dirait sérieusement.
Je me demande si les gens la déforment volontairement ou s’ils croient réellement qu’il s’agit de sa conviction. Si c’est le cas, j’aimerais aussi qu’on m’explique comment quelqu’un peut en venir à penser ainsi.