Pourquoi l’AGI ne semble pas imminente

• L’auteur estime que l’AGI (intelligence artificielle générale) n’apparaîtra pas dans un avenir proche
• Les LLM (grands modèles de langage) montrent des capacités remarquables, mais manquent de la faculté d’apprendre en continu et de s’améliorer progressivement comme les humains
• Les LLM actuels ont des limites pour se personnaliser via le feedback utilisateur ou accumuler du contexte, ce qui constitue un obstacle majeur à l’automatisation réelle du travail de bureau
• Des défis concrets comme l’usage de l’ordinateur et les données multimodales devraient progresser lentement en raison du manque de données, de la durée des tâches et de la difficulté technique
• À long terme, l’auteur s’attend à des changements très brusques lorsque l’apprentissage en ligne deviendra possible, mais ne pense pas que cela sera facile à réaliser dans les dix prochaines années

---

Introduction et discussion sur le calendrier de l’AGI

• L’auteur présente son point de vue à partir de discussions menées avec divers experts sur le moment où l’AGI pourrait être atteinte
• Certains prédisent l’arrivée de l’AGI dans 2 ans, d’autres dans 20 ans, mais en date de juin 2025, l’auteur ne pense pas que son arrivée soit imminente

Les limites de l’apprentissage continu (Continual Learning)

• Beaucoup estiment que la technologie IA actuelle est déjà plus transformatrice économiquement qu’Internet, mais l’auteur n’est pas d’accord
• Si les entreprises du Fortune 500 n’utilisent pas les LLM pour transformer en profondeur le travail, ce n’est pas à cause du conservatisme des dirigeants, mais du manque d’apprentissage continu de l’IA actuelle
• En construisant et en utilisant lui-même divers outils fondés sur des LLM, l’auteur a constaté que les LLM obtiennent un résultat d’environ 5/10 sur les tâches répétitives, mais qu’ils manquent de capacité d’amélioration progressive
• Les humains gagnent en productivité grâce à la construction du contexte, à l’analyse de leurs propres échecs et à l’acquisition de petites améliorations par la répétition, tandis que les LLM ne disposent pas de voie de transmission de feedback de haut niveau et qu’un simple ajustement de prompt ne permet pas un « apprentissage » à la manière humaine
• Il existe bien du fine-tuning RL (RLHF), mais cela reste loin d’un apprentissage adaptatif et organique comparable à celui des humains, ce qui constitue une contrainte décisive pour l’automatisation des tâches réelles
• Il n’existe pas encore de solution satisfaisante permettant à un modèle d’IA de construire, mémoriser et enrichir un contexte de travail comme le ferait un employé humain
• Un certain apprentissage contextuel peut avoir lieu au sein d’une session, mais tout le contexte appris est perdu une fois la session terminée
• Des approches comme la mémoire à long terme (rolling context window) sont explorées, mais le résumé de connaissances empiriques riches reste brittle (fragile), et cela fonctionne encore moins efficacement hors des domaines textuels
• Même si les progrès de l’IA stagnaient à leur niveau actuel, il resterait difficile de remplacer de nombreux métiers de bureau avec cette technologie, car la capacité humaine à apprendre le contexte demeure un avantage concurrentiel
• Autrement dit, c’est au moment où la technologie d’apprentissage continu sera réellement mise en œuvre que la valeur de l’IA augmentera de manière discontinue; et si cette technologie devient possible, le partage de l’apprentissage entre plusieurs instances pourrait mener à une superintelligence plus rapide que chez l’humain
• Toutefois, comme les laboratoires ont aussi intérêt à publier d’abord des versions imparfaites avant d’avoir totalement achevé une innovation, l’auteur s’attend à voir des signes avant-coureurs avant un véritable saut de l’apprentissage continu

Les difficultés concrètes de l’usage de l’ordinateur et de l’automatisation

• Lors d’échanges avec des chercheurs d’Anthropic, l’auteur a entendu la prédiction selon laquelle des agents d’usage informatique vraiment fiables apparaîtraient d’ici fin 2026, mais il reste sceptique
• Des agents d’usage informatique existent déjà aujourd’hui, mais leur efficacité reste faible en pratique
• Pour automatiser une tâche réelle comme une déclaration fiscale, il faut plusieurs systèmes, une exécution prolongée de l’agent et le traitement de données multimodales variées, ce qui ralentit fortement les processus d’apprentissage et de validation
• Contrairement aux données de préentraînement textuelles existantes (par exemple les vastes corpus web utilisés pour les modèles de langage), les jeux de données multimodaux pour l’usage informatique sont insuffisants, ce qui laisse penser que le développement d’agents fiables prendra du temps
• Même les nouveaux algorithmes prometteurs nécessitent des années d’ajustements d’ingénierie avant un déploiement réel, de sorte que les progrès sur les tâches d’usage informatique devraient rester assez lents

Le perfectionnement du raisonnement et ses limites

• Les modèles récents comme Gemini 2.5 montrent effectivement des capacités de raisonnement, notamment dans l’interprétation de l’intention du locuteur, l’auto-vérification logique et la réaction au contexte
• Claude Code, par exemple, peut rapidement générer du code fonctionnel à partir d’une simple spécification, ce qui laisse clairement entrevoir des signes encore rudimentaires d’« intelligence générale » dans un large éventail de domaines
• Dans les domaines où les meilleurs LLM manifestent leurs capacités, ils peuvent produire des résultats assez impressionnants

Prévisions à court et long terme sur l’IA et l’AGI

• L’auteur insiste sur le fait qu’il garde une vision probabiliste de ses prévisions et souligne qu’il reste donc pertinent de se préparer malgré tout
• Il serait prêt à parier avec une probabilité de 50 % sur les points suivants
  • D’ici 2028 : l’IA pourrait atteindre un niveau lui permettant de gérer de bout en bout la déclaration fiscale d’une petite entreprise
    • Les capacités actuelles d’usage informatique en sont encore au niveau de GPT-2, et la rareté des données ainsi que la longueur de l’horizon temporel rendent l’optimisation difficile
    • De belles démos apparaîtront sans doute en 2026–2027, mais l’auteur juge peu probable un niveau d’autonomie totale sur des tâches complexes et longues
  • D’ici 2032 : l’IA pourrait apprendre au travail de manière naturelle et progressive comme un humain, au point d’intégrer après quelques mois d’adaptation autant de contexte, de préférences et de savoir-faire qu’un employé humain
    • Même si l’implémentation d’un apprentissage continu en ligne ne paraît pas imminente, une percée fondamentale pourrait survenir sur une période de 7 ans

Les facteurs limitants du progrès de l’IA et les perspectives futures

• Le moment d’arrivée de l’AGI suit une distribution probabiliste très étalée (log-normale), et les progrès de l’IA ont été étroitement liés, au cours des 10 dernières années, à l’augmentation de la puissance de calcul (training compute)
• Cette hausse de la puissance de calcul devrait atteindre une limite après 2030, et l’innovation algorithmique deviendra alors le principal goulet d’étranglement
• En l’absence de changement de paradigme majeur, la probabilité annuelle d’apparition de l’AGI pourrait diminuer avec le temps
• Si le pari sur un horizon « long » s’avère juste, le monde quotidien pourrait ne pas être profondément transformé d’ici 2030–2040; à l’inverse, si les limites actuelles de l’IA sont surmontées, des changements extrêmement radicaux pourraient se produire

[mirea0]

Je pense que l’AGI ne se réalisera pas à cause de limites physiques en matière de persistance et d’apprentissage.
Ce sont littéralement des limites physiques, pas un manque de capacités technologiques.
Je pense que si l’on franchissait une étape de plus vers l’AGI en supprimant ces limites, il serait alors difficile de revenir en arrière, et comme les développeurs d’IA le savent eux aussi, ils se contentent de faire évoluer les systèmes pour des services spécifiques au lieu d’essayer de lever ces limitations.

[iolothebard]

Je suis tout à fait d'accord avec vous !

[GN⁺]

Avis Hacker News

• « Je pense qu’un point vraiment important est que les LLM ont une limite fondamentale : ils ne s’améliorent pas progressivement avec le temps comme les humains. Les performances de base d’un LLM peuvent être supérieures à celles d’un humain moyen sur de nombreuses tâches, mais il n’existe aucun moyen de lui fournir un feedback de haut niveau, donc il ne peut pas s’améliorer au-delà de son état de sortie de boîte. À mon avis, c’est une limite courante des réseaux de neurones. Des systèmes comme le Driver de Waymo évitent ce problème. Par exemple, quand Waymo rencontre un problème en circulation, l’entreprise exécute diverses simulations, transforme la situation problématique sous plusieurs formes, puis réentraîne le Driver. La méthode exacte n’est pas publique, mais ils ont indiqué que c’était une architecture différente d’un réseau de neurones end-to-end. Waymo a tenté un projet interne basé sur un réseau de neurones end-to-end, mais comme il était moins bon que le système actuel, ils utilisent maintenant autre chose, et très peu de gens savent précisément quoi. »
  • « Même si les LLM ne progressent pas graduellement comme les humains, l’important est qu’on peut étendre leurs capacités avec des outils comme Prolog. Je pense que la prochaine étape de l’IA consiste à permettre aux LLM d’utiliser de meilleurs outils ou de meilleures stratégies. Par exemple, on peut imaginer une architecture mûre qui intègre règles logiques, algorithmes heuristiques et agents LLM finement ajustés, afin de les utiliser comme outils du LLM. Il faut aussi noter que la pression économique accélère particulièrement le développement de l’IA militaire. Avec un système Prolog, un LLM pourrait ajouter des faits à une base de données, inférer de nouvelles relations et apprendre en continu. On pourrait aussi introduire des heuristiques capables de proposer de nouveaux modèles ou de nouvelles méthodes pour l’exploration. »
  • « Si j’ai bien compris, Waymo est un système conçu par des humains qui combine heuristiques, règles, réseaux de neurones et d’autres techniques. Ce n’est pas un réseau de neurones end-to-end complet. L’expression AI-ish est bien trouvée, car par conception on est loin de l’AGI. »
  • « Je suis surpris que si peu de gens posent une question comme celle-ci : et si l’IA de pointe actuelle rendait déjà les humains bien meilleurs qu’avant ? Une accélération exponentielle de l’auto-amélioration me semble au contraire effrayante. Même si tout se passe parfaitement, les humains auront du mal à rester en tête de la compétition intellectuelle, et ce sera un point d’inflexion difficile à accepter. Si on veut vraiment de l’auto-amélioration, il faudra que les humains s’habituent à devenir inutiles. »
  • « Si vous vous interrogez sur les limites des réseaux de neurones, le récent exposé de John Carmack vaut le détour. Lien YouTube Il aborde directement ce problème autour de la 30e minute. »
  • « La limite de la plupart des IA, c’est qu’elles sont entraînées sur d’énormes volumes de données, donc il faut beaucoup de temps avant qu’un nouveau dataset massif soit prêt. »
• « Les personnes qui disent que l’AGI (intelligence artificielle générale) va arriver bientôt sont en général 1. des gens qui essaient de vendre quelque chose, 2. des gens fascinés par leur propre récit, 3. des gens surexcités pour une autre raison, ou 4. probablement les trois à la fois. Les LLM sont, par conception, bons en langage et corrects pour résumer du texte, mais faibles en logique et très faibles en raisonnement spatial. Ils relient donc mal les concepts. Si vous demandez à un LLM connu quelle est la tâche non résolue la plus difficile, tous domaines confondus, vous obtiendrez peut-être un article de vulgarisation scientifique, mais rempli d’erreurs subtiles et décisives ; la réponse a l’air crédible, mais en réalité c’est du déchet. »
  • « Les LLM ne sont rien d’autre que des outils qui compressent leur dataset d’entraînement puis offrent une fonction de recherche interactive basée sur le texte. »
  • « Je pense que le mot-clé ici, c’est “flou”. Les LLM sont globalement intelligents, donc de mon point de vue nous sommes déjà entrés dans l’ère de l’AGI, mais beaucoup de gens semblent définir l’AGI comme une “IA surhumaine”. Avec ce critère, nous n’y sommes pas encore et ce ne sera probablement pas simple. Pour moi, c’est déjà l’ère de l’AGI. »
  • « Les LLM fonctionnent remarquablement bien dans le monde de texte que nous avons créé, mais ce ne sont pas des entités en quête de vérité. Les êtres vivants meurent d’erreurs fatales ; l’IA, même quand elle se trompe, ne fait que générer des milliers de tokens. »
  • « Je suis d’accord pour dire que le manque de recherche de la vérité est un problème des LLM, mais comme on retrouve souvent ce trait chez les humains, ça ne me semble pas être une critique si impressionnante. Si on reprend la définition initiale de l’AGI — être capable d’accomplir presque toutes les tâches au niveau du médian humain ou au-delà — alors on en est déjà assez proche, et d’ici cinq ans l’IA pourra probablement rivaliser avec des experts sur les tâches non physiques (pour les tâches physiques, je dirais plutôt 5 à 10 ans). Il est vrai que les LLM sont forts en langage, mais je pense justement que cela reflète leur niveau d’intelligence. Je trouve aussi qu’on exagère parfois leur faiblesse en raisonnement spatial : ils se sont beaucoup améliorés par rapport aux anciens modèles spécialisés sur ce point. Même s’ils restent en dessous de l’humain, le simple fait qu’on applique les modèles récents à des robots et que cela fonctionne réellement montre déjà un progrès rapide selon les standards de l’IA. »
  • « Ma définition personnelle de l’AGI, c’est ceci : si une IA fait mieux que les 5 % les moins performants des professionnels d’un domaine sur presque toutes les tâches de ce domaine, alors on peut considérer que l’AGI est atteinte. Je pense que les capacités intellectuelles du 5e centile inférieur chez l’humain relèvent toujours de “l’intelligence” ; donc si une IA est meilleure qu’une part importante de l’humanité dans tous les domaines, il faut l’appeler AGI. Il faut qu’elle soit meilleure dans l’ensemble des tâches intellectuelles, pas seulement dans un domaine unique. »
• « J’espère sincèrement que l’AGI n’arrivera pas de sitôt. Socialement et politiquement, nous ne sommes absolument pas prêts, et l’avenir de l’humanité pourrait facilement basculer vers la dystopie. Or, même avec un léger gain d’efficacité énergétique et quelques améliorations mineures, l’IA actuelle devient déjà extrêmement utile dans de nombreux domaines, et même cela, la société humaine n’est pas encore prête à l’absorber. Le problème, c’est que les entreprises qui construisent des foundation models ont peu de moyens clairs de récupérer tout l’argent qu’elles ont dépensé jusqu’ici ; elles semblent donc n’avoir d’autre choix que de viser une percée majeure ou de forcer l’adoption de l’IA dans un grand nombre de secteurs. »
  • « Je ressens la même chose, et j’espère sincèrement que cette bulle va éclater bientôt. On parle de Meta qui aurait investi 100 milliards de dollars dans la réalité augmentée ; ce type au conseil continue à se lancer dans des paris insensés au lieu de simplement réduire les dépenses publicitaires. Des gens comme Altman aussi ont désormais choisi une voie sans retour et essaieront d’encaisser le plus d’argent possible tant qu’ils le peuvent. Tout ce qu’il nous reste à souhaiter, c’est que ces gens échouent comme lors de la bulle Internet. »
  • « Vu l’ampleur des investissements dans l’IA, rien que les charges d’amortissement dépassent déjà le total du chiffre d’affaires de l’ensemble des entreprises d’IA, et beaucoup de gens négligent la question de la récupération de ces coûts fixes. »
  • « Si une seule IA peut pratiquement remplacer tout un secteur sans presque aucun employé, alors récupérer les coûts me semble au contraire très facile. Le potentiel de profit serait énorme. »
  • « Si vous pensez que la crise de la natalité est vraiment grave, alors l’arrivée prochaine de l’AGI pourrait au contraire faire partie de la solution. Il faut peut-être remettre en cause le paradigme selon lequel les problèmes économiques ne peuvent être résolus qu’avec une croissance démographique éternelle. »
  • « L’AGI doit-elle être exactement égale à l’intelligence humaine ? Peut-on la considérer comme AGI si elle excelle sur certaines fonctions et reste faible sur d’autres ? C’est une vraie question. »
• « Je ne suis pas seulement sceptique sur une arrivée prochaine de l’AGI, je ne suis même pas certain qu’elle soit réalisable. Du moins, je pense que ce sera difficile avec le matériel informatique traditionnel. Je ne crois pas que la simple capacité à reformuler joliment l’information suffise à définir ou mesurer l’intelligence. Si l’on parvient un jour à implémenter une vraie intelligence artificielle, elle pourrait au départ paraître très peu intelligente à l’échelle humaine, tout en étant une vraie IA capable d’apprendre seule sans aide extérieure. »
  • « À moins de croire que l’intelligence générale humaine repose sur un élément surnaturel et inmesurable, l’idée que l’AGI serait impossible me paraît réfutée. Après tout, les humains sont eux aussi des machines, donc je pense que le cerveau peut être reproduit d’une manière non biologique. Peut-être que la première AGI sera un cerveau cultivé dans une boîte de Petri avec simplement une API Python, ou peut-être quelque chose de fondé sur le silicium. »
  • « Il faut aussi réfléchir à un autre aspect : si les outils deviennent plus intelligents que moi, comment dois-je réagir ? En ligne, on voit déjà des collègues répondre à des questions avec chatgpt, et parfois la question elle-même a été générée par chatgpt ; on se retrouve donc dans une situation où plus personne ne sait qui a réellement fait quoi. »
  • « À mon avis, la vraie limite de l’intelligence vient des ressources de calcul. La quantité de calcul nécessaire pour bien modéliser un système croît presque exponentiellement à mesure que ce système devient complexe ou chaotique. L’efficacité de l’intelligence ne peut donc fondamentalement se manifester que sur des systèmes simples et ordonnés. La manière la plus pratique et la plus robuste d’agir consiste à éliminer autant que possible les facteurs de variation. Que ce soit de la superintelligence ou non, voilà selon moi la vraie limite de l’intelligence. »
  • « Je suis curieux : pourquoi pensez-vous que c’est impossible ? »
  • « Il n’existe aucune définition claire ni consensus autour de l’AGI. À mon avis, l’IA va simplement continuer à s’améliorer progressivement dans les domaines où elle est déjà bonne — génération de texte, d’images, de code, etc. Le fantasme d’une IA qui résoudrait tous les problèmes de tout le monde pendant que l’humanité profite d’une prospérité utopique sur la plage n’a aucun ancrage dans la réalité. »
• « Le point de vue de Dwarkesh est frappant. J’aime toujours entendre jusqu’où il pense que les choses peuvent aller. Selon son argument principal, il faut un apprentissage adaptatif, mais on n’en voit pas les signes. Mon intuition, c’est que les frontier labs espèrent que le long contexte résoudra le problème. Avec un contexte long de 10 millions de tokens, on pourrait maintenir correctement l’état interne tout en gérant une grande variété de tâches, mais aujourd’hui les modèles à long contexte ont encore une forte variabilité de qualité selon les fenêtres. Si on reformule la question : dans deux ans, aurons-nous des fenêtres de contexte utiles de plus de 10 millions de tokens ? Je pense que c’est probable. »
  • « Il y avait une entreprise qui prétendait avoir résolu ce problème, mais depuis on n’entend plus qu’un grand silence. »
  • « Même avec le “long contexte”, la question reste : quelle longueur faut-il vraiment ? Chez l’humain, le contexte inclut en pratique des dizaines d’années d’entrées multimodales. »
  • « Je crois Demmis quand il dit que l’AGI arrivera dans les 10 ans. Il a ouvert la voie dans ce domaine depuis longtemps, et OpenAI s’est aussi créé en partie parce qu’ils craignaient le rythme de recherche de Demmis. Je fais confiance à sa prévision : vers 2035, une AGI égale ou supérieure à l’humain dans presque toutes les tâches devrait apparaître. »
  • « Je suis convaincu qu’on introduira bientôt (<5 ans) un véritable test-time learning. Alphaproof (le défi IMO de Deepmind) utilise déjà cette technique. »
• « Une statistique affirme que 54 % des adultes américains ont un niveau de lecture de 6e ou moins. Je me demande si l’AGI n’est pas déjà là. Lien Wikipédia »
  • « Je me demande quel rapport il y a entre l’échec éducatif d’un pays et l’AGI. »
  • « C’est un bon point. Cela dit, j’aimerais aussi voir un LLM faire la lessive et la vaisselle. Même si on lui donnait un corps robotique, ce ne serait pas simple. »
  • « Cela amène à se demander si savoir lire suffit vraiment comme condition de l’AGI. »
  • « D’un point de vue économique, il est plus réaliste de comparer l’AGI à des travailleurs ordinaires affectés à des tâches précises, par exemple la révision de copie. Mieux vaut raisonner en termes d’adéquation au poste qu’en se référant à une moyenne nationale qui a peu de chances d’être embauchée. »
  • « Même des personnes analphabètes peuvent résoudre d’énormes défis que les LLM sont incapables de traiter. »
• « Dans les débats sur les progrès de l’IA, le problème est souvent l’hypothèse implicite selon laquelle l’IA du futur résoudra les problèmes exactement comme les humains. Dans cette optique, l’absence d’apprentissage continu paraît être un défaut fatal. En réalité, dans l’histoire du deep learning, l’apprentissage continu n’a jamais joué un rôle dominant ; ce sont les grands datasets et le scaling qui ont le mieux marché. Pour soutenir de manière convaincante que l’apprentissage continu est indispensable, il faudrait identifier précisément les limites de l’apprentissage inter-tâches et les domaines que l’IA ne pourra absolument jamais atteindre. L’auteur mentionne l’incertitude autour du RL flywheel — l’effet d’accélération quand une très bonne IA de programmation applique le RL de manière répétée — mais l’ensemble du texte me paraît parfois trop sûr de lui. »
  • « Alphaproof utilisait pour chaque problème une forme d’entraînement au moment de l’inférence, inspirée d’AlphaZero, afin de générer des problèmes similaires. »
  • « Si l’apprentissage continu n’a pas été si important dans l’histoire du deep learning, c’est peut-être aussi parce que les praticiens du domaine poursuivaient un autre objectif. Si le but n’est pas l’IA la plus intelligente mais l’IA la plus utile et productive, alors un système moins brillant mais capable d’apprendre de ses échecs peut souvent avoir plus de valeur qu’un génie obstiné. »
• « À mon avis, les LLM actuels reposent sur la prédiction de ce qu’un humain pourrait dire, donc leur intelligence et leur capacité de raisonnement resteront au niveau humain. Leur étendue de connaissances peut dépasser celle d’un humain, mais leur intelligence ou leur créativité peuvent lui être égales ou inférieures. Les entreprises d’IA prédisent que la prochaine génération de LLM produira de nouveaux insights et résoudra des problèmes non résolus, mais je pense qu’un véritable insight nécessite une structure interne capable de régénérer librement des concepts à partir de principes sous-jacents. Les LLM ne peuvent pas empiler de nouveaux niveaux de compréhension, d’où leur limite. Si l’on construisait réellement un système qui, comme le cerveau humain, monte des entrées jusqu’à une compréhension abstraite, alors il pourrait dépasser cette limite. Un nouveau paradigme d’IA pourrait un jour apparaître et écraser les LLM ; honnêtement, j’espère me tromper, ou alors c’est surtout l’ASI (intelligence artificielle surhumaine) qui me fait peur. »
  • « Même si l’on obtient une IA au niveau humain, une machine, contrairement à un humain, peut devenir immédiatement 10 fois plus rapide en augmentant simplement la puissance GPU. La vitesse seule constitue déjà une capacité surhumaine, sans parler du fait qu’on peut exécuter plusieurs fois le même système pour explorer simultanément diverses approches et choisir la meilleure. Sur les tâches vérifiables, l’avantage serait énorme. »
  • « Les LLM actuels n’évoluent plus comme de simples prédicteurs de phrases humaines, mais de plus en plus vers la prédiction de tokens liés à la bonne réponse dans des problèmes de mathématiques ou de programmation. »
• « La plupart des discussions ici sont pessimistes sur l’IA, alors que l’auteur lui-même estime à 50 % la probabilité d’atteindre l’AGI d’ici le début des années 2030, et dit aussi qu’il faut se préparer à la possibilité qu’une ASI évolue dans une mauvaise direction d’ici 2028. Autrement dit, l’auteur est plutôt optimiste sur l’IA. »
  • « Si une ASI dysfonctionne dans les trois ans, alors j’ai l’impression qu’aucune mesure de préparation n’aura la moindre utilité. »
• « Je pense que le fait que plus personne ne publie la taille de ses modèles est déjà le signe que l’entraînement a atteint une limite, un mur. »

[kandk]

Toujours la même rengaine jusqu’ici.