Andrej Karpathy – l’AGI n’arrivera pas avant 10 ans

• Andrej Karpathy affirme qu’il ne s’agira pas de « l’année des agents » mais de « la décennie des agents », réfutant les prévisions excessives de l’industrie de l’IA et estimant qu’environ dix ans d’améliorations progressives seront nécessaires
• Les LLM actuels manquent encore de fonctions cognitives clés comme l’apprentissage continu, les capacités multimodales et l’usage de l’ordinateur, et il estime qu’il faudra environ dix ans pour résoudre ces problèmes
• Contrairement au matériel intégré que l’évolution a donné aux animaux, les LLM sont une sorte de « présence fantomatique » issue de l’imitation des données d’Internet ; il s’agit d’une autre forme d’intelligence, et les comparer directement aux animaux est inapproprié
• Le RL (apprentissage par renforcement) est très inefficace, tandis que les méthodes alternatives ne sont pas encore assez avancées. En raison des problèmes de model collapse et d’oubli des LLM, ils ont des limites lorsqu’il s’agit d’absorber ou de faire évoluer naturellement les connaissances de façon continue, comme le fait le cerveau humain
• Le pré-entraînement est une « évolution de mauvaise qualité », un processus qui compresse drastiquement 15 billions de tokens dans quelques milliards de paramètres, ne laissant qu’un souvenir diffus des documents d’Internet
• L’AGI finira par s’inscrire dans une trajectoire ordinaire de croissance du PIB de 2 %, et doit être vue comme une extension progressive du computing, sans attendre de saut discontinu (y compris dans le débat sur la superintelligence)

---

Moment d’arrivée de l’AGI et vitesse de progression de l’IA

• Andrej Karpathy souligne que « l’ère des agents IA n’est pas pour cette année, mais relève d’un processus sur dix ans ».
• Aujourd’hui, plusieurs agents IA comme Claude ou Codex sont utiles, mais restent insuffisants en apprentissage continu, traitement multimodal et usage complexe de l’ordinateur
• Pour que l’AGI fonctionne réellement comme un employé humain ou un stagiaire, il faudra résoudre des difficultés majeures comme l’amélioration de l’intelligence, la mémoire persistante et l’acquisition de capacités multiples
• Concernant les prévisions de progression du secteur de l’IA, Karpathy estime, sur la base de plus de 15 ans d’expérience sur le terrain, que ces difficultés peuvent être surmontées mais sont considérables, d’où un horizon d’environ dix ans

Réorientations dans la recherche en IA à ses débuts

• Avant AlexNet, le deep learning était un sujet de niche, mais en 2012, AlexNet a provoqué le premier grand bouleversement en réorientant tout le domaine vers l’entraînement de réseaux neuronaux
• Vers 2013, le deep reinforcement learning appliqué à Atari allait dans la mauvaise direction, et l’approche initiale d’OpenAI centrée sur les jeux était également une erreur
  • Il était sceptique face à l’idée que les jeux mèneraient à l’AGI, estimant qu’une interaction avec le monde réel était nécessaire
  • Le projet Universe d’OpenAI arrivait trop tôt et les récompenses y étaient trop rares, rendant l’apprentissage impossible
• Les agents bâtis au-dessus des LLM constituent la bonne voie : il faut d’abord acquérir une capacité de représentation, puis construire les agents
  • L’approche actuelle consistant à entraîner des agents capables d’utiliser un ordinateur au-dessus de grands modèles de langage est pertinente
  • Il faut d’abord obtenir des représentations via le pré-entraînement et le travail sur les LLM pour rendre possible le travail d’agent
• Dans l’ensemble, le domaine de l’IA a évolué selon une dynamique perceptron/réseaux neuronaux → agents (RL) → LLM/renforcement de l’apprentissage de représentations

Différences entre l’apprentissage humain et l’évolution animale

• Chez les animaux (par ex. les zèbres), des comportements complexes sont génétiquement intégrés par l’évolution ; la recherche en IA ne reproduit pas réellement ce processus évolutif et utilise surtout l’apprentissage par imitation à partir de ressources Internet (pre-training)
• Les LLM actuels sont structurellement différents des organismes issus de l’évolution. Les êtres vivants naissent avec un hardware (réseau neuronal), tandis que l’IA est décrite comme un « fantôme » logiciel
• Les similarités entre le cerveau humain et l’IA ne doivent servir que de référence limitée ; une approche centrée sur l’objectif pratique (l’utilité) est plus réaliste

Apprentissage en contexte vs pré-entraînement

• Le pré-entraînement est le résultat de la compression d’une masse énorme d’informations issues d’Internet, et les connaissances que le modèle en conserve sont floues et partielles
  • Pour une question réelle, l’information présente dans la fenêtre de contexte est utilisée plus directement, comme une « mémoire de travail »
• L’apprentissage en contexte correspond à une forme de mémoire de travail, le pré-entraînement à une forme diffuse de mémoire à long terme
  • Tout ce qui se trouve dans le cache KV est une mémoire de travail directement accessible au réseau neuronal
  • Tout ce qui est dans les poids est un souvenir diffus de ce qui a été lu il y a un an
• L’apprentissage en contexte pourrait implémenter en interne une descente de gradient
  • Des travaux sur la régression linéaire ont mis en évidence des similarités entre les poids de réseaux neuronaux et les mécanismes de descente de gradient
  • En apprenant à compléter des motifs, le réseau neuronal amorce de petits circuits et algorithmes en son sein
• 0,07 bit par token en pré-entraînement contre 320 kilobytes par token en apprentissage en contexte
  • L’apprentissage en contexte assimile 35 millions de fois plus d’information par token
  • Cette différence spectaculaire de taux de compression reflète une différence fondamentale de mode d’apprentissage

Différences cognitives entre l’humain et les LLM

• Absence de régions cérébrales comme l’hippocampe ou l’amygdale
  • Les transformers correspondent à une organisation de type cortical et possèdent des capacités de raisonnement comparables au cortex préfrontal
  • Des régions clés comme l’hippocampe (mémoire) et l’amygdale (émotion) ne sont pas reproduites
• Absence de mécanisme d’apprentissage continu
  • Chez l’humain, les informations contextuelles accumulées dans la journée sont distillées dans les poids internes via des processus comme le sommeil
  • Les LLM redémarrent à zéro token à chaque session et n’ont pas de phase de distillation. Autrement dit, ils n’ont pas de mécanisme équivalent de mémoire à long terme / d’apprentissage continu
• L’apprentissage par renforcement est « terrible »
  • Tous les tokens d’un rollout ayant obtenu la bonne réponse sont surpondérés, malgré le bruit
  • C’est une façon « d’aspirer de la supervision à travers une paille », où seule la récompense finale sert à évaluer toute la trajectoire
  • Les humains évaluent chaque partie via un processus de revue complexe, mais les LLM n’ont pas d’équivalent

Limites de la supervision basée sur le processus

• Possibilité de tromper les juges LLM
  • Lorsqu’on utilise un LLM pour attribuer des récompenses, il est presque garanti de trouver des exemples adversariaux
  • Des sorties absurdes comme « dhdhdhdh » ont déjà obtenu 100 % de récompense
• Fragilité en généralisation hors distribution
  • Pour des entrées jamais vues à l’entraînement, les juges LLM peuvent attribuer des scores extrêmes
  • L’amélioration par entraînement itératif est possible, mais il existe une infinité d’exemples adversariaux avec un modèle d’un billion de paramètres
• Nécessité de données synthétiques et de revue
  • Des approches sont testées pour faire du méta-apprentissage via la revue de solutions et la génération d’exemples synthétiques
  • À l’échelle des laboratoires de frontier LLM, aucune méthode réellement convaincante ne fonctionne encore avec une généralité complète

Apprentissage humain vs apprentissage des LLM

• Les humains utilisent très peu l’apprentissage par renforcement
  • La plupart du RL humain concerne des tâches motrices comme lancer un ballon au basket
  • Pour les tâches intellectuelles comme la résolution de problèmes, nous n’utilisons pas le RL
• Lire un livre sert de prompt à la génération de données synthétiques
  • Les humains lisent un livre, manipulent l’information et acquièrent des connaissances
  • Les LLM ne font que dérouler des séquences de texte et apprendre à prédire le token suivant
• Problème de model collapse
  • Les échantillons de LLM sont individuellement plausibles, mais la distribution s’effondre silencieusement
  • ChatGPT répète seulement trois blagues (sans couvrir toute l’étendue possible des blagues)
  • Les humains aussi s’effondrent avec le temps, mais les enfants, qui ne sont pas encore surajustés, peuvent encore avoir des sorties surprenantes

Équilibre entre mémorisation et généralisation

• Les LLM excellent dans la mémorisation
  • Même des séquences totalement aléatoires peuvent être récitées en entier après une ou deux répétitions
  • Les humains sont incapables de réciter des suites de nombres aléatoires
• La capacité de mémorisation n’est pas un bug mais une fonctionnalité
  • Les humains sont forcés d’apprendre uniquement des composants généralisables
  • Les LLM sont parasités par les souvenirs des documents de pré-entraînement
• Il faut retirer les connaissances du noyau cognitif
  • Il anticipe un noyau cognitif d’environ 1 milliard de paramètres
  • Il faut retirer les connaissances et ne conserver que les algorithmes et les stratégies
  • Cela pourrait être résolu par le nettoyage du jeu de pré-entraînement et la distillation vers un modèle plus petit

Axes d’amélioration à venir et perspectives techniques

• Au cours des dix prochaines années, il estime que des progrès significatifs exigeront des avancées simultanées dans tous les domaines : architecture, optimisation (optimizer), fonction de perte, données, software et hardware
• La structure Transformer actuelle et l’approche deep learning devraient en partie perdurer, mais avec sparse attention, une puissance de calcul accrue et des données à très grande échelle
• Jusqu’ici déjà, il apparaît clairement que l’amélioration conjointe de plusieurs composantes a compté plus qu’un facteur unique isolé

Défauts cognitifs des LLM et usage des outils de code

• Les LLM sont souvent utilisés comme assistants de programmation, mais ils ont de nombreuses limites pour l’écriture de code exigeant de la concentration, avec une conception et une approche propres
• En pratique, trois modes sont souvent mélangés : (1) écriture entièrement manuelle, (2) usage de l’autocomplétion, (3) approche « agent »
• Les LLM conviennent bien au code de base lorsqu’il est répétitif et riche en bons exemples, mais pour du code original où la structure compte, ils ont tendance à s’accrocher aux styles existants, à ajouter une complexité inutile et à mal interpréter les conventions
• Exemple concret : bien qu’il ne souhaite pas utiliser de conteneur PyTorch DDP, le LLM a continué à le recommander, ce qui a nui au respect du style de code et du mode d’implémentation souhaités

Retour d’expérience sur le développement de nanochat

• Les LLM sont mal adaptés aux codebases atypiques
  • Utiles surtout pour le code passe-partout et ce qu’on voit souvent sur Internet
  • nanochat est très dense intellectuellement et exige des agencements précis, ce que les modèles interprètent sans cesse de travers
• L’autocomplétion est le mode d’usage optimal
  • Le vibe coding ne fonctionne que dans certaines configurations
  • L’autocomplétion offre une grande bande passante informationnelle dès les premières lettres
• Utile pour apprendre un nouveau langage comme Rust
  • Avec une implémentation de référence en Python et des tests, on peut faire du vibe coding en sécurité
  • Cela améliore l’accessibilité à des langages ou paradigmes peu familiers

La réalité de l’automatisation de l’ingénierie IA

• Les modèles actuels ne suffisent pas à automatiser la recherche en IA
  • Le code, parce qu’il est textuel, est un premier terrain parfaitement adapté aux LLM
  • Ils ne sont pas très bons pour du code qui n’a jamais été écrit auparavant
• L’écart entre démo et produit
  • Il existe des démos de conduite autonome depuis les années 1980, mais la mise en produit a pris très longtemps
  • La « marche des 9 » — chaque 9 représente une certaine charge de travail, et il faut des améliorations continues de 90 % à 99,999 %
• Une explosion de l’intelligence ne se verrait pas sur la courbe du PIB
  • Même des technologies transformatrices comme l’ordinateur ou l’iPhone sont introuvables dans le PIB
  • Tout est trop diffus et se propage trop lentement, donc ramené à la même moyenne de 2 %

Les leçons de la conduite autonome

• La conduite autonome n’est toujours pas terminée
  • Même Waymo a très peu de véhicules et opère de façon non économique
  • Des humains restent dans la boucle depuis des centres de téléopération
• Le point commun des domaines à seuil critique de sécurité
  • En génie logiciel aussi, le coût des erreurs est élevé (failles de sécurité, etc.)
  • Il faut une « marche des 9 » comparable à celle de la conduite autonome
• L’approche scalable de Tesla
  • Waymo a commencé tôt avec beaucoup de capteurs
  • Tesla est avantagé à long terme avec une stratégie plus scalable

Conduite autonome vs IA pour le travail de connaissance

• Le domaine des bits est un million de fois plus facile que le monde physique
  • Les bits peuvent être modifiés et réarrangés rapidement
  • L’adaptation industrielle devrait être bien plus rapide
• Différence de dépenses en capital
  • La conduite autonome exige une voiture entièrement nouvelle pour chaque copie
  • Un modèle d’IA peut fournir des instances supplémentaires avec le seul coût d’inférence
• La complexité de l’acceptation sociale
  • Il faut résoudre les aspects juridiques, assurantiels et réglementaires
  • Il existera dans l’IA un équivalent de ceux qui posent des cônes sur les voitures Waymo

La vision d’Eureka Labs

• Construire la Starfleet Academy
  • Une institution de formation d’élite pour les technologies de pointe
  • Fournir les connaissances les plus récentes, y compris sur l’IA
• Après l’AGI, l’éducation devient un loisir
  • Avant l’AGI : une éducation utile pour gagner de l’argent
  • Après l’AGI : une éducation récréative, comme aller à la salle de sport
• En attente du tuteur IA parfait
  • L’expérience d’un tuteur particulier de coréen sert de référence
  • Comprendre le niveau de l’élève, proposer le bon défi et transmettre l’information parfaitement
  • C’est impossible avec les capacités actuelles, mais cela deviendra possible à l’avenir

Principes de conception des supports pédagogiques

• Une manière de penser de physicien
  • Comprendre un système en termes de premier, deuxième et troisième ordre
  • Construire des modèles et des abstractions
  • La valeur de l’hypothèse de la « vache sphérique »
• Présenter la difficulté avant la solution
  • Donner d’abord à l’élève l’occasion d’essayer
  • Le motiver par des prompts avant de lui donner la solution
• L’exemple de micrograd
  • Montrer l’essentiel de la rétropropagation en 100 lignes
  • Tout le reste n’est qu’efficacité
  • Il ne s’agit que de l’application récursive de la règle de la chaîne

Stratégies d’apprentissage efficaces

• Approfondir d’abord, apprendre selon le besoin
  • Apprendre en obtenant une récompense via un projet précis
  • Alterner avec un apprentissage en largeur (façon école)
• Expliquer aux autres
  • Cela force à repérer et combler les lacunes de compréhension
  • On manipule la connaissance, ce qui mène à une compréhension plus profonde
• Les discussions au déjeuner > les articles de recherche
  • Trois phrases entendues autour d’une bière en conférence sont plus claires qu’un article

J’aime réexpliquer les choses, et tout le monde devrait faire pareil. Cela oblige à manipuler la connaissance et à s’assurer qu’on comprend vraiment ce qu’on raconte quand on l’explique.

---

# [Script complet]

00:00:00 – L’AGI n’arrivera pas avant 10 ans

Dwarkesh Patel 00:00:00

Aujourd’hui, je parle avec Andrej Karpathy. Andrej, pourquoi dites-vous que ce ne sera pas « l’année des agents », mais plutôt « la décennie des agents » ?

Andrej Karpathy 00:00:07

D’abord, merci de m’avoir invité. Je suis très heureux d’être ici.

L’expression que vous venez de citer, « la décennie des agents », est en fait une réaction à une formule déjà en circulation. Je ne sais pas exactement qui l’a lancée, mais il y avait cette idée, liée à l’évolution des LLM, selon laquelle cette année serait « l’année des agents ». Cela m’a un peu fait réagir, parce que je pense qu’il y a beaucoup de prédictions excessives dans le secteur. À mon avis, parler de « décennie des agents » est bien plus juste.

Nous avons déjà des agents impressionnants, bien qu’encore à un stade précoce, et j’utilise moi-même chaque jour des outils comme Claude ou Codex. Mais j’ai toujours le sentiment qu’il reste énormément de travail à faire. Je pense que nous allons travailler sur ces choses pendant encore dix ans. Elles vont s’améliorer progressivement et devenir formidables. Je réagissais simplement à ce calendrier implicite.

Dwarkesh Patel 00:00:58

Qu’est-ce qui vous fait penser que cela prendra dix ans ? Où se situent les goulots d’étranglement ?

Andrej Karpathy 00:01:02

Il faut faire en sorte que cela marche réellement. Quand on parle d’agents, ce que les labos d’IA ont en tête — et c’est probablement aussi ce que j’ai en tête —, c’est quelque chose comme un employé ou un stagiaire qu’on embaucherait pour travailler avec soi. Par exemple, vous travaillez ici avec des employés. À partir de quand voudriez-vous que des agents comme Claude ou Codex fassent ce travail ?

À l’heure actuelle, c’est évidemment impossible. Qu’est-ce qu’il faudrait pour que cela devienne possible ? Pourquoi ne les utilisons-nous pas aujourd’hui ? La raison est simple : cela ne fonctionne pas correctement. Ils ne sont pas assez intelligents, n’ont pas des capacités multimodales suffisantes, et ne savent pas faire des choses comme utiliser un ordinateur.

Ils ne peuvent pas accomplir beaucoup de ce que vous avez mentionné plus tôt. Ils n’ont pas de capacité d’apprentissage continu. On ne peut pas leur dire quelque chose et s’attendre à ce qu’ils s’en souviennent. Il leur manque beaucoup de choses sur le plan cognitif et, tout simplement, cela ne marche pas bien. Résoudre l’ensemble de ces problèmes prendra environ dix ans.

Dwarkesh Patel 00:01:44

C’est intéressant. En tant que podcaster professionnel et observateur de l’IA à distance, il est facile de voir ce qui manque : l’apprentissage continu, les capacités multimodales, ce genre de choses. En revanche, je n’ai aucun bon moyen de leur associer un calendrier. Si quelqu’un me demandait combien de temps prendra l’apprentissage continu, je n’aurais aucune intuition pour savoir s’il s’agit d’un projet à 5 ans, 10 ans ou 50 ans. Pourquoi dix ans ? Pourquoi pas un an, ou cinquante ?

Andrej Karpathy 00:02:16

Là, on entre dans mon intuition personnelle, fondée sur mon expérience du terrain. Je suis dans l’IA depuis presque vingt ans. Enfin, peut-être plutôt quinze ans. Ce n’est pas si long. Richard Sutton, qui est passé ici, est là depuis bien plus longtemps. Moi, j’ai environ quinze ans d’expérience, et pendant ce temps j’ai vu les prédictions des gens, puis la manière dont elles se réalisaient. J’ai aussi passé du temps dans l’industrie, dans la recherche, puis je suis revenu dans l’industrie. Tout cela m’a laissé une intuition générale.

J’ai le sentiment que les problèmes sont solvables, qu’on peut les surmonter, mais qu’ils restent difficiles. En moyenne, pour moi, cela ressemble simplement à dix ans.

Dwarkesh Patel 00:02:57

C’est très intéressant. J’aimerais entendre, non seulement à travers l’histoire, mais aussi à travers les moments où différentes percées ont eu lieu, ce que ressentaient les gens présents à ce moment-là quant à ce qui allait se passer. En quoi leurs prédictions étaient-elles trop pessimistes ou trop optimistes ? On peut les passer en revue une par une.

Andrej Karpathy 00:03:16

C’est une question extrêmement vaste. On parle de ce qui s’est passé sur 15 ans. L’IA est un domaine vraiment extraordinaire. Il y a eu plusieurs bouleversements quasi tectoniques où l’ensemble du domaine s’est soudainement mis à paraître complètement différent. J’en ai probablement vécu deux ou trois moi-même. Et je pense qu’il y en aura encore. Ils reviennent avec une régularité presque surprenante.

Quand ma carrière a commencé, quand j’ai commencé à travailler sur le deep learning, si je m’y suis intéressé, c’est en grande partie par hasard, parce que je me suis retrouvé à l’Université de Toronto juste à côté de Geoff Hinton. Geoff Hinton est bien sûr une sorte de parrain de l’IA. Il entraînait ces réseaux de neurones, et je trouvais ça incroyable et fascinant. Mais à l’époque, ce n’était absolument pas ce sur quoi tout le monde travaillait principalement en IA. C’était juste un petit sujet de niche dans un coin. Le premier grand bouleversement tectonique, c’était probablement AlexNet.

AlexNet a réorienté tout le monde, et tout le monde s’est mis à entraîner des réseaux de neurones. Mais on restait encore sur des approches par tâche, très spécifiques à chaque tâche. On avait soit un classificateur d’images, soit un système de traduction automatique neuronale, ce genre de choses. Les gens ont commencé très lentement à s’intéresser aux agents. Ils se sont dit : « D’accord, on a coché la case du cortex visuel, mais qu’en est-il des autres parties du cerveau, et comment obtient-on un agent complet ou une entité complète capable d’interagir avec le monde ? »

Le virage du deep reinforcement learning sur Atari vers 2013 faisait, je pense, partie des premiers efforts autour des agents. L’idée n’était plus seulement de percevoir le monde, mais de créer un agent qui agit, interagit et reçoit des récompenses de son environnement. À l’époque, cet environnement, c’était les jeux Atari.

J’ai le sentiment que c’était une mauvaise direction. Même les débuts d’OpenAI auxquels j’ai participé ont adopté cette mauvaise direction. Parce qu’à l’époque, l’air du temps, c’était les environnements de reinforcement learning, les jeux, le gameplay, le fait de gagner à des jeux, d’obtenir toutes sortes de jeux différents, et OpenAI faisait aussi beaucoup de ça. C’était, dans l’ensemble, une petite erreur. Pendant peut-être 2, 3 ou 4 ans, tout le monde appliquait le reinforcement learning aux jeux, et c’était globalement une direction un peu erronée.

Ce que j’essayais de faire chez OpenAI — j’ai toujours été un peu sceptique sur l’idée que les jeux mèneraient à l’AGI. Moi, je voulais quelque chose comme un comptable, quelque chose qui interagit avec le monde réel. Je ne voyais pas comment les jeux pouvaient mener à ça. Par exemple, chez OpenAI, mon projet, dans le cadre du projet Universe, portait sur un agent capable de manipuler des pages web avec un clavier et une souris. Je voulais vraiment créer quelque chose qui puisse interagir avec le véritable monde numérique et faire du travail intellectuel.

Mais il s’est avéré que c’était beaucoup trop tôt, bien trop tôt, au point que nous n’aurions probablement pas dû travailler là-dessus à ce moment-là. Parce que si on tâtonne simplement dans tous les sens, qu’on martèle le clavier et qu’on clique à la souris en essayant d’obtenir des récompenses dans ce type d’environnement, les récompenses sont trop rares pour que l’apprentissage fonctionne. On brûle une quantité énorme de calcul sans jamais obtenir de résultats. Ce qui nous manquait, c’était la capacité de représentation des réseaux de neurones.

Par exemple, aujourd’hui, les gens entraînent des agents d’utilisation d’ordinateur, mais ils le font au-dessus de grands modèles de langage. Il faut d’abord avoir un modèle de langage, il faut d’abord avoir la représentation, et cela passe par le préentraînement et tout le travail lié aux LLM.

Mon impression, en gros, c’est qu’à plusieurs reprises, les gens ont essayé d’obtenir le système complet trop tôt. Je dirais que les gens ont voulu poursuivre les agents trop tôt. Atari et Universe, et même ma propre expérience, allaient dans ce sens. Il y avait en réalité d’autres choses à faire d’abord avant d’arriver aux agents. Aujourd’hui, les agents sont bien plus compétents, mais il est probable qu’il nous manque encore certaines couches de cette pile.

Je dirais que ces trois catégories étaient les grandes orientations du moment : entraîner des réseaux de neurones spécifiques à une tâche, tenter une première génération d’agents, puis chercher à améliorer la capacité de représentation des réseaux de neurones avant d’y ajouter les LLM et tout le reste.

Dwarkesh Patel 00:07:02

Intéressant. Si je devais défendre plus fortement encore la perspective de Sutton, les humains peuvent absorber tout d’un seul coup, non ? Ou même les animaux peuvent tout assimiler d’un seul coup. Les animaux sont peut-être un meilleur exemple, puisqu’ils n’ont même pas l’échafaudage du langage. Ils sont simplement jetés dans le monde et doivent tout comprendre sans aucun label.

Dans ce cas, est-ce que la vision de l’AGI ne devrait pas consister à regarder des données sensorielles, à regarder un écran d’ordinateur, et à comprendre dès le départ ce qui se passe ? Si un humain se retrouvait dans une situation comparable et devait être entraîné à partir de zéro... c’est comme la croissance d’un humain ou d’un animal. Au lieu de faire des millions d’années d’entraînement, pourquoi cela ne pourrait-il pas être la vision de l’IA ?

Andrej Karpathy 00:07:41

C’est une très bonne question. Sutton est passé dans votre podcast, je l’ai regardé, et j’ai écrit sur ma façon de voir les choses. Je suis très prudent avec les analogies avec les animaux. Parce que les animaux sont issus d’un processus d’optimisation très différent. Les animaux ont évolué et arrivent avec une énorme quantité de matériel intégré.

Par exemple, dans mon texte, je prenais l’exemple du zèbre. Un zèbre naît, et quelques minutes plus tard il court déjà partout et suit sa mère. C’est quelque chose d’extrêmement complexe. Ce n’est pas du reinforcement learning. C’est câblé. L’évolution a manifestement un moyen d’encoder les poids de nos réseaux de neurones dans ATCG, et je ne sais pas comment cela fonctionne, mais manifestement, ça fonctionne.

Le cerveau est issu d’un processus très différent, et j’hésite beaucoup à m’en inspirer, parce que nous n’exécutons pas réellement ce processus. Dans mon texte, je disais que nous ne sommes pas en train de fabriquer des animaux. Nous fabriquons des fantômes ou des esprits, quel que soit le nom qu’on veut leur donner, parce que nous ne faisons pas d’entraînement par évolution. Nous faisons un entraînement par imitation des humains et à partir des données qu’ils ont mises sur Internet.

Au final, cela donne ce genre d’entités spirituelles. Elles sont entièrement numériques et imitent les humains. C’est un autre type d’intelligence. Si l’on imagine l’espace des intelligences, nous partons presque d’un autre point. Nous ne fabriquons pas réellement des animaux. Mais avec le temps, il est possible de les rendre un peu plus semblables à des animaux, et je pense qu’il faudrait le faire.

Une autre chose que je dirais, c’est que Sutton est très... son cadre, c’est : « nous voulons fabriquer des animaux ». Je pense que ce serait formidable si on pouvait faire fonctionner ça. Ce serait absolument incroyable. S’il existait un algorithme unique capable de tourner sur Internet et d’apprendre tout, ce serait extraordinaire. Je ne suis pas certain qu’un tel algorithme existe, et ce n’est certainement pas ce que font les animaux. Les animaux ont cette boucle externe qu’est l’évolution.

Une grande partie de ce qui ressemble à de l’apprentissage est plus proche de la maturation du cerveau que de l’apprentissage proprement dit. Je pense qu’il y a très peu de reinforcement learning chez les animaux. La majeure partie du reinforcement learning concerne des tâches motrices. Ce ne sont pas des tâches d’intelligence. Donc en réalité, je pense que les humains utilisent très peu le RL, en gros.

Dwarkesh Patel 00:09:52

Vous pouvez répéter votre dernière phrase ? Le fait qu’une grande partie de cette intelligence ne soit pas une tâche motrice... qu’est-ce que vous vouliez dire exactement ?

Andrej Karpathy 00:09:54

De mon point de vue, une grande partie du reinforcement learning concerne des choses beaucoup plus motrices, des tâches simples comme lancer un ballon dans un panier de basket. Mais je ne pense pas que les humains utilisent le reinforcement learning pour beaucoup de tâches intellectuelles, comme la résolution de problèmes. Ça ne veut pas dire qu’il ne faut pas faire de recherche dans cette direction, mais je pense que c’est précisément là que les animaux agissent — ou n’agissent pas.

Dwarkesh Patel 00:10:17

Il va me falloir un peu de temps pour digérer ça. Il y a beaucoup d’idées là-dedans. Je vais vous poser une question de clarification pour mieux comprendre votre point de vue. Vous suggérez que l’évolution fait quelque chose de semblable à ce que fait le préentraînement, au sens où elle construit quelque chose capable de comprendre le monde.

La différence, c’est que l’évolution, dans le cas des humains, doit être pilotée par 3 gigaoctets d’ADN. C’est très différent des poids d’un modèle. Littéralement, les poids d’un modèle sont le cerveau, et ils ne sont manifestement pas présents dans le spermatozoïde et l’ovule. Ils doivent donc se développer. En outre, les informations sur toutes les synapses du cerveau ne peuvent tout simplement pas tenir dans ces 3 gigaoctets présents dans l’ADN.

L’évolution semble plus proche de la recherche d’un algorithme capable d’apprentissage tout au long de la vie. Bien sûr, cet apprentissage tout au long de la vie ne ressemble peut-être pas au RL, comme vous l’avez souligné. Est-ce compatible avec ce que vous dites, ou bien n’êtes-vous pas d’accord ?

Andrej Karpathy 00:11:17

Je pense que oui. Je suis d’accord sur le fait qu’il se produit manifestement une compression remarquable. Les poids d’un réseau neuronal ne sont évidemment pas stockés dans l’ATCG. Il y a une compression radicale. Ce qui est encodé, ce sont des algorithmes d’apprentissage qui prennent ensuite en charge une partie de l’apprentissage en ligne. Sur ce point, je suis tout à fait d’accord. Je dirais simplement que j’ai une approche beaucoup plus pragmatique. Je n’aborde pas ça avec l’idée de créer des animaux. Je l’aborde avec l’idée de créer quelque chose d’utile. Je porte mon casque de sécurité et j’observe simplement que nous n’allons pas faire de l’évolution. Nous ne savons pas comment faire.

Mais il s’est avéré qu’en imitant les documents de l’internet, on peut créer ces espèces d’entités fantomatiques, presque spirituelles. Et ça marche. C’est une version pragmatiquement réalisable de ce qu’a fait l’évolution, dans le sens où cela vous amène à quelque chose qui possède déjà énormément de connaissances et d’intelligence intégrées. C’est pour ça que j’appelle le pré-entraînement une évolution de seconde zone. C’est la version pragmatiquement faisable avec notre technologie et avec ce que nous avons à disposition, et cela nous amène à un point de départ à partir duquel on peut faire des choses comme l’apprentissage par renforcement.

Dwarkesh Patel 00:12:15

Pour défendre l’autre point de vue, après avoir fait cette interview de Sutton et y avoir réfléchi, il me semble qu’il y a ici un point important. L’évolution ne nous donne pas réellement des connaissances. Elle nous donne un algorithme pour trouver des connaissances. Et cela me semble différent du pré-entraînement.

Peut-être que l’idée, c’est que le pré-entraînement aide à construire une sorte d’entité capable de mieux apprendre. Il enseigne une forme de méta-apprentissage, donc c’est similaire à la recherche d’un algorithme. Mais si l’on dit : « l’évolution nous donne des connaissances, le pré-entraînement nous donne des connaissances », alors l’analogie semble s’effondrer.

Andrej Karpathy 00:12:42

C’est subtil, et je pense que vous avez raison de pousser l’argument, mais fondamentalement, ce que fait le pré-entraînement, c’est obtenir un prédicteur du token suivant sur l’internet et l’entraîner dans un réseau neuronal. Il fait deux choses distinctes. Premièrement, il acquiert tout cela, ce que j’appellerais des connaissances. Deuxièmement, il devient réellement intelligent.

En observant des motifs algorithmiques sur l’internet, il amorce tous ces petits circuits et algorithmes à l’intérieur du réseau neuronal pour faire des choses comme l’apprentissage en contexte (in-context learning). Les connaissances ne sont ni nécessaires ni souhaitables. À mon avis, elles gênent probablement le réseau neuronal dans son ensemble, parce qu’elles le poussent parfois à trop s’y fier.

Par exemple, l’une des choses que les agents ne font pas bien, c’est sortir de la variété des données qui existent sur l’internet. S’ils avaient moins de connaissances ou moins de mémoire, ils seraient peut-être meilleurs. Je pense que ce qu’il faut faire à l’avenir — et cela fera partie du paradigme de recherche —, c’est trouver un moyen de retirer une partie des connaissances tout en conservant ce que j’appelle le noyau cognitif. C’est cette entité intelligente dépourvue de connaissances, mais qui contient la magie des algorithmes, de l’intelligence, de la résolution de problèmes et des stratégies qui y sont liées.

Dwarkesh Patel 00:13:50

Il y a beaucoup de choses très intéressantes là-dedans. Commençons par l’apprentissage en contexte. C’est un point évident, mais je pense qu’il vaut la peine d’être formulé explicitement et médité. Les situations dans lesquelles ces modèles paraissent les plus intelligents — les moments où, en discutant avec eux, j’ai l’impression de me dire : « waouh, il y a vraiment quelque chose de l’autre côté qui me répond », quand ils font une erreur et se disent : « ah, attends, ce raisonnement est faux. Revenons en arrière » — tout cela se passe dans le contexte. C’est là que se trouve la véritable intelligence observable à l’œil nu.

Le processus d’apprentissage en contexte est développé par la descente de gradient lors du pré-entraînement. Il fait spontanément du méta-apprentissage de l’apprentissage en contexte, mais l’apprentissage en contexte lui-même n’est pas de la descente de gradient. De la même manière que, chez les humains, notre capacité d’intelligence sur toute une vie à faire des choses est conditionnée par l’évolution, mais que notre apprentissage au cours de notre vie se produit par un autre processus.

Andrej Karpathy 00:14:42

Je ne suis pas totalement d’accord, mais poursuivez votre idée.

Dwarkesh Patel 00:14:44

Eh bien, j’aimerais comprendre comment l’analogie s’effondre.

Andrej Karpathy 00:14:48

J’hésite à dire que l’apprentissage en contexte ne fait pas de descente de gradient. Il ne fait pas de descente de gradient explicite. L’apprentissage en contexte, c’est de la complétion de motifs à l’intérieur d’une fenêtre de tokens. Or, il s’avère qu’il y a une quantité énorme de motifs sur l’internet. Vous avez raison. Le modèle apprend à compléter des motifs, et cela se trouve dans les poids. Les poids du réseau neuronal cherchent à découvrir des motifs et à les compléter. Il y a une adaptation qui se produit à l’intérieur du réseau neuronal, et c’est magique, ça émerge simplement de l’internet. Parce qu’il y a énormément de motifs.

Je peux vous dire qu’il existe des articles intéressants qui examinent les mécanismes derrière l’apprentissage en contexte. Je pense qu’il est possible que l’apprentissage en contexte exécute de petites boucles internes de descente de gradient à l’intérieur des couches du réseau neuronal. Un article dont je me souviens en particulier utilisait l’apprentissage en contexte pour faire de la régression linéaire. L’entrée du réseau neuronal, ce sont des paires XY. XY, XY, XY sont alignés. Ensuite, on donne X et on attend Y. Le réseau neuronal, lorsqu’il est entraîné de cette façon, fait de la régression linéaire.

En général, lorsqu’on exécute une régression linéaire, on observe XY, on regarde l’erreur, on calcule le gradient des poids, puis on effectue quelques mises à jour avec un petit optimiseur de descente de gradient. En examinant les poids de cet algorithme d’apprentissage en contexte, il s’est avéré qu’on y trouvait certaines similarités avec un mécanisme de descente de gradient. En fait, je pense que l’article allait plus loin : ils ont codé en dur les poids du réseau neuronal pour qu’ils effectuent de la descente de gradient à travers l’attention et tous les mécanismes internes du réseau.

C’est ma seule objection. Personne ne sait comment fonctionne réellement l’apprentissage en contexte, mais il est probable qu’il fasse en interne une forme étrange de descente de gradient. Je pense que c’est possible. Je conteste simplement votre affirmation selon laquelle il ne fait pas d’apprentissage en contexte. Personne ne sait ce qu’il fait, mais il fait probablement quelque chose de similaire. Mais nous n’en savons rien.

Dwarkesh Patel 00:16:39

Alors, si l’apprentissage en contexte et le pré-entraînement implémentent tous deux quelque chose qui ressemble à de la descente de gradient, pourquoi a-t-on l’impression que c’est l’apprentissage en contexte qui nous rapproche d’un apprentissage continu, d’une véritable intelligence ? Alors que le pré-entraînement, à lui seul, ne donne pas cette même impression. On peut défendre cette idée.

Si c’est le même algorithme, qu’est-ce qui peut différer ? Une façon d’y réfléchir, c’est de se demander combien d’information le modèle stocke par unité d’information reçue pendant l’entraînement. Si on regarde le pré-entraînement, par exemple Llama 3, je crois qu’il a été entraîné sur 15 billions de tokens. Si on prend le modèle 70B, cela correspondrait à 0,07 bit par token vu en pré-entraînement, du point de vue de l’information contenue dans les poids du modèle par rapport aux tokens lus. En revanche, si on regarde le cache KV et à quel point il augmente par token supplémentaire lors de l’apprentissage en contexte, on est à environ 320 kilo-octets. Donc, en quantité d’information assimilée par token, il y a un écart de 35 millions de fois. Je me demande si c’est pertinent.

Andrej Karpathy 00:17:46

Je suis plutôt d’accord. En général, ma façon de formuler ça, c’est que tout ce qui se passe pendant l’entraînement du réseau de neurones n’est qu’un vague souvenir de ce qui s’est produit au moment de l’entraînement. Parce que la compression est dramatique. On prend 15 billions de tokens et on les compresse dans un réseau neuronal final de quelques dizaines de milliards de paramètres. Il y a évidemment une quantité énorme de compression. C’est pour ça que j’appelle ça un vague souvenir des documents d’Internet.

À l’inverse, tout ce qui se passe dans la fenêtre de contexte du réseau de neurones — injecter tous les tokens et construire toutes les représentations du cache KV — est quelque chose auquel le réseau de neurones peut accéder de façon très directe. Donc je compare davantage le cache KV et ce qui se passe au moment du test à une mémoire de travail. Tout ce qui est dans la fenêtre de contexte est très directement accessible au réseau de neurones.

Il y a toujours chez les LLM et les humains ces parallèles presque surprenants. Je les trouve surprenants, parce que nous n’essayons pas directement de construire un cerveau humain. Nous faisons simplement ça parce que nous avons découvert que ça marche. Mais j’ai l’impression que tout ce qui est dans les poids, c’est un vague souvenir de ce que vous avez lu il y a un an. Et tout ce qu’on vous donne comme contexte au moment du test se trouve directement dans la mémoire de travail. C’est une métaphore très puissante pour penser les choses.

Par exemple, si vous allez voir un LLM et que vous lui demandez ce qui se passe dans un certain livre, disons le livre de Nick Lane, le LLM vous donnera souvent quelque chose d’approximativement correct. Mais si vous lui donnez un chapitre entier et que vous posez ensuite la question, vous obtiendrez un bien meilleur résultat. Parce que c’est alors chargé dans la mémoire de travail du modèle. Donc c’est une longue manière de dire que oui, je suis d’accord, et voilà pourquoi.

Dwarkesh Patel 00:19:11

En prenant un peu de recul, quelle est la partie de l’intelligence humaine que nous reproduisons le plus mal avec ces modèles ?

Andrej Karpathy 00:19:20

Tout simplement beaucoup de choses. Donc une manière d’y penser — je ne sais pas si c’est la meilleure —, c’est que j’ai presque l’impression, encore une fois, même si ce genre d’analogie est imparfaite, que nous sommes tombés par hasard sur quelque chose avec les réseaux de neurones transformers. C’est extrêmement puissant et très général. On peut entraîner des transformers sur de l’audio, de la vidéo, du texte, tout ce qu’on veut, ils apprennent des motifs, ils sont très puissants, et ça marche vraiment bien. Pour moi, cela suggère presque qu’il s’agit d’une partie de quelque chose comme le tissu cortical. C’est l’impression que ça me donne. Parce que le cortex est connu pour être très plastique. On peut recâbler certaines parties du cerveau. Il y a eu des expériences un peu effrayantes où on a reconnecté le cortex visuel au cortex auditif, et ces animaux ont très bien appris.

Donc je pense que c’est du tissu cortical. Quand on fait du raisonnement et de la planification dans le réseau de neurones, quand on produit des traces de raisonnement pour un modèle de pensée, cela ressemble un peu au cortex préfrontal. Ce sont peut-être de petites cases cochées, mais je pense qu’il reste beaucoup de régions et de noyaux du cerveau inexplorés. Il y a par exemple les ganglions de la base, qui font un peu d’apprentissage par renforcement, comme quand on affine un modèle avec du reinforcement learning. Mais où est l’hippocampe ? Ce n’est pas clair ce que ce serait. Certaines parties ne sont peut-être pas importantes. Peut-être que le cervelet n’est pas important pour la cognition ni pour la pensée, donc on peut peut-être se passer de certaines choses. Mais je pense qu’il y a encore, par exemple, l’amygdale, toutes les émotions et les instincts. Il existe probablement beaucoup d’autres noyaux cérébraux très anciens que nous n’avons tout simplement pas réellement reproduits.

Je ne pense pas que nous devions chercher à créer un analogue du cerveau humain. Au fond, je suis surtout ingénieur. Une autre façon de répondre à la question, c’est de dire que je n’embaucherais pas ça comme stagiaire. Il manque encore beaucoup de choses. Avec tous les défauts cognitifs que nous ressentons intuitivement quand nous parlons à ces modèles. Donc on n’y est pas encore complètement. On peut voir ça comme le fait que toutes les parties du cerveau ne sont pas encore cochées.

Dwarkesh Patel 00:21:16

Cela peut être lié à la question de savoir à quelle vitesse ces problèmes seront résolus. Parfois, des gens disent à propos de l’apprentissage continu : « Regarde, on peut facilement reproduire cette capacité. De la même manière que l’apprentissage en contexte est apparu spontanément comme conséquence du pré-entraînement, l’apprentissage continu sur des horizons plus longs émergera spontanément si le modèle est incité à se souvenir d’informations sur des horizons plus longs, au-delà d’une seule session. » Donc s’il y avait un RL en boucle externe avec beaucoup de sessions à l’intérieur de cette boucle externe, cet apprentissage continu — où le modèle s’affine lui-même ou écrit dans une mémoire externe — émergerait simplement de lui-même. Est-ce que ce genre de choses vous paraît plausible ? Je n’ai pas vraiment de prior sur le degré de plausibilité. Quelle est la probabilité que cela arrive ?

Andrej Karpathy 00:22:07

Je ne suis pas totalement convaincu par ça. Quand ces modèles démarrent, quand ils ont zéro token dans la fenêtre au démarrage, ils repartent toujours de zéro, là où ils en étaient. Donc je ne vois pas à quoi cela ressemble dans cette vision du monde. Si on fait une petite analogie avec l’humain — qui me semble assez concrète et intéressante à examiner —, quand je suis éveillé, j’ai l’impression de construire une fenêtre de contexte à partir de ce qui se passe au cours de ma journée. Mais quand je dors, il se passe quelque chose de magique, et je ne pense pas que cette fenêtre de contexte reste telle quelle. Il y a un processus qui la distille dans les poids du cerveau. Cela se produit pendant le sommeil et ce genre de choses.

Il n’y a rien d’équivalent à cela dans les grands modèles de langage. Pour moi, c’est plus proche de ce qui manque quand on parle d’apprentissage continu. Ces modèles n’ont pas réellement une étape de distillation où ils prennent ce qui s’est passé, l’analysent de manière obsessionnelle, y réfléchissent, produisent un peu de données synthétiques, puis le redistillent dans les poids. Et peut-être qu’il existe un réseau de neurones spécifique à chaque personne. Peut-être que ce serait du LoRA. Pas l’ensemble du réseau de poids, juste un petit sous-ensemble sparse des poids qui changent.

Mais nous voulons construire des individus de ce type avec des contextes très longs. Pas uniquement quelque chose qui reste dans la fenêtre de contexte parce que cette fenêtre devient très, très grande. Peut-être avons-nous aussi une attention sparse très sophistiquée pour cela. Mais je pense quand même que les humains ont manifestement un processus qui distille une partie de cette connaissance dans les poids. C’est quelque chose qui nous manque. Je pense aussi que les humains disposent d’un système d’attention sparse très sophistiqué, et j’ai l’impression qu’on commence à en voir quelques premiers indices. DeepSeek v3.2 vient de sortir et j’ai vu qu’ils utilisent de l’attention sparse. C’est par exemple une façon d’avoir une fenêtre de contexte très, très longue. Donc j’ai l’impression que nous refaisons beaucoup des astuces cognitives auxquelles l’évolution est arrivée, mais par des processus très différents. Et pourtant nous convergerons vers des architectures cognitivement similaires.

Dwarkesh Patel 00:24:02

Pensez-vous que dans 10 ans, ce sera encore quelque chose comme les transformeurs ? Mais avec une attention bien plus modifiée et des MLP plus clairsemés, etc. ?

Andrej Karpathy 00:24:10

Ma façon d’y penser, c’est en termes d’invariance par translation dans le temps. Où en étions-nous il y a 10 ans ? En 2015. En 2015, nous avions surtout des réseaux neuronaux convolutifs, et les réseaux résiduels venaient juste d’arriver. C’est étonnamment similaire, mais quand même assez différent. Les transformeurs n’existaient pas encore. Il n’y avait pas non plus tous ces ajustements plus modernes autour des transformeurs. Je pense que l’un des paris qu’on peut faire, avec cette idée d’équivariance par translation, c’est que dans 10 ans nous entraînerons encore d’énormes réseaux neuronaux avec des passes avant et arrière et des mises à jour via la descente de gradient. Mais cela aura probablement un aspect un peu différent, et tout sera bien plus grand.

Récemment, je suis remonté de quelques années jusqu’en 1989, et pour moi c’était un exercice intéressant. J’étais en train de reproduire le réseau convolutionnel de Yann LeCun de 1989. C’était, à ma connaissance, le premier réseau neuronal entraîné par descente de gradient. Un réseau neuronal moderne pour la reconnaissance de chiffres, entraîné par descente de gradient. Je voulais voir comment on pouvait le moderniser. Quelle part de tout cela relève de l’algorithme ? Quelle part relève des données ? Quelle part de ce progrès relève du calcul et des systèmes ? J’ai très vite réussi, en voyageant sur 33 ans, à réduire l’erreur de moitié.

Donc, si on voyage 33 ans dans le temps du point de vue algorithmique, j’ai pu ajuster ce que Yann LeCun faisait en 1989 et réduire l’erreur de moitié. Mais pour obtenir davantage de gains, il a fallu ajouter beaucoup plus de données, multiplier l’ensemble d’entraînement par 10, et ajouter davantage d’optimisations de calcul. Il a aussi fallu entraîner bien plus longtemps, avec du dropout et d’autres techniques de régularisation.

Donc tout cela doit progresser en même temps. Nous aurons probablement beaucoup plus de données, un matériel bien meilleur, de bien meilleurs kernels et logiciels pour exploiter ce matériel et en tirer le maximum, ainsi que de meilleurs algorithmes. Rien de tout cela ne semble l’emporter de très loin sur le reste. Tout est étonnamment à peu près à égalité. C’est la tendance depuis un bon moment.

Pour répondre à la question, je m’attends à ce qu’il y ait des différences algorithmiques par rapport à ce qui se passe aujourd’hui. Mais je m’attends aussi à ce que certaines choses qui durent depuis très longtemps soient encore là. Ce seront probablement encore d’énormes réseaux neuronaux entraînés par descente de gradient. C’est mon intuition.

Dwarkesh Patel 00:26:16

C’est frappant que, en combinant tout, vous n’ayez fait que réduire l’erreur de moitié, pour 30 ans de progrès... enfin, la moitié c’est peut-être beaucoup. Parce que réduire l’erreur de moitié, en fait...

Andrej Karpathy 00:26:30

Réduire de moitié, c’est beaucoup. Mais ce qui m’a frappé, c’est que tout doit s’améliorer globalement : l’architecture, l’optimiseur, la fonction de perte. Et tout cela s’améliore d’ailleurs globalement depuis toujours. Donc je m’attends à ce que tous ces changements restent bien vivants.

Dwarkesh Patel 00:26:43

Oui. J’allais vous poser une question très similaire à propos de nanochat. Comme vous avez codé ça récemment, toutes les étapes du processus de création d’un chatbot sont encore fraîches dans votre RAM. Je me demande si, en passant de GPT-2 à nanochat, vous avez eu la même impression du genre « ah, en fait rien de tout ça n’était vraiment pertinent ». Quelle a été la leçon la plus surprenante de cette expérience ?

Andrej Karpathy 00:27:08

À propos de la création de nanochat ? nanochat est un dépôt que j’ai publié. C’était hier, ou avant-hier ? Je ne me souviens plus.

Dwarkesh Patel 00:27:15

On voit sans doute les effets du manque de sommeil...

Andrej Karpathy 00:27:18

L’idée est d’en faire le dépôt le plus simple et le plus complet qui couvre toute la pipeline de création d’un clone de ChatGPT, du début à la fin. Donc il ne contient pas seulement des étapes individuelles, mais toutes les étapes, et elles sont assez nombreuses. J’ai déjà travaillé dans le passé sur chacune de ces étapes séparément et, dans un sens algorithmique, j’ai publié de petits extraits de code montrant comment les réaliser de façon simple. Mais là, cela couvre toute la pipeline. En termes d’apprentissage, je ne suis pas certain d’avoir forcément appris quelque chose grâce à cela. J’avais déjà en tête comment le construire. Il s’agissait surtout de le réaliser de façon mécanique et de le rendre assez propre pour que les gens puissent apprendre et le trouver utile.

Dwarkesh Patel 00:28:04

Quelle est la meilleure manière pour quelqu’un d’apprendre à partir de cela ? Supprimer tout le code et essayer de le réimplémenter depuis zéro, essayer d’y ajouter des modifications ?

Andrej Karpathy 00:28:10

Bonne question. En gros, il s’agit d’environ 8 000 lignes de code qui couvrent toute la pipeline du début à la fin. Je le mettrais probablement sur l’écran de droite. Si vous avez deux écrans, mettez-le à droite. Si vous voulez le construire depuis zéro, commencez depuis zéro. Le copier-coller est interdit ; la référence est autorisée, mais pas le copier-coller. C’est probablement comme ça que je ferais.

Mais je pense aussi que le dépôt lui-même est un assez gros monstre. Quand on écrit ce code, on ne le fait pas de haut en bas ; on procède par blocs et on fait grossir ces blocs, et cette information n’est pas là. Vous ne saurez pas par où commencer. Donc il ne suffit pas d’avoir le dépôt final ; il faut aussi avoir le processus de fabrication du dépôt, qui est un processus complexe de croissance par blocs. Cette partie n’y est pas encore. J’aimerais probablement l’ajouter plus tard cette semaine. Ce sera peut-être une vidéo ou quelque chose comme ça. En gros, c’est ce que j’essaie de faire. Construisez-le vous-même, mais sans vous autoriser le copier-coller.

Je pense qu’il existe presque deux types de savoir. Il y a un savoir superficiel de haut niveau, mais quand on construit quelque chose depuis zéro, on est confronté à ce qu’on ne comprend pas, et à ce qu’on ne savait même pas qu’on ne comprenait pas.

Cela mène toujours à une compréhension plus profonde. C’est la seule façon de créer. Si vous ne pouvez pas le construire, c’est que vous ne le comprenez pas. Je crois que c’est une citation de Feynman. J’y ai toujours cru très fortement. Il existe toutes ces petites choses mal alignées, et en réalité vous n’avez pas la connaissance. Vous pensez seulement l’avoir. Donc n’écrivez pas d’article de blog, ne faites pas de slides, ne faites pas ce genre de choses. Écrivez du code, assemblez-le, faites en sorte que ça fonctionne. C’est la seule voie possible. Sinon, il vous manque la connaissance.

00:29:45 – Déficience cognitive des LLM

Dwarkesh Patel 00:29:45

Vous avez tweeté que les modèles de code ne vous avaient presque pas aidé à assembler ce dépôt. Je me demande pourquoi.

Andrej Karpathy 00:29:53

Je dirais que j’ai construit ce dépôt sur un peu plus d’un mois. Et je dirais qu’il existe actuellement trois grandes façons pour les gens d’interagir avec le code. Certaines personnes rejettent complètement les LLM et écrivent simplement tout depuis zéro. Ce n’est probablement plus la bonne façon de faire.

La partie intermédiaire, c’est là où j’en suis : j’écris encore beaucoup de choses à partir de zéro, mais j’utilise désormais l’autocomplétion exploitable fournie par ces modèles. Je commence à écrire de petits morceaux, ils les complètent automatiquement, et je peux passer à la suite avec Tab. La plupart du temps, c’est juste ; parfois, c’est faux, et j’édite. Mais c’est toujours vous l’architecte de ce que vous écrivez. Ensuite, il y a le vibe coding : « Salut, implémente ceci ou cela », Entrée, et on laisse le modèle faire. Ça, c’est l’agent.

J’ai l’impression que les agents fonctionnent dans des contextes très spécifiques, et qu’on les utilisera dans des contextes précis. Mais ce sont tous des outils utilisables, et il faut apprendre ce qu’ils font bien, ce qu’ils ne font pas bien, et quand les utiliser. Les agents sont par exemple assez bons pour le travail boilerplate. Du code boilerplate qu’on ferait juste en copier-coller, ce genre de choses, ils sont très bons là-dessus. Ils sont très bons sur les choses qui reviennent très souvent sur Internet. Parce qu’il y a beaucoup d’exemples de ce type dans les jeux d’entraînement de ces modèles. Il y a des caractéristiques qui indiquent très bien ce dans quoi le modèle sera performant.

Je dirais que nanochat n’est pas un exemple de ce genre. Parce que c’est un dépôt assez unique. Il n’existe pas tant de code que ça structuré de la façon dont je l’ai structuré. Ce n’est pas du code boilerplate. C’est du code intellectuellement dense, et tout doit être agencé avec une grande précision. Les modèles ont beaucoup trop de lacunes cognitives. Par exemple, ils n’arrêtaient pas de mal comprendre le code parce qu’ils ont en mémoire trop de méthodes génériques venant d’Internet que, moi, je n’ai pas adoptées. Les modèles, par exemple — je ne sais pas si je veux entrer dans tous les détails — continuaient à penser que j’écrivais du code générique, alors que ce n’était pas le cas.

Dwarkesh Patel 00:31:49

Peut-être un exemple ?

Andrej Karpathy 00:31:51

J’ai 8 GPU et ils font tous la passe avant et la rétropropagation. Une façon de synchroniser les gradients entre eux consiste à utiliser le conteneur Distributed Data Parallel de PyTorch, qui démarre automatiquement la communication pendant la rétropropagation et synchronise les gradients. Moi, je n’ai pas utilisé DDP. Parce que je ne voulais pas l’utiliser. Je n’en ai pas besoin. Je l’ai écarté et j’ai écrit ma propre routine de synchronisation à l’intérieur de l’étape de l’optimiseur. Les modèles essayaient de me pousser à utiliser le conteneur DDP. Ils étaient très inquiets. Ça devient très technique, mais je n’ai pas utilisé ce conteneur. Parce que je n’en ai pas besoin et que j’ai une implémentation sur mesure de quelque chose de similaire.

Dwarkesh Patel 00:32:26

Ils n’arrivaient pas à intégrer le fait que vous aviez votre propre solution.

Andrej Karpathy 00:32:28

Ils n’arrivaient pas à dépasser ça. Ils continuaient à essayer de casser le style. Ils sont beaucoup trop défensifs. Ils fabriquent toutes sortes de blocs try-catch. Ils essaient sans cesse de produire une codebase de production, alors que mon code repose sur beaucoup d’hypothèses, et c’est très bien comme ça. Je n’ai pas besoin de tous ces ajouts. Donc j’ai l’impression qu’ils gonflent la codebase, gonflent la complexité, comprennent continuellement de travers, et utilisent à répétition des API abandonnées depuis longtemps. C’est un vrai bazar. Globalement, ce n’est tout simplement pas utile. On peut intervenir et nettoyer derrière eux, mais globalement, ce n’est pas utile.

Je trouve aussi agaçant de devoir taper en anglais ce que je veux. Parce que ça fait trop de frappe. Si je vais à l’endroit du code que je veux, là où le code doit apparaître, et que je commence à taper les premières lettres, l’autocomplétion comprend et me donne le code. C’est une façon de spécifier ce qu’on veut avec une très grande bande passante d’information. Vous pointez le code voulu, vous tapez les premiers fragments, et le modèle complète.

Je veux dire, ces modèles sont bons à certains niveaux de la stack. J’ai deux exemples d’utilisation des modèles, et je pense qu’ils sont parlants. L’un, c’est quand j’ai généré un rapport. C’était plus boilerplate, donc je l’ai en partie fait en vibe coding. Comme ce n’était pas mission-critical, ça allait, et ça marche bien.

L’autre partie, c’était quand je réécrivais le tokenizer en Rust. Je ne maîtrise pas très bien Rust. Rust est encore assez nouveau pour moi. Donc il y a eu un peu de vibe coding quand j’écrivais du code Rust. Mais j’avais déjà une implémentation Python que je comprenais complètement, je vérifiais que je produisais une version plus efficace, et j’avais des tests, donc je trouvais plus sûr de faire ce genre de choses. Ils rendent plus accessibles des langages ou des paradigmes avec lesquels vous n’êtes pas forcément à l’aise. Là aussi, je pense qu’ils sont très utiles. Il y a beaucoup de code Rust, et les modèles s’en sortent plutôt bien. Comme je n’y connais pas grand-chose, les modèles m’y sont très utiles.

Dwarkesh Patel 00:34:23

Si cette question est si intéressante, c’est parce que l’un des grands récits sur une explosion de l’IA et l’arrivée très rapide de la superintelligence, c’est que l’IA automatiserait l’ingénierie IA et la recherche en IA. Les gens voient qu’avec Claude Code, on peut construire une application entière depuis zéro, une application CRUD, et se disent : « Si on avait cette même capacité à l’intérieur d’OpenAI ou de DeepMind, imaginez des milliers de vous, ou un million de vous, en parallèle, en train de chercher de petits ajustements d’architecture. »

Il est très intéressant de vous entendre dire que c’est précisément là qu’ils sont asymétriquement moins bons. C’est assez pertinent pour prévoir si une explosion de type AI 2027 est susceptible d’arriver bientôt.

Andrej Karpathy 00:35:05

C’est une bonne façon de le formuler, et je comprends pourquoi mon horizon temporel est un peu plus long. Vous avez raison. Ils ne sont pas très bons sur du code qui n’a jamais été écrit auparavant. C’est probablement une manière de le dire, et c’est ce que nous cherchons à accomplir quand nous construisons ces modèles.

Dwarkesh Patel 00:35:19

Question très naïve, mais les ajustements d’architecture que vous ajoutez à nanochat sont bien quelque part dans des articles, non ? Peut-être même dans un dépôt quelque part. Si on leur dit : « Ajoute des embeddings RoPE », ce n’est pas surprenant qu’ils le fassent de travers ?

Andrej Karpathy 00:35:42

C’est difficile. Ils savent, mais ils ne savent pas complètement. Ils ne savent pas comment l’intégrer entièrement au dépôt, à votre style, à votre code, à votre contexte, et à certaines des personnalisations que vous faites, ni comment tout cela s’articule avec toutes les hypothèses du dépôt. Ils ont un peu de connaissance, mais ils ne sont pas encore arrivés au point où ils peuvent l’intégrer et le comprendre.

Beaucoup de choses continuent de s’améliorer. Le modèle de pointe que j’utilise actuellement, c’est GPT-5 Pro, et c’est un modèle très puissant. Si j’ai 20 minutes, je peux copier-coller tout le dépôt, aller voir GPT-5 Pro, l’oracle, et lui poser quelques questions. Souvent, ce n’est pas si mauvais, et c’est étonnamment bon comparé à ce qui existait il y a un an.

Dans l’ensemble, les modèles n’en sont pas encore là. J’ai l’impression que le secteur essaie de faire croire qu’il y a un saut énorme et que c’est incroyable, mais ce n’est pas le cas. C’est du slop. Ils ne regardent pas ça en face, et peut-être qu’ils essaient de lever des fonds ou quelque chose comme ça. Je ne sais pas ce qui se passe, mais nous sommes dans cette phase intermédiaire. Les modèles sont impressionnants. Il reste encore beaucoup de travail. Pour l’instant, l’autocomplétion est mon sweet spot. Mais parfois, pour certains types de code, je vais passer à un agent LLM.

Dwarkesh Patel 00:36:53

C’est aussi très intéressant pour une autre raison. Dans toute l’histoire de la programmation, il y a eu beaucoup de gains de productivité — les compilateurs, le linting, de meilleurs langages de programmation — qui ont accru la productivité des programmeurs sans conduire à une explosion. Ça ressemble beaucoup à l’autocomplétion avec Tab, et cette autre catégorie, c’est simplement de l’automatisation du programmeur. Il est intéressant que vous le voyiez davantage dans la catégorie des analogies historiques avec de meilleurs compilateurs ou ce genre de choses.

Andrej Karpathy 00:37:26

C’est probablement ce qui mène à une autre réflexion. J’ai du mal à distinguer où l’IA commence et où elle s’arrête, parce que je la vois fondamentalement comme une extension de l’informatique, d’une manière assez fondamentale. J’y vois un continuum. Un continuum, depuis le tout début, de l’amélioration récursive de soi ou de l’accélération du programmeur : un éditeur de code, la coloration syntaxique, ou la vérification de type, la vérification des types de données — tous ces outils que nous avons créés les uns pour les autres.

Même les moteurs de recherche. Pourquoi un moteur de recherche ne ferait-il pas partie de l’IA ? Le ranking, c’est de l’IA. À une certaine époque, Google se considérait lui-même, y compris à ses débuts, comme une entreprise d’IA faisant un moteur de recherche. C’est tout à fait défendable.

Je vois cela bien plus comme un continuum que la plupart des gens. Pour moi, il est difficile de tracer une ligne. Maintenant, nous avons un bien meilleur autocomplétion, et nous avons aussi certains agents qui font ces choses itératives, mais qui déraillent parfois. Ce qui se passe, c’est que les humains font progressivement un peu moins les tâches de bas niveau. Nous n’écrivons pas de code assembleur, parce qu’il y a des compilateurs. Les compilateurs prennent un langage de plus haut niveau comme le C et écrivent le code assembleur.

Nous nous abstraisons nous-mêmes très, très lentement. J’ai ce que j’appelle un « curseur d’autonomie » : de plus en plus de choses sont automatisées — parmi celles qui peuvent l’être —, nous en faisons progressivement un peu moins, et nous nous élevons vers une couche d’abstraction au-dessus de l’automatisation.

00:40:05 – Le RL est terrible

Dwarkesh Patel 00:40:05

Parlons un peu du RL. Vous avez tweeté des choses très intéressantes à ce sujet. Conceptuellement, comment faut-il penser à la manière dont les humains peuvent construire de riches modèles du monde simplement en interagissant avec l’environnement ? Et d’une manière qui semble presque sans rapport avec la récompense finale à la fin de l’épisode ?

Si quelqu’un lance une entreprise et découvre dix ans plus tard si elle a réussi ou échoué, on dira qu’elle a acquis beaucoup de sagesse et d’expérience. Mais ce n’est pas parce que la log-probabilité de chaque chose qui s’est produite au cours de ces dix années a été pondérée à la hausse ou à la baisse. Il se passe quelque chose de bien plus intentionnel et riche. Quelle est l’analogie en ML, et comment cela se compare-t-il à ce que nous faisons aujourd’hui avec les LLM ?

Andrej Karpathy 00:40:47

Peut-être que ma façon de le formuler, c’est que les humains n’utilisent pas l’apprentissage par renforcement. Comme je l’ai dit. Je pense qu’ils font autre chose. L’apprentissage par renforcement est bien pire que ce que la personne moyenne imagine. Le RL est terrible. Il n’a fonctionné que parce que tout ce qu’on avait avant était bien pire. Parce qu’avant, on se contentait d’imiter les humains, et cela posait donc toutes sortes de problèmes.

En apprentissage par renforcement, disons que vous résolvez un problème de maths. C’est très simple. On vous donne un problème de maths et vous essayez de trouver la solution. En RL, vous allez d’abord essayer beaucoup de choses en parallèle. On vous donne le problème, vous faites des centaines de tentatives différentes. Ces tentatives peuvent être complexes. Cela peut être : « essayons ceci, essayons cela, ceci n’a pas marché, cela n’a pas marché », etc. Puis vous obtenez peut-être la réponse. Ensuite, vous regardez au dos du livre et vous voyez : « d’accord, la bonne réponse est celle-là ». Vous pouvez voir que ceci, cela et telle autre chose ont permis d’obtenir la bonne réponse, mais pas les 97 autres. Ce que fait littéralement le RL, c’est aller vers les choses qui ont vraiment bien marché et surpondérer chaque chose faite au cours du processus, chaque token, comme pour dire « faites plus de ça ».

Le problème, c’est que les gens diraient que votre estimateur a une variance élevée, mais en réalité, c’est juste du bruit. Du bruit. Cela suppose que chaque petit morceau de la solution qui a presque atteint la bonne réponse était la bonne chose à faire, ce qui n’est pas vrai. Vous avez peut-être emprunté de mauvaises voies avant d’arriver à la bonne réponse. Tant que vous obtenez la bonne réponse, chaque chose erronée que vous avez faite sera surpondérée comme « faites plus de ça ». C’est terrible. C’est du bruit.

Vous faites tout ce travail et, à la fin, vous obtenez un seul nombre : « oh, c’était correct ». À partir de là, vous pondérez toute la trajectoire en la surpondérant ou en la sous-pondérant. La formule que j’aime bien, c’est qu’on aspire la supervision à travers une paille. Vous avez fait tout ce travail, cela peut être un rollout d’une minute, et vous aspirez à travers une paille les bits de supervision du signal de récompense final, puis vous les diffusez sur toute la trajectoire et vous vous en servez pour surpondérer ou sous-pondérer la trajectoire. C’est tout simplement stupide et fou.

Les humains ne feraient jamais cela. D’abord, ils ne feraient jamais des centaines de rollouts. Ensuite, quand une personne trouve une solution, elle a un processus de relecture assez complexe, du genre : « d’accord, je pense que cette partie était bien, cette partie l’était moins. Peut-être que j’aurais dû faire ceci ou cela. » Ils réfléchissent à ce qu’ils font. Rien de tout cela n’existe dans les LLM actuels. Il n’y a pas d’équivalent. Mais je vois apparaître des papers. Des papers qui essaient de faire cela apparaissent. Parce que c’est évident pour tout le monde dans le domaine.

Le premier apprentissage par imitation, d’ailleurs, était extrêmement surprenant, miraculeux, incroyable. Le fait qu’on puisse faire un fine-tuning sur l’imitation des humains. C’était stupéfiant. Parce qu’au départ, tout ce qu’on avait, c’était le modèle de base. Le modèle de base, c’est de l’autocomplétion. À l’époque, ce n’était pas évident pour moi, et j’ai dû l’apprendre. Le paper qui m’a vraiment soufflé, c’était InstructGPT. Parce qu’il montrait que si vous prenez un modèle préentraîné, donc un système d’autocomplétion, et que vous le fine-tunez sur un texte qui ressemble à une conversation, alors le modèle s’adapte très vite, devient très conversationnel et conserve toute la connaissance acquise au préentraînement. Ça m’a soufflé. Parce que stylistiquement, je ne comprenais pas qu’on puisse l’ajuster aussi vite et qu’en quelques boucles de fine-tuning sur ce type de données, il puisse devenir un assistant pour l’utilisateur. Le fait que cela fonctionne m’a semblé profondément miraculeux. C’était tellement étonnant. Cela a représenté deux à trois ans de travail.

Puis le RL est arrivé. Et le RL permet de faire un peu mieux que le simple apprentissage par imitation. Parce qu’on peut avoir ce genre de fonction de récompense et faire de l’ascension de colline sur cette fonction. Pour certains problèmes, il existe simplement une bonne réponse, et on peut faire de l’ascension de colline dessus sans imiter des trajectoires d’experts. Donc c’est formidable. Le modèle peut aussi découvrir des solutions auxquelles les humains n’auraient peut-être jamais pensé. C’est formidable. Mais cela reste stupide.

Il nous faut davantage. Hier, j’ai vu un paper de Google qui essayait de garder à l’esprit cette idée de réflexion et de relecture. C’était le paper sur les memory banks, je crois ? Je ne sais pas. J’ai vu quelques papers dans cette direction. Donc je m’attends à ce que la prochaine grande mise à jour algorithmique pour les LLM vienne de cette zone-là. Je pense qu’il nous en faut encore trois, quatre ou cinq, quelque chose comme ça.

Dwarkesh Patel 00:44:54

Vous avez vraiment le don de forger des formules frappantes. « Aspirer la supervision à travers une paille », j’adore.

Donc, si je vous suis, le problème des récompenses fondées sur le résultat, c’est qu’on a cette énorme trajectoire, et qu’à partir de ce seul bit final, à la toute fin, on essaie d’apprendre ce qu’il fallait faire et tout ce qu’il y a à apprendre sur le monde. Étant donné que cela semble évident, pourquoi la supervision fondée sur le processus n’a-t-elle pas réussi, comme alternative, à rendre les modèles plus compétents ? Qu’est-ce qui empêche d’utiliser ce paradigme alternatif ?

Andrej Karpathy 00:45:29

La supervision fondée sur le processus signifie simplement que nous n’aurons pas uniquement une fonction de récompense tout à la fin. Après 10 minutes de travail, on ne dira pas juste si c’était bien ou non. On dira à chaque étape à quel point on s’en sort bien. Si nous ne l’avons pas, c’est parce que c’est délicat à faire correctement. Il existe des réponses partielles, et nous ne savons pas comment attribuer le crédit. Si vous obtenez la bonne réponse, ce n’est qu’une vérification d’équivalence avec la réponse. C’est très simple à implémenter. Mais si vous faites de la supervision de processus, comment attribuer automatiquement du crédit partiel ? Ce n’est pas clair.

Beaucoup de laboratoires essaient de le faire avec ces LLM juges. Le LLM essaie de le faire. On donne un prompt au LLM : « Hé, regarde la solution partielle de l’étudiant. Si la réponse est celle-ci, à quel point penses-tu qu’il s’en sort bien ? » Et ils essaient d’ajuster le prompt.

Ce qui rend cela délicat est assez subtil. Chaque fois que vous utilisez un LLM pour attribuer une récompense, ces LLM sont d’énormes systèmes avec des milliards de paramètres, et ils sont gameables. Si vous faites de l’apprentissage par renforcement dessus, vous allez presque à coup sûr trouver des exemples adversariaux contre ces LLM juges. On ne peut donc pas faire ça trop longtemps. Peut-être qu’avec 10 ou 20 étapes, ça peut marcher, mais pas avec 100 ou 1 000. Je comprends que ce ne soit pas évident, mais en gros, le modèle va trouver de petites fissures. Il va dénicher toutes ces failles trompeuses dans les recoins d’un énorme modèle, puis trouver comment les exploiter.

Un exemple qui me vient fortement à l’esprit — c’était probablement public — c’est que si vous utilisez un LLM juge pour la récompense, vous lui donnez une solution d’un étudiant et vous demandez si l’étudiant a bien travaillé ou non. Nous nous entraînions par apprentissage par renforcement sur cette fonction de récompense, et cela marchait vraiment bien. Puis, soudain, la récompense est devenue extrêmement élevée. Il y a eu un saut énorme, et c’était parfaitement réussi. En voyant ça, on se dit : « Waouh, cela veut dire que l’étudiant est parfait sur tous ces problèmes. Il a totalement résolu les maths. »

Mais quand on regarde les complétions que l’on obtient du modèle, ce sont des absurdités totales. Ça commence correctement, puis ça bascule en « dhdhdhdh ». C’est juste : « Oh super, on prend 2 plus 3, on fait ceci et cela, puis dhdhdhdh ». Et quand on regarde ça, on se dit : c’est délirant. Comment est-ce que ça obtient une récompense de 1, ou de 100 % ? Quand on regarde le LLM juge, il s’avère que « dhdhdhdh » est un exemple adversarial pour le modèle, et il lui attribue une probabilité de 100 %.

C’est simplement parce que c’est un exemple hors distribution pour le LLM. Il ne l’a jamais vu pendant l’entraînement, et on est dans une zone de pure généralisation. Il ne l’a jamais vu pendant l’entraînement, et dans cette zone de pure généralisation, on peut trouver ce genre d’exemples qui le cassent.

Dwarkesh Patel 00:47:52

En gros, vous êtes en train d’entraîner le LLM à devenir un modèle à injection de prompt.

Andrej Karpathy 00:47:56

Même pas. L’injection de prompt, c’est trop sophistiqué. On cherche des exemples adversariaux, comme on les appelle. Ce sont des réponses manifestement fausses et absurdes, mais le modèle les trouve incroyables.

Dwarkesh Patel 00:48:07

Dans la mesure où c’est le goulet d’étranglement pour rendre la RL plus fonctionnelle, si vous voulez le faire de manière automatisée, il faudra rendre les LLM meilleurs comme juges. Faut-il adopter une approche de type GAN pour rendre les modèles plus robustes ?

Andrej Karpathy 00:48:22

Les laboratoires font probablement déjà tout cela. Ce qui est évident, c’est que « dhdhdhdh » ne devrait pas recevoir une récompense de 100 %. Très bien, on prend « dhdhdhdh », on l’ajoute au jeu d’entraînement du LLM juge, et on dit : ce n’est pas 100 %, c’est 0 %. On peut faire ça, mais à chaque fois qu’on le fait, on obtient un nouveau LLM qui a encore des exemples adversariaux. Parce qu’il y a une infinité d’exemples adversariaux.

Peut-être qu’en répétant cela plusieurs fois, il devient de plus en plus difficile de trouver des exemples adversariaux. Mais je n’en suis pas sûr à 100 %, parce qu’il y a mille milliards de paramètres ou quelque chose comme ça. Je suis certain que les laboratoires essaient. Je pense qu’il faut encore d’autres idées.

Dwarkesh Patel 00:48:57

Intéressant. Avez-vous une idée de ce à quoi pourraient ressembler ces autres idées ?

Andrej Karpathy 00:49:02

Il y a cette idée d’examiner les solutions et d’inclure des exemples synthétiques ; quand on s’entraîne dessus, on s’améliore et on fait en quelque sorte du méta-apprentissage. Je pense qu’il y a quelques articles qui commencent dans cette direction. J’en suis au stade où je ne lis que les résumés, parce que beaucoup de ces papiers ne sont encore que des idées. Il faut que quelqu’un arrive à faire fonctionner cela, avec une généralité complète, à l’échelle d’un laboratoire de frontier LLM. Parce que quand on regarde ces articles, ça émerge, mais c’est un peu bruité. Ce sont de belles idées, mais je n’ai vu personne montrer de manière convaincante que c’est possible. Cela dit, les laboratoires de LLM sont assez fermés, donc personne ne sait vraiment ce qu’ils font en ce moment.

00:49:38 – Comment les humains apprennent-ils ?

Dwarkesh Patel 00:49:38

Je peux conceptualiser des façons de s’entraîner sur des exemples synthétiques ou sur des problèmes synthétiques qu’on a soi-même créés. Mais il semble que les humains fassent aussi autre chose — peut-être que c’est le sommeil, peut-être que c’est la rêverie — où ils ne créent pas forcément de faux problèmes, ils réfléchissent simplement.

Je ne suis pas sûr de savoir quelle serait l’analogie en ML pour la rêverie, le sommeil, ou simplement la réflexion. De toute évidence, l’analogie la plus basique serait de faire du fine-tuning sur des traces de réflexion, mais j’ai l’impression que cela ne marcherait probablement pas si bien que ça. Avez-vous une idée de ce que pourrait être l’analogie ici ?

Andrej Karpathy 00:50:17

Je pense qu’il nous manque certains aspects. Par exemple, regardez la lecture d’un livre. Quand un LLM lit un livre aujourd’hui, cela veut dire qu’on déroule une séquence de texte, que le modèle prédit le token suivant, et qu’il en tire une certaine connaissance. Mais ce n’est pas du tout ce que fait un humain. Quand vous lisez un livre, vous n’avez pas l’impression que le livre est une explication à laquelle il faut prêter attention et sur laquelle il faut s’entraîner. Le livre est un ensemble de prompts pour générer des données synthétiques, ou pour aller dans un club de lecture et en parler avec des amis. C’est en manipulant cette information qu’on acquiert réellement cette connaissance. Il n’existe rien d’équivalent chez les LLM. Ils ne font pas vraiment cela. J’aimerais qu’il y ait, pendant le pré-entraînement, une étape où ils réfléchissent au matériau, essaient de le réconcilier avec ce qu’ils savent déjà, y consacrent un certain temps, et font en sorte que cela fonctionne. Rien de tout cela n’a d’équivalent. Tout cela relève encore de la recherche.

Il y a des raisons très subtiles — qui, à mon avis, sont très difficiles à comprendre — pour lesquelles ce n’est pas trivial. Si je peux en expliquer une : pourquoi ne peut-on pas générer synthétiquement et s’entraîner là-dessus ? Si vous donnez au modèle une génération synthétique où il réfléchit à un livre, vous pouvez regarder cela et vous dire : « Ça a l’air excellent. Pourquoi ne pas s’entraîner dessus ? » On peut essayer, mais si on continue à le faire, le modèle va devenir bien pire. C’est parce que tous les échantillons que vous obtenez du modèle s’effondrent silencieusement. Silencieusement — ce n’est pas évident quand on regarde un exemple individuel — ils occupent une très petite variété dans l’espace des pensées possibles. Quand les LLM sortent, ils sont ce que nous appelons « effondrés ». Ils ont une distribution de données effondrée. Une façon simple de le voir, c’est d’aller sur ChatGPT et de lui demander : « Raconte-moi une blague. » Il n’a que 3 blagues. Il ne vous donne pas toute l’étendue des blagues possibles. Il connaît 3 blagues. Elles se sont silencieusement effondrées.

Nous n’obtenons pas de ces modèles la richesse, la diversité et l’entropie que nous obtenons des humains. Les humains ont bien plus de bruit, mais au moins ils ne sont pas biaisés, au sens statistique. Ils ne s’effondrent pas silencieusement. Ils conservent une énorme quantité d’entropie. Donc comment préserver l’entropie tout en faisant fonctionner la génération de données synthétiques malgré cet effondrement ? C’est une question de recherche.

Dwarkesh Patel 00:52:20

Pour vérifier que j’ai bien compris, si l’effondrement est lié à la génération de données synthétiques, c’est parce qu’on veut pouvoir produire des problèmes synthétiques ou des réflexions qui ne sont pas déjà dans la distribution des données ?

Andrej Karpathy 00:52:32

Ce que je veux dire, c’est que s’il y a un chapitre dans un livre et qu’on demande à un LLM d’y réfléchir, il va vous donner quelque chose qui paraît tout à fait raisonnable. Mais si vous lui posez la question 10 fois, vous verrez que c’est toujours la même chose.

Dwarkesh Patel 00:52:44

Donc vous dites qu’on ne peut pas continuer à faire croître la « réflexion » à partir de la même quantité d’information dans le prompt et en tirer des gains.

Andrej Karpathy 00:52:54

Les échantillons individuels ont l’air corrects, mais leur distribution est assez terrible. Terrible au point que si vous continuez à les entraîner trop sur leurs propres sorties, ils finissent réellement par s’effondrer.

Je pense qu’il est possible qu’il n’y ait pas de solution fondamentale à cela. Et je pense aussi que les humains s’effondrent avec le temps. Ces analogies sont étonnamment bonnes. Les humains s’effondrent au cours de leur vie. C’est pour ça que les enfants ne sont pas encore surajustés. Ils diront des choses qui peuvent vous choquer. Parce que vous voyez d’où cela vient, mais ce n’est simplement pas le genre de choses que les gens disent. Parce qu’ils ne se sont pas encore effondrés. Mais nous, si. Nous revisitons les mêmes pensées. Nous finissons par dire de plus en plus les mêmes choses, le taux d’apprentissage baisse, l’effondrement continue de s’aggraver, puis tout se dégrade.

Dwarkesh Patel 00:53:39

Avez-vous vu ce papier très intéressant qui explique que les rêves seraient un moyen d’empêcher ce type de surajustement et d’effondrement ? Que la raison évolutionnaire pour laquelle les rêves sont adaptatifs, c’est qu’ils vous placent dans des situations étranges, très différentes de la réalité quotidienne, précisément pour éviter ce type de surajustement.

Andrej Karpathy 00:53:55

C’est une idée intéressante. Quand vous générez des choses dans votre tête et que vous y prêtez attention, je pense que vous vous entraînez sur vos propres données synthétiques. Si vous faites ça trop longtemps, vous déviez de votre trajectoire et vous vous effondrez trop. Il faut toujours chercher de l’entropie dans la vie. Parler à d’autres personnes est une excellente source d’entropie, ce genre de choses. Donc peut-être que le cerveau a lui aussi construit un mécanisme interne pour augmenter la quantité d’entropie dans ce processus. C’est une idée intéressante.

Dwarkesh Patel 00:54:25

C’est une pensée encore très mal formée, donc je vais juste la dire et vous me direz ce que vous en pensez. Les meilleurs apprenants que nous connaissons, c’est-à-dire les enfants, sont extrêmement mauvais pour se souvenir des informations. En fait, dans les toutes premières étapes de l’enfance, ils oublieront tout. Pour tout ce qui s’est passé avant un certain âge, ce sont pratiquement des amnésiques. Mais ils sont extrêmement doués pour acquérir une nouvelle langue et apprendre sur le monde. Peut-être qu’il y a là un facteur lié au fait de voir la forêt plutôt que les arbres.

À l’autre extrémité du spectre, il y a le préentraînement des LLM : ces modèles pourraient littéralement répéter mot à mot ce qui vient ensuite sur une page Wikipédia. Mais leur capacité à apprendre très vite des concepts abstraits comme le ferait un enfant est beaucoup plus limitée. Ensuite, les adultes se situent quelque part entre les deux : ils n’ont pas la flexibilité d’apprentissage de l’enfance, mais ils peuvent mémoriser des faits et des informations d’une manière plus difficile pour les enfants. Je ne sais pas s’il y a quelque chose d’intéressant dans ce spectre.

Andrej Karpathy 00:55:19

Je pense qu’il y a quelque chose de très intéressant là-dedans, à 100 %. Je pense que les humains, par rapport aux LLM, ont bien davantage cette capacité à voir la forêt plutôt que les arbres. En réalité, nous ne sommes pas si bons que ça en mémorisation, et c’est en fait une caractéristique. Comme nous ne sommes pas bons en mémorisation, nous sommes forcés de chercher des motifs dans un sens plus général.

Les LLM, eux, sont comparativement extrêmement bons en mémorisation. Ils vont réciter des passages issus de toutes ces sources d’entraînement. Vous pouvez leur donner des données complètement absurdes. On peut hacher une certaine quantité de texte ou quelque chose comme ça, obtenir une séquence totalement aléatoire. Si on les entraîne dessus, après une ou deux répétitions, soudain ils peuvent tout répéter. Ils vont le mémoriser. Aucun humain ne peut lire une unique séquence de nombres aléatoires et vous la réciter ensuite.

Ce n’est pas un bug, c’est une caractéristique. Parce que cela nous force à n’apprendre que des composantes généralisables. Alors que les LLM sont distraits par tous les souvenirs de leurs documents de préentraînement, et c’est probablement très perturbant pour eux dans un certain sens. Donc quand je parle d’un noyau cognitif, j’aimerais retirer la mémoire dont nous avons parlé. J’aimerais qu’ils aient moins de mémoire, qu’ils soient obligés d’aller chercher les choses, et qu’ils ne gardent que les algorithmes de pensée, l’idée d’expérimentation, et toute la colle cognitive de l’action.

Dwarkesh Patel 00:56:36

Est-ce que cela a aussi un lien avec la prévention de l’effondrement des modèles ?

Andrej Karpathy 00:56:41

Je vais y réfléchir. Je n’en suis pas sûr. C’est presque comme un axe séparé. Les modèles sont trop bons en mémorisation, et il faut d’une manière ou d’une autre la leur retirer. Les humains sont bien plus mauvais à cela, mais c’est une bonne chose.

Dwarkesh Patel 00:56:57

Quelle est la solution à l’effondrement des modèles ? Il y a des choses très naïves qu’on peut essayer. Par exemple, dire que la distribution sur les logits devrait être plus large, ou des choses comme ça. Il y a beaucoup d’approches naïves à tenter. Au final, quel est le problème de ces approches naïves ?

Andrej Karpathy 00:57:11

Bonne question. On peut imaginer une régularisation sur l’entropie, ce genre de choses. Mais empiriquement, cela ne semble pas si bien fonctionner. Parce qu’à l’heure actuelle, les modèles sont déjà effondrés. Mais je dirais aussi que la plupart des tâches que nous voulons leur confier n’exigent pas vraiment de diversité. C’est probablement la réponse à ce qui se passe.

Les labos de pointe essaient de rendre les modèles utiles. Je pense que la diversité des sorties n’est pas tellement... d’abord, c’est beaucoup plus difficile à travailler et à évaluer, ce genre de choses, mais ce n’est probablement pas non plus ce qui capte l’essentiel de la valeur.

Dwarkesh Patel 00:57:42

En fait, c’est même activement pénalisé. En RL, si vous êtes très créatif, ce n’est pas bon.

Andrej Karpathy 00:57:48

Oui. Ou bien si vous recevez beaucoup d’aide d’un LLM pour écrire, c’est probablement mauvais. Parce que les modèles vont silencieusement tous vous donner la même chose. Ils n’exploreront pas beaucoup de façons différentes de répondre à la question.

Cette diversité n’est probablement pas présente dans les modèles parce que beaucoup d’applications n’en ont pas besoin. Mais cela devient un problème au moment de la génération de données synthétiques, par exemple. Donc, en n’autorisant pas les modèles à conserver cette entropie, nous nous tirons nous-mêmes une balle dans le pied. Les labos devraient peut-être faire plus d’efforts.

Dwarkesh Patel 00:58:17

Je pense que vous avez laissé entendre que c’était un problème très fondamental, pas facile à résoudre. Quelle est votre intuition là-dessus ?

Andrej Karpathy 00:58:24

Je ne suis pas certain que ce soit très fondamental. Je ne sais pas si c’est vraiment ce que je voulais dire. Je n’ai pas fait ce type d’expériences, mais je pense qu’on pourrait probablement régulariser l’entropie à un niveau plus élevé. De cette manière, on encourage le modèle à produire de plus en plus de réponses, mais sans vouloir qu’il s’éloigne trop des données d’entraînement. Il commencerait à inventer son propre langage. Il commencerait à utiliser des mots extrêmement rares, donc il dériverait trop loin de la distribution.

Donc je pense que le simple fait de contrôler la distribution est délicat. En ce sens, ce n’est probablement pas trivial.

Dwarkesh Patel 00:58:58

Si vous deviez faire une estimation, quel serait le nombre optimal de bits pour le cœur de l’intelligence ? Si on devait l’embarquer dans une sonde de von Neumann, quelle taille faudrait-il ?

Andrej Karpathy 00:59:10

Ce qui est vraiment intéressant dans l’histoire du domaine, c’est qu’à un moment, tout le monde était obsédé par le scaling. « Oh, on va construire des modèles bien plus grands, des modèles avec des milliers de milliards de paramètres. » Les modèles ont d’abord grossi, puis maintenant ils ont rapetissé. Les modèles de pointe sont plus petits. Et pourtant, je pense qu’ils mémorisent encore beaucoup trop. J’ai donc fait une prédiction il y a quelque temps : j’ai l’impression qu’on peut obtenir un très bon cœur cognitif avec à peine un milliard de paramètres.

Si vous parlez à un modèle d’un milliard de paramètres, je pense que dans 20 ans vous pourrez avoir avec lui une conversation très productive. Il réfléchira, il sera bien plus proche d’un humain. Mais si vous lui posez une question factuelle, il devra peut-être chercher la réponse ; il saura ce qu’il ne sait pas, il saura qu’il faut aller vérifier, et il fera toutes les choses raisonnables.

Dwarkesh Patel 00:59:54

Je suis surpris que vous pensiez qu’il faudra un milliard de paramètres. Parce qu’il existe déjà des modèles d’un milliard de paramètres, ou de quelques milliards, et ils sont déjà très intelligents.

Andrej Karpathy 01:00:02

Oui, enfin, les modèles de pointe, c’est plutôt des milliers de milliards de paramètres. Mais ils retiennent trop de choses.

Dwarkesh Patel 01:00:06

Oui, mais dans 10 ans, vu la vitesse à laquelle ça avance… il y a gpt-oss-20b. Il est bien meilleur que le GPT-4 d’origine, qui avait plus de mille milliards de paramètres. Vu cette tendance, je suis surpris que vous pensiez que, dans 10 ans, le cœur cognitif sera encore à un milliard de paramètres. Je n’aurais pas été surpris que vous disiez : « Oh, ce sera quelques dizaines de millions, voire quelques millions. »

Andrej Karpathy 01:00:30

Le problème, c’est le suivant. Les données d’entraînement, c’est l’internet, et c’est vraiment affreux. Il y a énormément de gains possibles justement parce que l’internet est affreux. Et même quand vous et moi pensons à l’internet, vous imaginez des choses comme le Wall Street Journal. Mais ce n’est pas ça. Quand on regarde les jeux de données de préentraînement dans les labos de pointe, et qu’on ouvre au hasard des documents du web, c’est de la vraie camelote. Je ne comprends même pas comment ça peut marcher. Des tickers boursiers, des symboles, d’énormes quantités de slop et de déchets venus de tous les recoins du web. Ce n’est pas des articles du Wall Street Journal ; ça, c’est extrêmement rare. Donc, comme l’internet est si mauvais, on est obligés de construire des modèles vraiment énormes pour tout compresser. Et la majeure partie de cette compression est un travail de mémoire, pas un travail cognitif.

Mais ce qu’on veut vraiment, c’est la partie cognitive, et supprimer la mémoire. Ce que je veux dire, c’est qu’il nous faut des modèles intelligents pour nous aider à épurer les jeux de préentraînement afin de les resserrer sur la seule composante cognitive. Là, on aura des jeux de données bien meilleurs, et je pense qu’on pourra alors y arriver avec des modèles bien plus petits, parce qu’on pourra les entraîner sur de bien meilleures données. Mais probablement pas via un entraînement direct ; ce sera sans doute encore distillé depuis un modèle bien meilleur.

Dwarkesh Patel 01:01:35

Mais pourquoi la version distillée serait-elle encore à un milliard ?

Andrej Karpathy 01:01:39

J’ai simplement l’impression que la distillation marche extrêmement bien. Donc presque tous les petits modèles, si vous voyez un petit modèle, il a presque certainement été distillé.

Dwarkesh Patel 01:01:46

D’accord, mais pourquoi la distillation, dans 10 ans, ne descendrait-elle pas sous le milliard ?

Andrej Karpathy 01:01:50

Oh, vous pensez que ça devrait être plus petit qu’un milliard ? Enfin, bien sûr, pourquoi pas ? Je ne sais pas. À un moment donné, pour faire des choses intéressantes, il faut peut-être au moins un milliard de boutons de réglage. Vous pensez qu’il faut aller plus bas ?

Dwarkesh Patel 01:02:01

Oui. Quand on voit la tendance de ces dernières années — cueillir les fruits les plus faciles, passer de modèles de plus de mille milliards de paramètres à des modèles littéralement deux fois plus petits en deux ans, avec de meilleures performances — ça me fait penser que le cœur de l’intelligence pourrait être beaucoup, beaucoup plus petit. Pour reprendre Feynman, il y a largement assez de place au fond.

Andrej Karpathy 01:02:22

J’ai déjà l’impression d’être hors courant principal rien qu’en parlant d’un cœur cognitif d’un milliard de paramètres, et vous allez encore plus loin que moi. Peut-être que ça pourra être un peu plus petit. En réalité, je pense qu’on veut quand même que le modèle possède un certain niveau de connaissances. On ne veut pas qu’il doive tout chercher, parce qu’alors il ne peut pas vraiment réfléchir dans sa tête. Il passe son temps à aller vérifier trop de choses. Il faut qu’il y ait un socle de connaissances de base, mais pas de connaissances ésotériques.

Dwarkesh Patel 01:02:48

On discute de ce que pourrait être le cœur cognitif. Il y a une autre question, distincte : comment la taille des modèles de frontière va-t-elle évoluer avec le temps ? Je me demande si vous avez une prédiction. On a vu l’échelle augmenter jusqu’à GPT 4.5, puis maintenant diminuer ou stagner. Il peut y avoir beaucoup de raisons à cela. Avez-vous une prédiction pour la suite ? Les plus gros modèles vont-ils devenir plus grands, plus petits, ou rester à peu près les mêmes ?

Andrej Karpathy 01:03:14

Je n’ai pas de prédiction très forte. Les labos sont simplement pragmatiques. Ils ont un budget en flops et un budget en coûts. Il s’est avéré que le préentraînement n’est pas l’endroit où ils veulent mettre l’essentiel des flops ou des coûts. C’est pour ça que les modèles ont rétréci. Ils sont un peu plus petits ; la phase de préentraînement est plus petite, mais ils compensent ensuite avec le reinforcement learning, l’entraînement intermédiaire et tout ce qui suit. Ils sont simplement pragmatiques à chaque étape et cherchent comment obtenir l’effet maximal.

Il est assez difficile de prédire cette tendance. Je m’attends quand même à ce qu’il reste énormément de fruits à portée de main. C’est mon attente de base. Là-dessus, j’ai une distribution très large.

Dwarkesh Patel 01:03:51

Vous pensez que ces fruits faciles ressembleront à ce qu’on a vu ces 2 à 5 dernières années ? Quand on regarde nanochat par rapport à nanoGPT et les ajustements d’architecture que vous avez faits, est-ce que c’est ce genre de progrès que vous attendez encore ? Vous n’anticipez pas un gigantesque changement de paradigme.

Andrej Karpathy 01:04:11

Pour l’essentiel, oui. Je m’attends à ce que les jeux de données deviennent bien, bien meilleurs. Quand on regarde les jeux de données moyens, ils sont extrêmement mauvais. À tel point que je ne comprends même pas comment quoi que ce soit fonctionne. Regardez l’exemple moyen dans le jeu d’entraînement : erreurs factuelles, fautes, absurdités. D’une certaine manière, à grande échelle, le bruit est lavé et il ne reste qu’un peu de signal. Les jeux de données vont énormément s’améliorer.

Tout va s’améliorer. Notre hardware, tous les kernels qui servent à l’exécuter et à maximiser ce qu’on en tire. Nvidia ajuste lentement le hardware lui-même, les Tensor Cores, tout ça doit se produire et continuera à se produire. Tous les kernels vont s’améliorer et exploiter la puce au maximum. Tous les algorithmes vont probablement progresser, côté optimisation, architecture, et dans toutes les composantes de modélisation liées à la façon dont tout cela est conçu et aux algorithmes avec lesquels nous entraînons les modèles. Je ne m’attends pas à ce qu’un seul facteur domine. Tout plus 20 %. C’est à peu près ce que j’ai observé.

01:06:25 – L’AGI sera intégrée dans une croissance du PIB de 2 %.

Dwarkesh Patel 01:06:25

Les gens ont proposé différentes façons de faire des graphiques montrant à quel point nous avons progressé vers une AGI complète. Si vous pouvez tracer une courbe, vous pouvez voir où cette courbe croise l’AGI et où cela se produirait sur l’axe des x. Certains ont proposé que ce soit le niveau d’éducation. Nous avons eu le niveau lycée, puis avec le RL nous sommes passés à l’université, et nous obtiendrons un doctorat.

Andrej Karpathy 01:06:44

Je n’aime pas ça.

Dwarkesh Patel 01:06:45

Ou alors, ils proposeront la longueur d’horizon. Peut-être qu’elles peuvent accomplir des tâches qui prennent une minute, et le faire de manière autonome. Ensuite, de façon autonome, des tâches qui prennent une heure à un humain, puis des tâches qui prennent une semaine à un humain. Que pensez-vous de l’axe des y pertinent ici ? Comment faut-il penser la progression de l’IA ?

Andrej Karpathy 01:07:05

Il y a deux réponses à cela. D’abord, j’ai presque envie de rejeter la question elle-même. Parce que je vois cela comme une extension de l’informatique. A-t-on parlé de la façon de représenter les progrès de l’informatique sur un graphique, ou de la façon de cartographier les progrès de l’informatique depuis les années 1970 ? Quel est l’axe des y ? De ce point de vue, toute la question a un côté un peu absurde.

Quand les gens parlent de l’IA et de l’AGI à l’origine, et de la façon dont nous en parlions quand OpenAI a démarré, l’AGI était un système capable d’accomplir toutes les tâches économiquement utiles au niveau humain ou au-delà. C’était la définition. J’en étais assez satisfait à l’époque et je m’y suis tenu depuis. Ensuite, les gens ont inventé toutes sortes d’autres définitions. Mais j’aime cette définition.

La première concession que les gens font toujours, c’est simplement de retirer tout ce qui est physique. Parce qu’au fond, on ne parle que de travail intellectuel numérique. C’est déjà une concession assez majeure par rapport à la définition d’origine. La définition initiale, c’était toutes les tâches qu’un humain peut accomplir. Je peux soulever des objets, etc. L’IA ne peut manifestement pas faire cela, mais d’accord. Quand on dit : « Oh, seulement le travail intellectuel », quelle part de l’économie enlève-t-on ? Je ne connais pas le chiffre. Mon intuition, si je devais deviner, c’est environ 10 à 20 % : uniquement du travail intellectuel, quelqu’un qui peut travailler de chez lui et accomplir des tâches, ce genre de choses. Cela reste un marché vraiment énorme. Quelle est la taille de l’économie, et que représentent 10 ou 20 % ? On parle encore de plusieurs milliers de milliards de dollars, rien qu’aux États-Unis, en part de marché ou en volume de tâches. Cela reste donc une catégorie immense.

Pour revenir à la définition, ce que j’essaie d’évaluer, c’est dans quelle mesure elle est vraie. Y a-t-il des emplois, ou beaucoup de tâches, si l’on pense en termes de tâches plutôt qu’en termes d’emplois ? C’est difficile. Parce que le problème, c’est que la société va refactorer les emplois à partir des tâches qui les composent, selon ce qui est automatisable ou non. Aujourd’hui, quels sont les emplois remplaçables par l’IA ? Un bon exemple récent, c’était la prédiction de Geoff Hinton selon laquelle les radiologues n’auraient plus d’emploi, ce qui s’est révélé très faux à bien des égards. Les radiologues sont toujours là, se portent bien et leur secteur croît. Et ce, même si la computer vision est vraiment, vraiment bonne pour repérer dans les images toutes les différentes choses qu’ils doivent identifier. C’est simplement un métier complexe, avec beaucoup de facettes, lié à la prise en charge du patient et au contexte de tout cela.

Avec cette définition, je ne pense pas que l’IA ait encore eu un impact majeur. Parmi les emplois que j’observerais, certains ont des caractéristiques qui les rendent bien plus propices à une automatisation précoce que d’autres. Les agents de centre d’appels, par exemple, reviennent souvent dans la discussion, et je pense que c’est juste. Les agents de centre d’appels ont beaucoup de propriétés simplificatrices par rapport à ce qu’on peut automatiser aujourd’hui. Leur travail est assez simple. C’est une séquence de tâches, et toutes les tâches se ressemblent. Vous avez une conversation téléphonique avec quelqu’un, une interaction de 10 minutes, ou peu importe, sans doute plus longue. D’après mon expérience, beaucoup plus longue. Vous accomplissez une tâche dans un système, vous modifiez certaines entrées de base de données, ce genre de chose. Donc vous répétez sans cesse quelque chose, et c’est votre emploi.

Je voudrais prendre l’horizon de tâche — le temps nécessaire pour accomplir une tâche — puis supprimer le contexte. Vous ne gérez pas tous les aspects du service de l’entreprise ni les différents segments de clientèle. Il y a simplement la base de données, vous, et la personne que vous servez. C’est plus fermé, plus compréhensible et purement numérique. C’est donc ce genre de choses que je regarderais.

Mais même là, je ne chercherais pas encore une automatisation complète. Je chercherais un curseur d’autonomie. Je m’attends à ce qu’on ne remplace pas immédiatement les gens. On remplacera par une IA qui exécute 80 % du volume. Elle délègue 20 % du volume à un humain, et des humains supervisent cinq IA qui gèrent des tâches de centre d’appels plus standardisées. Je m’attendrais à voir apparaître de nouvelles interfaces ou de nouvelles entreprises offrant une couche permettant de gérer certaines de ces IA. Elles ne sont pas encore parfaites. Ensuite, je m’attendrais à retrouver cela dans l’ensemble de l’économie. Beaucoup d’emplois sont bien plus difficiles que celui d’agent de centre d’appels.

Dwarkesh Patel 01:11:02

À propos des radiologues, je spécule complètement et je ne sais absolument pas ce qu’implique réellement leur workflow. Mais une analogie qui pourrait s’appliquer, c’est que lorsque Waymo a été déployé pour la première fois, il y avait une personne assise à l’avant, qui devait être là si quelque chose tournait vraiment mal. Encore aujourd’hui, des gens surveillent toujours pour vérifier que tout se passe bien. Les robotaxis tout juste déployés ont encore quelqu’un à l’intérieur.

Or, nous pourrions être dans une situation analogue où, même si nous automatisons 99 % d’un emploi, le dernier 1 % que les humains doivent encore assurer devient extrêmement précieux, parce qu’il constitue le goulot d’étranglement de tout le reste. Dans le cas des radiologues, si la personne assise à l’avant du Waymo doit être spécialement formée pendant des années pour fournir ce dernier 1 %, alors son salaire devrait énormément augmenter. Parce qu’elle est la seule chose qui bloque un déploiement à grande échelle. Pour les radiologues, je pense que leurs salaires ont augmenté pour une raison similaire : si vous êtes le dernier goulot d’étranglement et que vous n’êtes pas substituable. Le conducteur Waymo, lui, est peut-être substituable à d’autres. Donc on pourrait voir quelque chose où les salaires montent jusqu’à ce qu’on atteigne 99 %, puis s’effondrent quand le dernier 1 % disparaît. Et je me demande si on observe quelque chose de comparable pour la radiologie, les agents de centre d’appels ou ce genre de métiers.

Andrej Karpathy 01:12:17

Question intéressante. Je ne pense pas que nous observions cela aujourd’hui en radiologie. Je ne pense pas que la radiologie soit un bon exemple. Je ne sais pas pourquoi Geoff Hinton a choisi la radiologie. Parce que je pense que c’est une profession extrêmement complexe.

Je serais bien plus intéressé par ce qui arrive aujourd’hui, par exemple, aux agents de centre d’appels. Parce que je m’attends à ce qu’une grande partie de l’aspect standardisé soit automatisable aujourd’hui. Je n’ai pas d’accès direct à cela, mais je chercherais les tendances concernant ce qui arrive aux agents de centre d’appels. L’une des choses auxquelles je m’attendrais aussi, c’est qu’ils les remplacent peut-être par de l’IA, mais ensuite j’attendrais encore un an ou deux. Parce que je m’attendrais potentiellement à ce qu’ils reviennent en arrière et réembauchent certaines personnes.

Dwarkesh Patel 01:13:00

Il y avait déjà des preuves que cela se produisait généralement dans les entreprises qui avaient adopté l’IA. À mon avis, c’est assez surprenant.

Ce qui m’a aussi vraiment surpris, c’est ceci. L’AGI, d’accord ? Elle va tout faire. En retirant le travail physique, elle devrait pouvoir accomplir tout le travail intellectuel. Intuitivement, je m’attendais à ce que cette progression se produise en prenant une petite tâche effectuée par un consultant et en la retirant de cette catégorie. Puis une petite tâche effectuée par un comptable, et en la retirant de cette catégorie. Et ainsi de suite à travers tout le travail intellectuel.

Mais si, à l’inverse, vous pensez que le paradigme actuel nous met sur la voie de l’AGI, alors les progrès ne vont pas du tout dans ce sens. On n’a pas l’impression que les consultants et les comptables obtiennent d’énormes gains de productivité. C’est très similaire au cas des programmeurs, dont le travail se fait peu à peu grignoter. Si vous regardez les revenus de ces entreprises, en retirant les revenus génériques du chat — ce qui ressemble davantage à Google — et que vous ne regardez que les revenus API, le code domine. Donc cette chose soi-disant « générale », censée pouvoir faire tout le travail du savoir, fait en pratique de manière écrasante du code. C’est une façon étonnante de voir l’AGI se déployer.

Andrej Karpathy 01:14:13

Il y a ici un point intéressant. Je pense que le code est le premier domaine parfait pour ces LLM et ces agents. Parce que le code a toujours fondamentalement fonctionné autour du texte. Il y a les terminaux, le texte, et tout repose sur du texte. Les LLM aiment le texte, par la manière dont ils sont entraînés sur Internet. Ce sont des processeurs de texte parfaits, et en plus il y a toutes ces données. C’est un ajustement parfait.

Nous disposons aussi déjà de beaucoup d’infrastructures conçues pour manipuler du code et du texte. Par exemple, Visual Studio Code ou votre IDE préféré affiche le code, et un agent peut s’y connecter. Si l’agent produit un diff avec des modifications, nous avons déjà tout cet outillage qui permet d’utiliser des diff pour montrer toutes les différences dans une codebase. On dirait qu’on a construit à l’avance énormément d’infrastructure pour le code.

Comparez cela à des domaines qui n’en bénéficient pas du tout. Par exemple, il y a des gens qui essaient de construire de l’automatisation non pas pour le code, mais pour des slides. J’ai vu des entreprises qui travaillent sur les slides. C’est bien, bien plus difficile. C’est plus difficile parce que les slides ne sont pas du texte. Ce sont de petits éléments graphiques, disposés dans l’espace, avec des composants visuels. Les slides n’ont pas cette infrastructure préexistante. Par exemple, si un agent modifie des slides, comment montre-t-on le diff ? Comment visualise-t-on le diff ? Il n’existe rien pour afficher un diff sur des slides. Il faut que quelqu’un le construise. Certaines de ces choses ne sont tout simplement pas adaptées à une IA qui est un processeur de texte, alors que le code, étonnamment, l’est.

Dwarkesh Patel 01:15:48

Je ne suis pas certain que cela suffise à l’expliquer. Personnellement, j’ai essayé d’utiliser les LLM sur des domaines à entrée purement linguistique et sortie linguistique, comme la réécriture de transcriptions ou la création de clips à partir de transcriptions. Il est tout à fait possible que je n’aie pas tout essayé. J’ai fourni beaucoup de bons exemples en contexte, mais il aurait peut-être fallu faire un certain type de fine-tuning.

Notre ami commun, Andy Matuschak, a dit avoir essayé 50 milliards de choses pour que le modèle soit bon pour écrire des prompts de répétition espacée. Là encore, c’est une tâche très centrée sur une entrée linguistique et une sortie linguistique, le genre de chose qui devrait être en plein cœur du répertoire de ces LLM. Il a essayé l’apprentissage en contexte avec des exemples few shot. Il a essayé le fine-tuning supervisé et la recherche. Il n’a pas réussi à lui faire produire des cartes dont il soit satisfait.

Donc même dans le domaine de la sortie textuelle, en dehors du code, il est frappant de voir à quel point il est difficile de tirer beaucoup de valeur économique de ces modèles. Je ne sais pas ce qui l’explique.

Andrej Karpathy 01:16:57

Oui, ça se tient. Je ne dis pas que tout ce qui est textuel est trivial. Je pense que le code est assez structuré. Le texte est probablement bien plus ornementé, et je dirais qu’il comporte beaucoup plus d’entropie. Je ne sais pas trop comment le formuler autrement. Le code est aussi difficile, donc les gens ont le sentiment que les LLM leur donnent déjà beaucoup de pouvoir, même avec des connaissances limitées. Je n’ai pas de très bonne réponse. Il est évident que le texte rend les choses bien, bien plus faciles, mais cela ne veut pas dire que tout texte est trivial.

01:17:36 – ASI (superintelligence)

Dwarkesh Patel 01:17:36

Que pensez-vous de la superintelligence ? Vous attendez-vous à ce qu’elle paraisse qualitativement différente des humains ordinaires ou des entreprises humaines ?

Andrej Karpathy 01:17:45

Je la vois comme la progression de l’automatisation dans la société. Si l’on extrapole la tendance du computing, il y aura une automatisation progressive de beaucoup de choses, et la superintelligence en sera l’extrapolation. Avec le temps, je m’attends à voir de plus en plus d’entités autonomes accomplir beaucoup de travail numérique, puis plus tard, après un certain temps, même du travail physique. En gros, je vois simplement cela comme de l’automatisation, à peu près.

Dwarkesh Patel 01:18:10

Mais l’automatisation inclut des choses que les humains savent déjà faire, alors que la superintelligence désigne des choses que les humains ne peuvent pas faire.

Andrej Karpathy 01:18:16

Oui, mais parmi les choses que font les humains, il y a le fait d’inventer des choses nouvelles, et si cela a du sens, je l’inclurais dans l’automatisation.

Dwarkesh Patel 01:18:20

Mais de façon moins abstraite et plus qualitative, quelque chose qui… parce que cela pourrait penser beaucoup plus vite, ou avoir énormément de copies, ou que ces copies puissent se refusionner entre elles, ou être beaucoup plus intelligent, ou disposer de n’importe lequel des nombreux avantages qu’une IA peut avoir — est-ce qu’une civilisation où ces IA existent vous semblerait qualitativement différente de l’humanité ?

Andrej Karpathy 01:18:51

Je pense que oui. Fondamentalement, ce sera de l’automatisation, mais extrêmement étrange. Cela aura un aspect vraiment bizarre. Comme vous l’avez dit, on peut faire tourner tout cela sur des clusters informatiques et aller beaucoup plus vite.

Quand j’imagine à quoi ressemblerait un tel monde, certains des scénarios qui commencent à m’inquiéter sont la perte progressive de contrôle et la perte progressive de compréhension de ce qui se passe. Je pense que la perte progressive de compréhension est l’issue la plus probable. Nous allons progressivement empiler toutes ces choses partout, et de moins en moins de gens les comprendront. Puis il y aura cette perte progressive de contrôle et de compréhension de ce qui est en train de se passer. Pour moi, cela ressemble à l’issue la plus probable de toute cette évolution.

Dwarkesh Patel 01:19:31

Je vais creuser ce point. Il n’est pas clair que la perte de contrôle et la perte de compréhension soient la même chose. Le conseil d’administration de TSMC, d’Intel — prenez n’importe quelle entreprise — ce sont juste des octogénaires prestigieux. Ils n’ont presque aucune compréhension, et n’ont probablement pas non plus, en pratique, un vrai contrôle.

Un meilleur exemple, c’est le président des États-Unis. Le président a beaucoup de pouvoir. Je n’essaie pas de faire ici un commentaire flatteur sur l’occupant actuel du poste, ou peut-être que si, mais le niveau de compréhension réelle est très différent du niveau de contrôle.

Andrej Karpathy 01:20:06

C’est juste. C’est une bonne objection. Je pense que je m’attends à la perte des deux.

Dwarkesh Patel 01:20:15

Comment ? La perte de compréhension est évidente, mais pourquoi la perte de contrôle ?

Andrej Karpathy 01:20:20

On s’aventure vraiment très loin dans un territoire dont on ne sait pas à quoi il ressemble, mais si j’écrivais de la science-fiction, je suivrais plutôt une direction où il n’y a même pas une entité unique qui prend le contrôle de tout, mais plusieurs entités concurrentes devenant progressivement de plus en plus autonomes. Certaines deviendraient voyous et les autres les combattraient. Ce serait une sorte de hotspot d’activités entièrement autonomes que nous aurions déléguées. J’ai l’impression que cela aurait cette saveur-là.

Dwarkesh Patel 01:20:52

Ce n’est pas le fait qu’elles soient plus intelligentes que nous qui entraîne la perte de contrôle. C’est le fait qu’elles soient en concurrence entre elles, et que tout ce qui sort de cette concurrence mène à une perte de contrôle.

Andrej Karpathy 01:21:06

Oui. Une grande partie de ces systèmes sera un outil pour des humains, agira au nom d’humains, ou quelque chose de ce genre. Donc peut-être que ces humains garderont le contrôle, mais peut-être qu’au niveau de la société dans son ensemble, il y aura tout de même une perte de contrôle au sens où l’on n’obtient pas les résultats que l’on souhaite. On aura toujours des entités agissant au nom d’individus qui, globalement, paraîtront eux-mêmes hors de contrôle.

Dwarkesh Patel 01:21:30

C’est une question que j’aurais dû poser plus tôt. Nous parlions du fait que, lorsqu’on fait aujourd’hui de l’ingénierie IA ou de la recherche en IA, on a l’impression que ces modèles relèvent davantage de la catégorie des compilateurs que de celle d’un remplacement.

À un certain point, si vous avez une AGI, elle devrait être capable de faire ce que vous faites. Avez-vous l’impression qu’avoir un million de copies de vous-même en parallèle provoquerait une énorme accélération des progrès de l’IA ? Si cela se produisait, vous attendez-vous à voir une explosion de l’intelligence une fois que nous aurons une véritable AGI ? Je ne parle pas des LLM d’aujourd’hui.

Andrej Karpathy 01:22:01

Oui, mais ce serait simplement la continuité de ce qui se passe déjà. Parce que nous sommes déjà dans une explosion de l’intelligence, et ce depuis des décennies. En gros, c’est la courbe du PIB, qui est une somme pondérée exponentielle de trop nombreux aspects de l’industrie. Tout est progressivement automatisé, et ce depuis des centaines d’années. La révolution industrielle, c’est l’automatisation de certains éléments physiques, de la fabrication d’outils, etc. Les compilateurs, c’est une première forme d’automatisation logicielle, et ainsi de suite. Nous sommes engagés depuis longtemps dans une amélioration récursive de nous-mêmes et dans cette explosion.

Une autre manière de voir les choses, c’est de se dire que la Terre était un endroit assez ennuyeux si l’on ne regarde pas la biomécanique et ce genre de choses, et qu’elle paraissait très semblable à elle-même. Vue depuis l’espace, nous sommes au beau milieu de cet événement de feu d’artifice, mais nous l’observons au ralenti. J’ai clairement le sentiment que cela se produit déjà depuis très longtemps. Encore une fois, je ne vois pas l’IA comme une technologie distincte de quelque chose qui se produisait déjà depuis longtemps.

Dwarkesh Patel 01:23:00

Vous pensez que c’est continu avec cette tendance super-exponentielle ?

Andrej Karpathy 01:23:03

Oui. C’est ce qui m’a beaucoup intéressé. Parce que j’ai passé du temps à chercher l’IA dans le PIB. Je pensais que le PIB devait monter. Mais j’ai regardé d’autres technologies que je considérais comme très transformatrices, comme l’ordinateur ou le téléphone portable. On ne les voit pas dans le PIB. Le PIB suit la même exponentielle.

Même l’iPhone des débuts n’avait pas d’App Store, ni beaucoup des raffinements de l’iPhone moderne. Donc même si l’on considère 2008, la sortie de l’iPhone, comme ce grand basculement tectonique, en réalité ce n’est pas le cas. Tout est tellement diffus et se propage si lentement que tout finit par être moyenné dans la même exponentielle. Pour les ordinateurs, c’est exactement pareil. On ne peut pas les repérer dans le PIB en disant « oh, maintenant il y a des ordinateurs ». Ça ne s’est pas passé comme ça. Parce que tout se déroule trop lentement.

Avec l’IA, on verra exactement la même chose. C’est simplement davantage d’automatisation. Elle nous permet d’écrire d’autres types de programmes que nous ne pouvions pas écrire auparavant. Mais l’IA reste fondamentalement un programme. C’est un nouveau type d’ordinateur et un nouveau type de système de calcul. Mais il y a tous ces problèmes, cela va se diffuser avec le temps, et cela s’ajoutera toujours à la même exponentielle. Nous aurons toujours une exponentielle qui restera extrêmement verticale. Vivre dans ce genre d’environnement sera très étrange.

Dwarkesh Patel 01:24:10

Si l’on regarde la tendance depuis avant la révolution industrielle jusqu’à aujourd’hui, êtes-vous en train de dire qu’on a une super-exponentielle qui passe de 0 % de croissance à 0,02 % il y a 10 000 ans, puis à 2 % aujourd’hui ? C’est ça, la super-exponentielle. Si on y place l’IA sur le graphique, dites-vous que l’IA va vous amener à 20 % de croissance, ou à 200 % de croissance ?

Ou bien dites-vous que, si l’on regarde les 300 dernières années, on a observé chaque technologie séparément — l’ordinateur, l’électrification, la machine à vapeur, le chemin de fer, etc. — mais que le taux de croissance est resté exactement le même, à 2 % ? Dites-vous que le taux de croissance va augmenter ?

Andrej Karpathy 01:24:46

Le taux de croissance est lui aussi resté globalement constant, non ?

Dwarkesh Patel 01:24:49

Seulement sur les 200 à 300 dernières années. Mais sur l’ensemble de l’histoire humaine, il a explosé. On est passé de 0 % à toujours plus vite, plus vite, plus vite. Explosion industrielle, 2 %.

Andrej Karpathy 01:25:01

Pendant un temps, j’ai essayé de trouver l’IA dans la courbe du PIB, ou de trouver l’IA tout court, et je me suis convaincu moi-même que c’était faux. Même quand les gens parlent d’amélioration récursive de soi et des laboratoires, ce n’est que la continuité de ce qui se passe déjà. Bien sûr qu’on va s’améliorer récursivement, et c’est déjà ce que nous faisons.

Les LLM permettent aux ingénieurs de travailler beaucoup plus efficacement pour construire la prochaine génération de LLM, et une bien plus grande partie des composants est automatisée et orchestrée. Tous les ingénieurs qui ont accès à Google Search en font aussi partie. Tous les ingénieurs qui ont un IDE, tous les ingénieurs avec l’autocomplétion ou avec Claude code, etc., font tous partie de la même accélération d’ensemble. C’est trop fluide.

Dwarkesh Patel 01:25:41

Pour être clair, vous dites donc que le taux de croissance ne changera pas. L’explosion de l’intelligence se manifestera simplement en nous aidant à rester sur notre trajectoire de croissance à 2 %, comme Internet nous a aidés à rester sur une trajectoire de croissance à 2 %.

Andrej Karpathy 01:25:53

Oui, je m’attends à ce qu’on reste sur le même schéma.

Dwarkesh Patel 01:25:58

Pour présenter l’argument contraire, moi, je m’attends à une explosion. Parce que je pense qu’une véritable AGI — et je ne parle pas de bots de code basés sur des LLM, je parle d’un véritable substitut humain sur un serveur — est qualitativement différente de ces autres technologies qui augmentent la productivité. Parce qu’il s’agit du travail lui-même.

Je pense que nous vivons dans un monde très contraint par le travail. Si vous parlez à des fondateurs de startup ou à n’importe qui d’autre et que vous leur demandez de quoi ils ont le plus besoin, ils vous répondront qu’ils ont besoin de gens vraiment talentueux. S’il y avait des milliards de personnes supplémentaires capables d’inventer des choses, de les intégrer et de construire une entreprise de bout en bout, cela me semblerait qualitativement différent d’une technologie isolée. Ce serait comme obtenir 10 milliards de personnes supplémentaires sur Terre.

Andrej Karpathy 01:26:44

C’est peut-être le contre-argument. Je suis assez prêt à être convaincu dans un sens comme dans l’autre sur ce point. Mais par exemple, le calcul, c’est du travail. Le calcul, ça a été du travail. Avec les ordinateurs, beaucoup d’emplois ont disparu. Parce que les ordinateurs automatisent désormais de nombreux traitements d’informations numériques qui n’ont plus besoin d’humains. Donc les ordinateurs, c’est du travail, et cela s’est déjà déployé.

Par exemple, la conduite autonome, c’est aussi l’ordinateur qui fait le travail. Cela aussi est déjà en train de se déployer. Là encore, c’est simplement la continuité de ce qui se passe déjà.

Dwarkesh Patel 01:27:13

Il y a potentiellement une machine qui produit davantage de ces choses à un rythme plus rapide. Historiquement, il existe des exemples de changements de régime de croissance, de 0,2 % à 2 % de croissance. Une machine qui produirait la prochaine voiture autonome, le prochain Internet, et ainsi de suite… ça paraît tout à fait plausible…

Andrej Karpathy 01:27:33

Je vois d’où ça vient. En même temps, j’ai l’impression que les gens partent du principe que « nous avons Dieu dans une boîte, et maintenant il peut tout faire », mais ce n’est pas à ça que cela ressemblera. Il pourra faire certaines choses. Il échouera sur d’autres. On l’introduira progressivement dans la société, et au final on retombera sur le même schéma. C’est ma prédiction.

Cette hypothèse selon laquelle nous aurions soudain dans une boîte un humain totalement intelligent, totalement flexible et totalement général, que nous pourrions affecter à des problèmes arbitraires de la société, je ne pense pas que cela produira ce type de changement discontinu. Je pense que nous arriverons à la même forme de diffusion progressive dans l’ensemble des secteurs.

Dwarkesh Patel 01:28:14

C’est souvent ce qui crée des malentendus dans ce genre de conversation. Je n’aime pas employer le mot intelligence dans ce contexte. Parce qu’intelligence suggère qu’il y aurait une superintelligence unique assise sur un serveur et qu’elle saurait, de manière quasi divine, comment faire émerger les nouvelles technologies et inventions qui déclencheraient cette explosion. Ce n’est pas ce que j’imagine quand j’imagine une croissance à 20 %. J’imagine potentiellement des centaines de millions d’esprits très intelligents, de type humain, ou alors que c’est tout ce qu’il faut.

Mais le fait qu’il y en ait des centaines de millions, des milliards, chacun créant individuellement de nouveaux produits et trouvant comment s’intégrer lui-même dans l’économie. Si un immigrant hautement expérimenté et intelligent arrivait dans un pays, il n’aurait pas besoin qu’on lui explique comment s’intégrer dans l’économie. Il le trouverait lui-même. Il pourrait créer une entreprise, faire des inventions, et accroître la productivité du monde.

Même dans le système actuel, il existe des exemples d’endroits affichant 10 à 20 % de croissance économique. S’il y a beaucoup de monde et relativement moins de capital que de personnes, on peut obtenir plus de 10 % de croissance pendant des décennies, comme à Hong Kong, à Shenzhen, ou ailleurs. Il y a énormément de gens vraiment intelligents, prêts à mobiliser les ressources et à traverser cette phase de rattrapage. C’est parce que nous avons eu cette discontinuité, et je pense que l’IA pourrait connaître quelque chose de similaire.

Andrej Karpathy 01:29:33

Je comprends, mais je pense que cela suppose malgré tout une sorte de bond discontinu. Comme s’il y avait un verrou en attente d’être levé. Que soudainement, nous allions avoir des génies dans les data centers. J’ai l’impression que cela suppose toujours une forme de saut discontinu sans précédent historique, que je ne retrouve dans aucune statistique, et qui n’arrivera probablement pas.

Dwarkesh Patel 01:29:52

Je veux dire, la révolution industrielle, c’est exactement ce type de saut. On est passé d’une croissance de 0,2 % à 2 %. Je dis simplement qu’on verra un autre saut du même genre.

Andrej Karpathy 01:30:00

Je suis un peu sceptique. Il faudrait que j’examine ça. Par exemple, certaines données d’avant la révolution industrielle ne sont pas très bonnes. J’ai donc quelques réserves là-dessus, mais pas d’opinion très arrêtée. Toi, tu dis que c’était un événement unique, extrêmement magique. Et qu’il y aura probablement un autre événement exactement du même type, tout aussi magique. Que cela brisera le paradigme, etc.

Dwarkesh Patel 01:30:23

En réalité… ce qui était décisif dans la révolution industrielle, c’est justement que ce n’était pas magique. Si on zoome, en 1770 ou en 1870, on ne voit pas une invention clé unique. Mais, malgré cela, le progrès a été bien plus rapide et a fait passer l’économie dans un régime où l’exposant a été multiplié par dix. Je m’attends à quelque chose de similaire avec l’IA. Je ne pense pas qu’il y aura un moment unique avec une invention décisive.

Andrej Karpathy 01:30:51

C’est une offre excédentaire qui est en train d’être débloquée. Comme une nouvelle source d’énergie. Il y a quelque chose qui se déverrouille — dans ce cas, une certaine forme de capacité cognitive — et il existe une offre excédentaire de travail cognitif à accomplir.

Dwarkesh Patel 01:31:02

Oui.

Andrej Karpathy 01:31:03

Tu t’attends à ce que, quand cette offre excédentaire dépasse un certain seuil, elle soit absorbée par cette nouvelle technologie.

Dwarkesh Patel 01:31:06

Oui. Une façon d’y penser, peut-être, c’est que, tout au long de l’histoire, une grande partie de la croissance vient du fait que les gens ont des idées, puis que d’autres les mettent en œuvre et produisent quelque chose de valeur. Pendant la majeure partie de cette période, la population explosait. C’est ce qui alimentait la croissance.

Depuis 50 ans, les gens disent que la croissance stagne. La population des pays développés stagne aussi. Je pense qu’on revient à une croissance exponentielle de la population, ce qui provoquera une croissance super-exponentielle de la production.

Andrej Karpathy 01:31:37

C’est vraiment très difficile à dire. Je comprends ce point de vue. Mais intuitivement, je ne le ressens pas.

01:32:50 – Évolution de l’intelligence et de la culture

Dwarkesh Patel 01:32:50

Vous m’avez recommandé le livre de Nick Lane. Je l’ai trouvé extrêmement intéressant, et je l’ai interviewé. J’ai quelques questions sur la manière de penser l’intelligence et l’histoire de l’évolution.

Maintenant que vous faites de la recherche en IA depuis vingt ans, vous avez sans doute une idée plus concrète de ce qu’est l’intelligence et de ce qu’il faut pour la développer. En conséquence, êtes-vous plus surpris ou moins surpris que l’évolution y soit simplement tombée dessus spontanément ?

Andrej Karpathy 01:33:19

J’aime vraiment beaucoup les livres de Nick Lane. En venant ici, j’écoutais son podcast. Concernant l’intelligence et son évolution, c’est quelque chose de très, très récent. Je trouve étonnant que cela ait évolué.

Il est fascinant de penser à tous les mondes possibles. Imaginons mille planètes semblables à la Terre : à quoi ressembleraient-elles ? Nick Lane est venu ici parler de certaines des toutes premières étapes. Il s’attend à des formes de vie très similaires, en gros, et sur la plupart d’entre elles à quelque chose comme des bactéries. Il y a quelques discontinuités. L’évolution de l’intelligence me donne intuitivement l’impression que cela devrait être un événement assez rare.

Il faudrait peut-être se baser sur la durée d’existence de certaines choses. Si les bactéries ont existé pendant 2 milliards d’années sans que rien ne se passe, alors le passage aux eucaryotes doit probablement être assez difficile. Parce que les bactéries sont apparues assez tôt dans l’évolution, ou dans l’histoire de la Terre. Depuis combien de temps les animaux existent-ils ? Peut-être quelques centaines de millions d’années, les animaux multicellulaires qui courent, rampent, etc. Cela représente peut-être 10 % de la durée de vie de la Terre. À cette échelle de temps, ce n’est peut-être pas si difficile. Mais je trouve quand même surprenant, intuitivement, que cela ait évolué. Je m’attendrais sans doute simplement à des formes de vie animales qui font des choses d’animaux. Le fait qu’on puisse obtenir quelque chose qui crée et accumule de la culture et du savoir me surprend.

Dwarkesh Patel 01:34:42

J’ai quelques questions de suivi intéressantes. Si on adopte le point de vue de Sutton, le cœur de l’intelligence, c’est l’intelligence animale… Une de ses citations était : « Quand on atteint l’intelligence d’un écureuil, on a déjà l’essentiel de l’AGI. »

Nous avons atteint l’intelligence d’un écureuil juste après l’explosion cambrienne, il y a 600 millions d’années. Ce qui semble l’avoir déclenchée, c’est le Grand Événement d’oxydation, il y a 600 millions d’années. Mais immédiatement, l’algorithme de l’intelligence était là pour produire l’intelligence d’un écureuil. Cela suggère que l’intelligence animale n’était pas si difficile. Dès qu’il y a eu de l’oxygène dans l’environnement, on a eu les eucaryotes, et l’algorithme est apparu presque tout de suite. Il est possible que le fait que l’évolution soit tombée dessus si vite ait été accidentel, mais je me demande si cela n’indique pas que, finalement, ce sera quelque chose d’assez simple.

Andrej Karpathy 01:35:31

Il est vraiment trop difficile de se prononcer sur ce genre de choses. On peut peut-être s’appuyer un peu sur la durée d’existence de quelque chose, ou sur l’impression qu’un phénomène est resté bloqué pendant longtemps. Nick Lane explique très bien ce goulet d’étranglement très net chez les bactéries et les archées. Pendant 2 milliards d’années, il ne s’est rien passé. Il y a une diversité biochimique extrême, et pourtant rien ne se développe au point de devenir animal. Deux milliards d’années.

Comme vous le soulignez, je ne sais pas si nous avons observé un équivalent aussi clair de cela chez les animaux et l’intelligence. On peut aussi regarder combien de fois on pense qu’une certaine intelligence est apparue indépendamment.

Dwarkesh Patel 01:36:07

C’est vraiment une excellente piste à étudier.

Andrej Karpathy 01:36:09

Une réflexion à ce sujet : il y a l’intelligence des hominidés, puis il y a l’intelligence des oiseaux. Les corbeaux, etc., sont extrêmement intelligents, mais les parties de leur cerveau sont assez différentes, et nous n’avons pas tant de choses en commun. C’est un indice du fait que l’intelligence a émergé plusieurs fois. Dans ce cas, on pourrait s’attendre à ce que cela arrive plus souvent.

Dwarkesh Patel 01:36:32

D’anciens invités, Gwern et Carl Shulman, ont fait une remarque vraiment intéressante à ce sujet. Selon eux, l’algorithme évolutif extensible que possèdent les humains et les primates est aussi apparu chez les oiseaux, et probablement à d’autres moments également. Mais les humains ont trouvé une niche évolutive qui compense les augmentations marginales de l’intelligence et permet aussi d’atteindre ces augmentations grâce à un algorithme cérébral extensible.

Par exemple, si les oiseaux avaient un cerveau plus gros, ils tomberaient simplement du ciel. Ils sont très intelligents par rapport à la taille de leur cerveau, mais ils n’occupent pas une niche qui compense l’augmentation de la taille du cerveau. Peut-être que des espèces vraiment intelligentes… ça pourrait être similaire.

Andrej Karpathy 01:37:28

Comme les dauphins ?

Dwarkesh Patel 01:37:28

Exactement. Nous, les humains, avons des mains qui récompensent l’apprentissage de l’usage des outils. Nous pouvons externaliser la digestion et consacrer plus d’énergie au cerveau, ce qui enclenche le flywheel.

Andrej Karpathy 01:38:02

Des choses à faire aussi. Si j’étais un dauphin, j’ai l’impression que ce serait plus difficile. Comment allumer un feu ? Sous l’eau, l’univers de ce qu’on peut faire est probablement plus limité que sur terre, chimiquement parlant.

Je suis d’accord avec cette perspective sur ces niches et sur ce qui est effectivement incité. Je trouve quand même ça miraculeux. On aurait pu s’attendre à ce que les choses se bloquent chez les animaux avec de plus gros muscles. Le passage par l’intelligence est un point de bascule vraiment fascinant.

Dwarkesh Patel 01:38:28

La manière dont Gwern l’exprime, c’est que si c’était si difficile, c’est parce qu’il existe une ligne très étroite entre ce qui est trop important pour l’apprentissage pour qu’il vaille la peine de redistiller directement les bons circuits dans l’ADN, et ce qui n’est pas assez important pour mériter d’être appris. Il faut que quelque chose incite à construire un algorithme qui apprend tout au long de la vie.

Andrej Karpathy 01:38:55

Il faut inciter une certaine forme d’adaptabilité. Il faut un environnement imprévisible pour que l’évolution ne puisse pas simplement graver l’algorithme dans les poids. Beaucoup d’animaux sont précâblés en ce sens. Les humains, à la naissance, doivent le découvrir au moment du test. Il faut un environnement qui change très vite, au point qu’on ne puisse pas prévoir ce qui fonctionnera bien. L’intelligence émerge pour le comprendre au moment du test.

Dwarkesh Patel 01:39:28

Il y avait un billet de blog intéressant où Quintin Pope explique qu’il ne s’attend pas à un saut brutal précisément parce que les humains ont connu un saut brutal. Il semble que nous ayons eu l’architecture cognitive actuelle il y a 60 000 ans. Puis, il y a 10 000 ans, la révolution agricole, puis la modernité. Que s’est-il passé pendant ces 50 000 ans ? Il a fallu construire cette ossature culturelle capable d’accumuler des connaissances sur plusieurs générations.

C’est une capacité qui, dans une certaine mesure, existe gratuitement dans la façon dont on entraîne l’IA. Dans beaucoup de cas, elle est littéralement distillée. Quand on réentraîne un modèle, ils peuvent être entraînés les uns sur les autres, ils peuvent être entraînés sur le même corpus de préentraînement, ils n’ont pas littéralement besoin de repartir de zéro. Il a fallu très longtemps aux humains pour faire fonctionner cette boucle culturelle, mais avec la manière dont on entraîne les LLM, on a l’impression que c’est en quelque sorte fourni gratuitement.

Andrej Karpathy 01:39:45

Oui et non. Parce que les LLM n’ont pas vraiment l’équivalent de la culture. Peut-être qu’on leur donne trop de choses et qu’on les incite à ne pas la construire, ou quelque chose comme ça. Mais l’invention de la culture, l’invention de l’écrit, le fait de se transmettre des notes — je ne pense pas qu’il existe aujourd’hui d’équivalent de cela chez les LLM. Je dirais que les LLM n’ont pas vraiment de culture à l’heure actuelle, et que c’est l’un des obstacles.

Dwarkesh Patel 01:40:05

Pouvez-vous donner une idée de ce à quoi ressemblerait une culture des LLM ?

Andrej Karpathy 01:40:09

Dans le cas le plus simple, ce serait un immense bloc-notes que les LLM pourraient éditer. Et quand ils lisent quelque chose ou aident à accomplir une tâche, ils éditent ce bloc-notes pour eux-mêmes. Pourquoi un LLM ne pourrait-il pas écrire des livres pour d’autres LLM ? Ce serait génial. Pourquoi d’autres LLM ne pourraient-ils pas lire le livre de ce LLM et en être inspirés, choqués, ou ce genre de choses ? Il n’existe pas d’équivalent à certains de ces phénomènes.

Dwarkesh Patel 01:40:29

Intéressant. À quel moment pensez-vous que ce genre de choses commencera à se produire ? Et aussi, qu’en est-il des systèmes multi-agents, d’une sorte de civilisation et de culture IA indépendantes ?

Andrej Karpathy 01:40:40

Dans le domaine multi-agent, il y a deux idées puissantes, et aucune des deux n’a vraiment encore été démontrée de façon convaincante. La première, c’est la culture, et le fait que les LLM disposent d’un répertoire croissant de connaissances pour leurs propres objectifs.

La seconde ressemble beaucoup plus à l’idée puissante d’auto-jeu. À mon avis, c’est extrêmement puissant. L’évolution comporte beaucoup de compétition, qui pousse l’intelligence et l’évolution. Dans AlphaGo, d’un point de vue plus algorithmique, AlphaGo joue contre lui-même, et c’est ainsi qu’il apprend à devenir vraiment bon au go. Il n’existe pas d’équivalent pour des LLM qui joueraient contre eux-mêmes, mais je m’attends à ce que cela apparaisse aussi. Personne ne l’a encore fait. Par exemple, pourquoi un LLM ne pourrait-il pas créer beaucoup de problèmes que d’autres LLM apprennent ensuite à résoudre ? Ensuite, les LLM essaieraient en permanence de proposer des problèmes de plus en plus difficiles, ce genre de choses.

Il y a beaucoup de façons d’organiser cela. C’est un domaine de recherche, mais je n’ai jamais vu de démonstration convaincante de ces deux formes d’amélioration multi-agent. Nous sommes encore principalement dans le domaine de l’agent individuel unique, mais cela va changer. Du côté de la culture, j’aimerais aussi inclure les organisations. Là encore, je n’ai rien vu de convaincant. C’est pour cela que nous en sommes encore aux débuts.

Dwarkesh Patel 01:41:53

Pouvez-vous identifier le principal goulot d’étranglement qui empêche ce type de coopération entre LLM ?

Andrej Karpathy 01:41:59

Peut-être que la façon dont je le formulerais, c’est que certaines de ces analogies devraient marcher et ne pas marcher, mais d’une manière ou d’une autre, de façon surprenante, elles marchent. Beaucoup des plus petits modèles, ou des modèles plus bêtes, ressemblent étonnamment à des enfants de maternelle, à des élèves du primaire, ou à des lycéens. D’une certaine façon, nous n’avons toujours pas obtenu leur diplôme au point qu’ils puissent prendre le relais. Mon Claude Code ou Codex donnent encore l’impression d’élèves du primaire. Je sais qu’ils peuvent résoudre des quiz de doctorat, mais cognitivement, ils donnent toujours l’impression d’enfants de maternelle ou du primaire.

Je ne pense pas qu’ils puissent créer une culture. Parce que ce sont encore des enfants. Des enfants prodiges. Ils ont une mémoire parfaite de tout cela. Ils peuvent produire de façon convaincante toutes sortes de slop qui ont l’air très bien. Mais je pense toujours qu’ils ne savent pas vraiment ce qu’ils font et qu’ils n’ont pas encore une cognition réelle sur tous ces petits points à cocher que nous devons encore rassembler.

01:42:55 Pourquoi la conduite autonome a-t-elle pris autant de temps ?

Dwarkesh Patel 01:42:55

Vous disiez avoir dirigé la conduite autonome chez Tesla de 2017 à 2022. Et vous avez vu directement cette progression, depuis une démo impressionnante jusqu’au moment où des milliers de voitures roulent effectivement de façon autonome. Pourquoi cela a-t-il pris 10 ans ? Que s’est-il passé pendant tout ce temps ?

Andrej Karpathy 01:43:11

Une chose que j’ai presque immédiatement envie de contester, c’est qu’on est loin d’avoir fini. À bien des égards dont je vais parler. La conduite autonome est très intéressante, parce que c’est clairement de là que vient une grande partie de mon intuition, étant donné que j’y ai passé cinq ans. Il existe toute une histoire de la conduite autonome, dont les premières démos remontent aux années 1980. On peut voir la démo de la CMU en 1986. Il y a un camion qui se conduit tout seul sur la route.

Avançons rapidement. Quand j’ai rejoint Tesla, j’avais vu une démo très précoce de Waymo. Essentiellement, en 2014 ou à peu près, donc il y a 10 ans, elle offrait déjà une conduite parfaite. Donc, il y a 10 ans, une course Waymo parfaite. C’était parce que j’avais un ami qui travaillait là-bas et qui m’avait emmené faire un tour autour de Palo Alto. Je pensais que c’était très proche, et pourtant cela a encore pris longtemps.

Pour certains types de tâches et d’emplois, il existe un très grand écart entre la démo et le produit : la démo est très facile, mais le produit est très difficile. C’est particulièrement vrai pour quelque chose comme la conduite autonome, où le coût de l’échec est trop élevé. Beaucoup d’industries, de tâches et d’emplois n’ont probablement pas cette propriété, mais lorsqu’elle existe, elle allonge clairement les délais.

Par exemple, dans l’ingénierie logicielle, je pense que cette propriété existe. Ce n’est pas le cas pour beaucoup de vibe coding. Mais si vous écrivez du vrai code de niveau production, alors cette propriété doit exister. Parce que n’importe quel type d’erreur peut entraîner une faille de sécurité ou quelque chose du genre. Les numéros d’identité personnelle de millions, voire de centaines de millions de personnes peuvent fuiter, ce genre de chose. Donc dans le logiciel, les gens doivent être prudents, comme avec la conduite autonome. En conduite autonome, si quelque chose tourne mal, il peut y avoir des blessés. Et des conséquences pires encore. Mais dans le logiciel, c’est presque infini. En termes de gravité potentielle.

Je pense qu’ils partagent cette propriété. Le fait que ça prenne si longtemps, et la façon d’y penser, c’est la marche des 9. Chaque 9 supplémentaire représente une quantité fixe de travail. Chaque 9 demande la même quantité de travail. Obtenir une démo et avoir quelque chose qui fonctionne 90 % du temps, ce n’est que le premier 9. Ensuite il faut le deuxième 9, le troisième, le quatrième, le cinquième. Quand j’ai passé environ cinq ans chez Tesla, nous avons probablement gagné trois 9, ou deux 9. Je ne sais plus exactement, mais plusieurs 9 au fil des itérations. Et il en faut encore davantage.

C’est pour ça que ce genre de choses prend autant de temps. Ça m’a clairement marqué de voir quelque chose qui n’était qu’une démo. Les démos m’impressionnent très peu. Chaque fois que je vois une démo de quelque chose, ça m’impressionne extrêmement peu. Si c’est une démo fabriquée par quelqu’un pour être montrée, c’est encore pire. Si je peux interagir avec, c’est un peu mieux. Mais même là, ce n’est pas fini. Il faut un vrai produit. Une fois confronté à la réalité, on va faire face à tous ces défis, et il y aura tout un ensemble de cas de comportement différents qu’il faudra corriger.

On va voir tout cela se déployer. C’est la marche des 9. Chaque 9 est constant. Les démos sont encourageantes. Il reste quand même une quantité énorme de travail. Si vous n’êtes pas en train de faire du vibe coding, c’est un domaine de sûreté critique, donc tout ça est bien réel. C’est aussi ce qui a renforcé mon calendrier de ce point de vue.

Dwarkesh Patel 01:46:25

C’est très intéressant à entendre. Le fait que vous disiez que les garanties de sécurité nécessaires dans le logiciel ne sont pas si différentes de celles de la conduite autonome. Ce que les gens disent souvent, c’est que si la conduite autonome a pris autant de temps, c’est parce que le coût de l’échec est trop élevé. Un humain commet une erreur en moyenne tous les 640 000 kilomètres, ou tous les 7 ans. Si vous devez lancer un agent de codage qui ne peut pas faire d’erreur pendant au moins 7 ans, ce sera beaucoup plus difficile à déployer.

Mais votre point, c’est que si vous faites une erreur de code grave, c’est comme casser un système important tous les 7 ans...

Andrej Karpathy 01:46:56

C’est très facile.

Dwarkesh Patel 01:46:57

En fait, en temps réel, ce serait bien moins que 7 ans. Parce qu’il produit du code en continu de cette façon. En termes de tokens, ce serait 7 ans. Mais en temps réel...

Andrej Karpathy 01:47:09

D’une certaine manière, c’est un problème bien plus difficile. La conduite autonome n’est qu’une seule des milliers de choses que font les gens. C’est presque une verticale unique, à mon avis. Alors que quand on parle d’ingénierie logicielle générale, c’est bien plus… il y a bien plus de surface d’attaque.

Dwarkesh Patel 01:47:20

Il y a une autre objection que les gens font à cette analogie : dans la conduite autonome, une grande partie du temps a été consacrée à résoudre le problème d’une perception de base robuste, à construire des représentations, et à disposer d’un modèle doté de bon sens capable de généraliser lorsqu’il voit quelque chose un peu hors distribution. Si quelqu’un fait des gestes comme ça au milieu de la route, vous n’avez pas besoin de l’avoir entraîné spécifiquement pour ça. Il aura une certaine compréhension de la manière d’y répondre.

Ce sont justement des choses qu’on obtient aujourd’hui gratuitement avec les LLM ou les VLM, et donc on n’a pas besoin de résoudre ces problèmes de représentation très fondamentaux. Dès lors, déployer l’IA dans d’autres domaines ressemblerait plutôt au déploiement d’une voiture autonome dans une autre ville avec les modèles actuels, ce qui est difficile, mais pas un chantier de 10 ans.

Andrej Karpathy 01:48:07

Je ne suis pas sûr à 100 %. Si j’étais totalement d’accord avec ça. Je ne sais pas exactement tout ce qu’on obtient gratuitement. Il y a encore beaucoup de zones d’ombre dans notre compréhension de ce qu’on obtient réellement. On obtient clairement une intelligence plus généralisable à partir d’une seule entité. Alors que la conduite autonome est une tâche très spécialisée. Dans un certain sens, construire une tâche spécialisée est probablement beaucoup plus difficile, parce qu’elle n’émerge pas de quelque chose de plus général qu’on fait à grande échelle, si ça a du sens.

Mais l’analogie ne résonne toujours pas complètement. Parce que les LLM restent assez sujets aux erreurs et qu’il y a encore beaucoup de trous à combler. Je ne pense pas qu’on obtienne, en sortie de boîte, une généralisation magique complète, dans un certain sens.

L’autre aspect sur lequel je voulais revenir, c’est que les voitures autonomes sont encore loin d’être terminées. Les déploiements restent assez limités. Même Waymo a très peu de voitures. En gros, si on simplifie, la raison pour laquelle ils font ça, c’est que ce n’est pas économique. Ils ont construit quelque chose qui vit dans le futur. Il a fallu tirer le futur vers le présent, mais de manière non économique. Il y a non seulement le coût marginal de ces voitures, de leur exploitation et de leur maintenance, mais aussi toutes les dépenses d’investissement globales, tous ces coûts. Rendre ça économiquement viable va encore leur demander un énorme effort.

En plus, quand on regarde ces voitures, il n’y a personne au volant, mais je pense en réalité que c’est un peu trompeur. Parce qu’il existe des centres de téléopération très sophistiqués pour ces voitures, avec des humains dans la boucle d’une manière ou d’une autre. Je n’ai pas toute la portée du système, mais il y a plus d’humains dans la boucle que ce qu’on imagine. Il y a des gens quelque part, reliés à distance. Je ne sais pas s’ils sont totalement dans la boucle de conduite. Parfois oui, mais ils sont clairement impliqués et il y a des humains. D’une certaine manière, on n’a pas vraiment supprimé la personne, on l’a déplacée quelque part où vous ne la voyez pas.

Je pense qu’il reste encore du travail pour rendre la conduite réellement autonome. Mais je suis d’accord avec ce que vous disiez sur le passage d’un environnement à un autre. Il reste encore des défis pour rendre la conduite autonome vraiment autonome. Mais je suis d’accord pour dire qu’on a clairement franchi le seuil où cela paraît réel, sauf si c’est en fait téléopéré. Par exemple, Waymo ne peut pas aller dans toutes les parties d’une ville. Mon intuition, c’est que ce sont les zones de la ville où ils n’obtiennent pas un bon signal. Quoi qu’il en soit, je ne connais rien à leur stack. J’invente peut-être complètement.

Dwarkesh Patel 01:50:23

Vous avez dirigé la conduite autonome chez Tesla pendant 5 ans.

Andrej Karpathy 01:50:27

Désolé, je ne connais rien aux détails de Waymo. Cela dit, j’adore Waymo et je le prends tout le temps. Je pense juste que les gens sont parfois un peu trop naïfs sur les progrès, et qu’il reste encore une énorme quantité de travail. Tesla, à mon avis, a adopté une approche bien plus scalable, et l’équipe s’en sort extrêmement bien. J’ai déjà pris position sur la façon dont cela allait évoluer. Waymo a pris de l’avance au départ parce qu’ils pouvaient embarquer beaucoup de capteurs. Mais je pense que Tesla suit une stratégie plus scalable, et que l’avenir ressemblera bien davantage à cela. Donc tout ça doit encore se déployer, ce n’est pas encore arrivé. Mais je ne veux pas parler de la conduite autonome comme de quelque chose qui a pris 10 ans, parce que ça n’a pas encore pris fin, si vous voyez ce que je veux dire.

Dwarkesh Patel 01:51:08

Parce que, premièrement, le début remonte à 1980, pas à il y a 10 ans, et deuxièmement, la fin n’est toujours pas là.

Andrej Karpathy 01:51:14

La fin n’est même pas proche, parce que quand on parle de conduite autonome, on parle généralement, à mon avis, de conduite autonome à grande échelle. Du fait que les gens n’aient plus besoin d’obtenir un permis de conduire, etc.

Dwarkesh Patel 01:51:22

Je voudrais proposer deux autres façons de voir les choses, avec des analogies différentes. Cette question est particulièrement intéressante parce qu’elle est potentiellement la plus importante au monde aujourd’hui, compte tenu de la vitesse à laquelle l’IA est déployée et de la valeur qu’elle a dès le départ. Si vous essayez de modéliser à quoi ressemblera 2030, c’est une question que vous devez comprendre dans une certaine mesure.

Une autre chose à considérer, d’abord, c’est que la conduite autonome a des exigences de latence. Je n’ai absolument aucune idée de ce que sont réellement les modèles, mais supposons qu’on parle de dizaines de millions de paramètres. Ce n’est pas une contrainte nécessaire pour le travail du savoir avec des LLM. Avec l’usage de l’ordinateur et ce genre de choses, ça peut l’être.

Mais l’autre élément majeur, probablement plus important, c’est cette question des dépenses d’investissement. Oui, il y a un coût marginal pour fournir une copie supplémentaire du modèle, mais le coût opérationnel d’une session est assez faible, et selon la façon dont le scaling de l’inférence évolue, on peut amortir le coût de l’IA sur le run d’entraînement lui-même. Mais ce n’est certainement pas comme devoir fabriquer une voiture entièrement nouvelle pour fournir une autre instance du modèle. Donc, économiquement, un déploiement à grande échelle est bien plus favorable.

Andrej Karpathy 01:52:37

Je pense que c’est vrai. Si on reste dans le domaine des bits, les bits sont un million de fois plus faciles que le fait de toucher au monde physique. Ça, je l’admets sans problème. Les bits sont totalement malléables, et on peut les réarranger arbitrairement à très grande vitesse. Je m’attendrais aussi à une adaptation beaucoup plus rapide dans l’industrie. C’était quoi, le premier point déjà ?

Dwarkesh Patel 01:52:59

Les exigences de latence et leurs implications sur la taille des modèles ?

Andrej Karpathy 01:53:02

Je pense que c’est globalement vrai. Cela dit, si on parle du travail du savoir à grande échelle, je pense qu’en pratique il y aura aussi certaines exigences de latence. Parce qu’il faut produire une quantité énorme de compute et la fournir.

Le dernier aspect dont je veux parler très brièvement, c’est tout le reste. Comment la société voit-elle cela ? Quelles sont les implications juridiques ? Comment cela fonctionne-t-il légalement ? Comment cela marche-t-il du côté des assurances ? Quelles sont toutes ces couches et ces dimensions ? Quel serait l’équivalent des gens qui mettent un cône sur une Waymo ? Il y aura des équivalents à tout cela. Donc j’ai l’impression que la conduite autonome est une très bonne analogie dont on peut tirer des choses. Quel est l’équivalent du cône sur la voiture ? Quel est l’équivalent de l’opérateur à distance caché, et de tous les aspects autour de ça ?

Dwarkesh Patel 01:53:53

Quel regard portez-vous sur la construction actuelle de l’IA ? On va multiplier par 10 le compute disponible dans le monde d’ici un ou deux ans, et de plus de 100 fois d’ici la fin de la décennie. Si l’usage de l’IA devait être inférieur à ce que certaines personnes prédisent naïvement, est-ce que cela voudrait dire qu’on surconstruit le compute, ou est-ce une question distincte ?

Andrej Karpathy 01:54:15

C’est comme ce qui s’est passé avec les chemins de fer.

Dwarkesh Patel 01:54:18

Pardon, quoi ?

Andrej Karpathy 01:54:19

C’était les chemins de fer, ou bien ?

Dwarkesh Patel 01:54:20

Oui, c’était ça.

Andrej Karpathy 01:54:21

Oui. Il y a des précédents historiques. Ou alors c’était l’industrie des télécoms ? L’Internet arrivé dix ans plus tard avait été empaqueté à l’avance, ce qui a créé toute la bulle dans les télécoms à la fin des années 1990.

Je comprends que je paraisse très pessimiste ici. En réalité, je suis optimiste. Je pense que ça va marcher. Je pense que c’est gérable. La seule raison pour laquelle je semble pessimiste, c’est que si vous allez sur ma timeline Twitter, vous y voyez toutes sortes de choses qui, pour moi, n’ont aucun sens. Il y a beaucoup de raisons à cela. Franchement, une grande partie, c’est simplement le financement. C’est la structure des incitations. Une grande partie peut relever du financement. Une grande partie, c’est aussi simplement l’attention, et la conversion de l’attention sur Internet en argent, ce genre de choses. Il se passe énormément de choses, et je ne fais que réagir à cela.

Mais je reste malgré tout très optimiste sur la technologie dans l’ensemble. Nous allons résoudre tout cela. Il y a eu une quantité rapide de progrès. Je ne sais pas s’il y a surconstruction. D’après ce que j’en comprends, je pense qu’on pourra absorber ce qui est en train d’être construit. Par exemple, Claude Code ou OpenAI Codex n’existaient même pas il y a un an. Pas vrai ? C’est une technologie miraculeuse qui n’existait pas. Il y aura déjà une énorme quantité de demande, comme on le voit avec ChatGPT et d’autres.

Donc je ne sais pas s’il y a surconstruction. Je réagis simplement à certaines timelines très rapides que les gens continuent d’énoncer à tort. Cela fait 15 ans que je travaille dans l’IA, et j’ai souvent entendu des personnes très réputées dans le domaine se tromper sur cette question. Je veux que cela soit correctement calibré, et une partie de cela touche aussi aux implications géopolitiques et à ce genre de questions. Je ne veux pas que les gens se trompent sur les sujets de cet ordre-là. Je veux que nous nous appuyions sur la réalité de ce qu’est la technologie et de ce qu’elle n’est pas.

01:56:20 - L’avenir de l’éducation

Dwarkesh Patel 01:56:20

Parlons d’éducation et d’Eureka. L’une des choses que vous pourriez faire, ce serait de lancer un autre labo d’IA, puis d’essayer de résoudre ces problèmes. Je me demande ce que vous faites en ce moment, et pourquoi ce n’est pas directement de la recherche en IA.

Andrej Karpathy 01:56:33

La façon dont je le formulerais, c’est que je ressens une certaine forme de déterminisme vis-à-vis de ce que font les labos d’IA. J’ai le sentiment de pouvoir y contribuer, mais sans être certain d’apporter une amélioration vraiment unique. Ma grande peur personnelle, c’est qu’une grande partie de ces choses se produisent du côté de l’humanité, et que l’humanité en soit dépossédée de pouvoir. Je ne me préoccupe pas seulement de tous les sphères de Dyson que nous allons construire, mais aussi de ce qui arrivera aux êtres humains, et de ce que l’IA construira de manière totalement autonome. Je veux que les humains s’en sortent bien dans le futur.

J’ai l’impression de pouvoir apporter une valeur bien plus singulière là-dessus que par des améliorations incrémentales dans un labo de pointe. Ce qui me fait le plus peur, c’est quelque chose comme ce qui est décrit dans des films comme WALL-E ou Idiocracy. Une situation où l’humanité se retrouve en marge de tout cela. Je veux que les humains aillent beaucoup, beaucoup mieux dans ce futur. Pour moi, c’est par l’éducation qu’on peut y parvenir.

Dwarkesh Patel 01:57:35

Alors qu’est-ce que vous faites concrètement là-dessus ?

Andrej Karpathy 01:57:36

La façon la plus simple de l’expliquer, c’est que nous essayons de construire une Starfleet Academy. Je ne sais pas si vous avez regardé Star Trek.

Dwarkesh Patel 01:57:44

Non.

Andrej Karpathy 01:57:44

La Starfleet Academy est cette institution d’élite consacrée aux technologies de pointe, à la construction de vaisseaux spatiaux, et à la formation des cadets qui deviendront les pilotes de ces vaisseaux. Donc j’imagine simplement une institution d’élite pour le savoir technologique, une sorte d’école extrêmement à jour et au plus haut niveau.

Dwarkesh Patel 01:58:05

Le type de questions que j’ai pour vous porte sur la façon de bien enseigner des contenus techniques ou scientifiques. Parce que vous êtes l’un des grands maîtres mondiaux dans ce domaine. Je suis curieux de savoir ce que vous pensez de ce que vous avez déjà publié sur YouTube, et aussi d’Eureka, et en quoi c’est différent, le cas échéant.

Andrej Karpathy 01:58:25

À propos d’Eureka, une chose qui me fascine énormément dans l’éducation, c’est que je pense que l’éducation va changer de manière assez fondamentale dès lors que l’IA sera présente en toile de fond. Il faudra, dans une certaine mesure, la recâbler et la transformer.

Je pense toujours qu’on en est encore assez tôt. Beaucoup de gens vont avoir des LLM et vouloir faire les choses évidentes qu’on peut leur demander. Faites toutes les choses de base qu’on peut faire aujourd’hui avec le prompting. C’est utile, mais ça me paraît encore un peu bricolé. J’aimerais le faire correctement, et je pense que les capacités ne sont pas encore à la hauteur de ce que je veux. Ce que je veux, c’est une véritable expérience de tutorat.

L’exemple le plus marquant pour moi, c’est que j’apprenais récemment le coréen. Donc, l’apprentissage des langues. Je suis passé par une phase où j’apprenais le coréen seul sur Internet. Je suis aussi passé par une phase où je faisais partie d’un petit cours avec d’autres personnes en Corée qui écoutaient du coréen, et c’était vraiment drôle. Nous étions une dizaine avec l’enseignante à écouter du coréen. Puis je suis passé à un tutorat individuel.

Ce qui m’a fasciné, c’est que je pense avoir eu une très bonne tutrice, et je me suis simplement demandé ce qu’elle faisait pour moi, à quel point cette expérience était incroyable, et à quel point la barre est haute pour ce que je veux finalement construire. À partir d’une conversation très courte, elle a tout de suite compris où j’en étais comme élève, ce que je savais et ne savais pas. Elle savait exactement quel type de questions ou de pistes explorer pour comprendre mon modèle du monde. Aucun LLM aujourd’hui ne fera ça pour vous à 100 %, on en est même loin. Mais une tutrice le fera si elle est bonne. Une fois qu’elle avait compris, elle me donnait vraiment tout ce dont j’avais besoin à partir du point précis où j’en étais. Il faut toujours être stimulé au bon niveau. On ne peut pas être confronté à quelque chose de trop difficile ou de trop trivial, et une tutrice est vraiment douée pour vous donner exactement ce qu’il faut.

J’avais l’impression que la seule limite à mon apprentissage, c’était moi. L’information parfaite était toujours là. Je suis la seule limite. C’était agréable, parce que j’étais le seul obstacle existant. Ce n’était pas parce qu’on ne trouvait pas la connaissance, ou qu’elle était mal expliquée, etc. C’était simplement ma capacité à mémoriser et ce genre de choses. C’est ça que je veux pour les gens.

Dwarkesh Patel 02:00:27

Comment est-ce qu’on automatise ça ?

Andrej Karpathy 02:00:29

Très bonne question. Avec les capacités actuelles, on ne le fait pas. C’est pour ça que je pense que ce n’est pas encore le bon moment pour construire ce type de tuteur IA. Je pense toujours que ce sera un produit utile, et beaucoup de gens vont en créer, mais la barre est trop haute et les capacités n’y sont pas. Même aujourd’hui, je dirais que ChatGPT est un produit éducatif extrêmement précieux. Mais pour moi, voir à quel point la barre était haute quand j’étais avec elle, c’était absolument fascinant. J’avais presque l’impression qu’il n’y avait aucun moyen de construire ça.

Dwarkesh Patel 02:01:02

Mais vous êtes en train de le construire, non ?

Andrej Karpathy 02:01:03

Toute personne qui a eu une très bonne tutrice se dit : « Comment est-ce qu’on construit ça ? » J’attends les capacités nécessaires.

J’ai fait du conseil en IA sur la vision par ordinateur. Dans beaucoup de cas, la valeur que j’apportais à une entreprise consistait à lui dire de ne pas utiliser l’IA. J’étais l’expert IA, ils m’expliquaient leur problème, et je répondais : « N’utilisez pas l’IA. » C’était ça, ma valeur ajoutée. J’ai un peu le même sentiment aujourd’hui dans l’éducation. Pour ce que j’ai en tête, ce n’est pas encore le moment, mais ce moment viendra. Pour l’instant, je construis quelque chose d’un peu plus traditionnel, avec des composantes physiques et numériques, etc. Mais il est évident de voir à quoi cela devra ressembler dans le futur.

Dwarkesh Patel 02:01:43

Dans la mesure où vous acceptez d’en parler, y a-t-il quelque chose que vous espérez lancer cette année ou l’année prochaine ?

Andrej Karpathy 02:01:49

Je construis le premier cours. Je veux faire un très, très bon cours. Vraiment la destination de référence, à la pointe, où aller pour apprendre — ici, l’IA. Comme c’est ce que je connais, c’est un très bon premier produit pour faire vraiment bien les choses dans ce domaine. C’est donc ce que je construis. Nanochat, que vous avez brièvement mentionné, est le projet de fin de cours de la classe que je suis en train de créer, LLM101N. C’en est une énorme composante. Mais maintenant il faut aussi créer beaucoup d’étapes intermédiaires, puis recruter une petite équipe de TAs et construire l’ensemble du cours.

Il y a encore une chose que je veux dire : souvent, quand les gens pensent à l’éducation, ils pensent davantage à ce que j’appellerais les composantes plus soft de la diffusion du savoir. Moi, j’ai en tête quelque chose de très difficile et très technique. À mon avis, l’éducation est un processus technique très difficile qui consiste à construire des rampes d’accès à la connaissance. À mon avis, nanochat est une rampe d’accès à la connaissance. Parce que c’est très simple. C’est une stack complète entièrement simplifiée. Si vous donnez cet artefact à quelqu’un et qu’il l’explore, il apprend énormément de choses. Cela lui donne beaucoup de ce que j’appelle des eurekas par seconde, de la compréhension par seconde. C’est ce que je veux : beaucoup d’eurekas par seconde. Donc pour moi, c’est un problème technique : comment rendre cette rampe extrêmement efficace. Faire en sorte que les gens ne restent jamais bloqués, que rien ne soit toujours trop difficile ni trop trivial, et qu’ils aient toujours exactement le bon matériel pour progresser.

Dwarkesh Patel 02:03:25

Ce que vous imaginez à court terme, c’est que, plutôt qu’un tuteur capable d’explorer votre compréhension, si vous avez assez de conscience de vous-même pour vous explorer vous-même, vous ne resterez jamais bloqué. Entre parler à un TA ou à un LLM, et regarder une implémentation de référence, vous pouvez trouver la bonne réponse. Jusqu’ici, l’automatisation ou l’IA ne semblent pas être la partie importante. Pour l’instant, le grand alpha ici, c’est votre capacité à expliquer l’IA, codifiée dans les matériaux source du cours. C’est fondamentalement ce qu’est le cours.

Andrej Karpathy 02:04:00

Il faut toujours s’ajuster aux capacités qui existent dans l’industrie. Beaucoup de gens vont simplement poursuivre l’idée de tout demander à ChatGPT, etc. Mais à l’heure actuelle, par exemple, si vous allez sur ChatGPT et que vous lui demandez de vous enseigner l’IA, il n’y a pas moyen. Il va vous servir du bricolage. L’IA n’écrira absolument pas nanochat aujourd’hui. Mais nanochat est un point intermédiaire vraiment utile. Je collabore avec l’IA pour créer tout ce matériel, donc l’IA reste fondamentalement très utile.

À l’époque, j’avais créé CS231n à Stanford, qui était, je crois, le premier cours de deep learning à Stanford, et il était très populaire. La différence entre créer 231n à l’époque et créer LLM101N aujourd’hui est assez frappante. J’ai vraiment le sentiment d’être amplifié par les LLM tels qu’ils existent aujourd’hui, mais je suis très présent dans la boucle. Ils m’aident à produire le matériel, et je vais beaucoup plus vite. Ils prennent en charge beaucoup de choses fastidieuses, etc. J’ai l’impression de développer le cours beaucoup plus rapidement, et il est imprégné de LLM, mais on n’en est pas encore à un point où ils peuvent créer le contenu de manière créative. Je suis toujours là pour faire ça. La difficulté, c’est toujours de s’ajuster à ce qui existe réellement.

Dwarkesh Patel 02:05:04

Quand on imagine ce qui pourra être disponible via Eureka dans quelques années, le grand goulot d’étranglement semble être de trouver, dans chaque domaine, des Karpathy capables de transformer leur compréhension en ce type de rampes.

Andrej Karpathy 02:05:18

Cela va évoluer avec le temps. Tout de suite, il s’agira de recruter des professeurs pour travailler main dans la main avec l’IA et des équipes humaines. Probablement pour créer des cours à la pointe. Avec le temps, peut-être qu’une partie des TAs pourra être de l’IA. Je pense qu’on peut prendre tout le matériel du cours, puis fournir un très bon TA automatisé à l’étudiant. Quand il a des questions plus élémentaires, ou ce genre de choses. Mais pour l’architecture globale du cours et pour vérifier qu’elle tient la route, je pense qu’il faudra des professeurs. Donc je vois la progression de la manière dont tout cela va évoluer. Peut-être qu’à un certain moment dans le futur, je ne serai plus très utile et que l’IA concevra l’essentiel bien mieux que moi. Mais je pense quand même qu’il faudra du temps pour en arriver là.

Dwarkesh Patel 02:05:59

Vous imaginez des personnes ayant une expertise dans d’autres domaines contribuer aux cours, ou bien, compte tenu de votre compréhension de la façon dont vous voulez enseigner, estimez-vous qu’il est essentiel pour la vision que ce soit vous qui conceviez le contenu ? Un peu comme Sal Khan qui narre lui-même toutes les vidéos de Khan Academy. C’est ce que vous imaginez ?

Andrej Karpathy 02:06:20

Non, j’embaucherai des enseignants. Parce qu’il y a des domaines dans lesquels je ne suis pas expert. Et c’est en fin de compte la seule façon d’offrir une expérience de pointe aux étudiants. Je m’attends à embaucher des enseignants, mais je vais probablement rester dans l’IA pendant un certain temps. J’ai en tête quelque chose de plus traditionnel que ce que les gens imaginent sans doute à propos des capacités actuelles.

Quand je pense à créer Starfleet Academy, j’imagine probablement une institution physique, avec en dessous une offre numérique par strates. Ce n’est pas l’expérience de pointe qu’on obtient quand quelqu’un vient physiquement à plein temps et qu’on travaille la matière du début à la fin en vérifiant que vous comprenez. Ça, c’est l’offre physique. L’offre numérique, c’est beaucoup de choses qu’on trouve sur Internet, et probablement un assistant LLM. C’est un peu plus gadget et situé à un niveau inférieur, mais au moins c’est accessible à 8 milliards de personnes.

Dwarkesh Patel 02:07:08

En gros, on dirait que vous réinventez l’université à partir des premiers principes pour les outils disponibles aujourd’hui, et que vous sélectionnez des personnes qui ont la motivation et l’intérêt de vraiment s’engager dans la matière.

Andrej Karpathy 02:07:26

Il faudra aussi beaucoup d’éducation continue et de reconversion. J’aimerais contribuer à ça. Parce que les emplois vont probablement beaucoup changer. Par exemple, beaucoup de gens essaient aujourd’hui de monter en compétences, surtout dans l’IA. Je pense que c’est un très bon cours à enseigner à cet égard. Du point de vue de la motivation, avant l’AGI, la motivation est très simple à résoudre. Parce que les gens veulent gagner de l’argent. C’est comme ça qu’on gagne de l’argent dans l’industrie aujourd’hui. Après l’AGI, ce sera bien plus intéressant. Parce que si tout est automatisé et qu’il n’y a plus rien à faire pour personne, pourquoi quelqu’un irait-il à l’école ?

Je dis souvent que l’éducation avant l’AGI est utile. L’éducation après l’AGI est amusante. Un peu de la même manière que les gens vont aujourd’hui à la salle de sport. Nous n’avons pas besoin de leur force physique pour manipuler des objets lourds, parce que nous avons des machines qui le font. Et pourtant ils continuent d’aller à la salle. Pourquoi vont-ils à la salle ? Parce que c’est amusant, bon pour la santé, et qu’avoir des abdos est esthétique. Il y a quelque chose d’attirant là-dedans pour les gens, dans un sens humain très profond, psychologique, évolutionnaire. L’éducation va évoluer de la même manière. On ira à l’école comme on va à la salle de sport.

À l’heure actuelle, beaucoup de gens n’apprennent pas, parce qu’apprendre est difficile. Ils décrochent de la matière. Certaines personnes franchissent cette barrière, mais pour la plupart des gens, c’est difficile. C’est un problème technique à résoudre. Ce que mon tuteur faisait pour moi quand j’apprenais le coréen, c’est un problème technique à résoudre. C’est quelque chose de gérable, qu’on peut construire, et quelqu’un doit le construire. Cela rendra le fait d’apprendre quelque chose trivial et désirable, et les gens le feront pour le plaisir, justement parce que ce sera trivial. Si vous aviez un tel tuteur pour n’importe quel fragment de connaissance, il serait beaucoup plus facile d’apprendre quoi que ce soit, et les gens le feraient. Ils le feraient pour la même raison qu’ils vont à la salle de sport.

Dwarkesh Patel 02:09:17

Ça sonne différemment... Donc après l’AGI, vous utilisez ça comme divertissement ou comme développement personnel. Mais on avait aussi l’impression que votre vision impliquait que cette éducation aide l’humanité à garder le contrôle sur l’IA. Ça semble différent. Pour certains, c’est du divertissement, mais pour d’autres, c’est une forme d’autonomisation ? Qu’en pensez-vous ?

Andrej Karpathy 02:09:41

Je pense qu’au bout du compte, c’est un peu une partie perdue d’avance, si l’expression a du sens. À long terme, oui. Probablement à un horizon plus lointain que ce que la plupart des gens de l’industrie imaginent, mais à long terme, c’est perdu d’avance. Les gens peuvent aller beaucoup plus loin qu’on ne le pense, et on n’a fait qu’effleurer la surface de ce dont un humain est capable. C’est simplement parce que les gens décrochent face à des contenus trop faciles ou trop difficiles. Les gens pourront aller beaucoup plus loin. Tout le monde parlera cinq langues, parce que pourquoi pas ? Ce sera tellement trivial. Tout le monde connaîtra tout le tronc commun de premier cycle, etc.

Dwarkesh Patel 02:10:18

Je comprends maintenant la vision, et c’est très intéressant. Cette culture de la salle de sport est une analogie parfaite. Je ne pense pas qu’il y a 100 ans, qui que ce soit était très musclé. Personne n’aurait volontairement soulevé deux ou trois plaques au développé couché. Aujourd’hui, c’est devenu très courant, grâce à cette idée de s’entraîner de façon systématique, de faire de la musculation à la salle, ou de s’entraîner méthodiquement pour pouvoir courir un marathon. C’est une capacité que la plupart des humains n’ont pas spontanément. Donc vous imaginez des choses similaires pour l’apprentissage dans beaucoup d’autres domaines, de façon bien plus intensive, plus profonde et plus rapide.

Andrej Karpathy 02:10:54

Exactement. Je fais en quelque sorte le pari de la permanence de la nature humaine. Je pense qu’il sera désirable de faire toutes ces choses, et que les gens les admireront comme ils l’ont fait pendant des milliers d’années. Cela continuera d’être vrai. Il existe d’ailleurs quelques preuves historiques en ce sens. Si on regarde, par exemple, les aristocrates, ou la Grèce antique, ou ce genre de cas, chaque fois qu’on a eu de petits environnements qui étaient, dans un certain sens, post-AGI, les gens passaient beaucoup de temps à s’épanouir physiquement et cognitivement de certaines manières. Je me sens plutôt serein quant à cette perspective.

Si tout cela est faux, si je me trompe, et qu’on finit dans un futur à la WALL-E ou Idiocracy, alors je me fiche de savoir s’il y a des sphères de Dyson. Ce serait une issue horrible. Je me soucie vraiment de l’humanité. Tout le monde doit être surhumain dans un certain sens.

Dwarkesh Patel 02:11:52

Ça reste... c’est fondamentalement un monde de culture, en quelque sorte, c’est bien ça ? Fondamentalement, c’est un monde où vous ne pouvez pas réellement transformer la trajectoire de la technologie ni influencer les décisions uniquement par votre travail ou votre cognition. Vous pouvez peut-être influencer les décisions parce que l’IA demande votre approbation, mais ce n’est pas comme si j’influençais réellement l’avenir parce que j’ai inventé quelque chose ou imaginé un nouveau design.

Andrej Karpathy 02:12:21

Peut-être. Je pense qu’il y aura une période de transition où, si nous comprenons beaucoup de choses, nous pourrons rester dans la boucle et faire avancer les choses. À long terme, cela disparaîtra probablement. Il pourrait y avoir des sports, comme une forme de powerlifting de l’ère cognitive. Il y aura peut-être des gens qui iront très loin et essaieront de créer une sorte d’Olympiade du fait de vraiment connaître les choses. Si vous avez un tuteur IA parfait, vous pouvez probablement aller extrêmement loin. J’ai l’impression que les génies d’aujourd’hui n’ont fait qu’effleurer la surface de ce que l’esprit humain peut accomplir.

Dwarkesh Patel 02:12:59

J’adore cette vision. Et j’ai aussi l’impression que je suis la personne la plus en adéquation produit-marché pour ça, parce que mon métier consiste à apprendre des sujets différents chaque semaine, et ça m’enthousiasme énormément.

Andrej Karpathy 02:13:17

Moi aussi, c’est similaire. Beaucoup de gens, par exemple, détestent l’école et veulent en sortir. Moi, j’aimais vraiment l’école. J’adorais apprendre des choses, etc. Je voulais y rester. J’y suis resté jusqu’au doctorat, puis ils ne m’ont plus laissé rester, alors je suis allé dans l’industrie. En gros, j’adore apprendre, pour l’apprentissage lui-même, mais aussi parce qu’apprendre est une forme d’autonomisation, et que c’est utile et productif.

Dwarkesh Patel 02:13:39

Vous avez aussi fait un point subtil que j’aimerais formuler explicitement. Vu ce qui s’est passé jusqu’ici avec les cours en ligne, pourquoi n’ont-ils pas déjà permis à chaque être humain de tout savoir ? C’est simplement parce qu’ils demandent trop de motivation. Parce qu’il n’y a pas de rampe d’accès évidente et qu’il est trop facile de se retrouver bloqué. Alors qu’avec quelque chose comme ça — comme un très bon tuteur humain —, du point de vue de la motivation, ce serait vraiment le déclic.

Andrej Karpathy 02:14:10

Je pense que oui. C’est désagréable d’être repoussé par le contenu. C’est désagréable. Quand on consacre du temps à quelque chose sans que ça n’aboutisse, ou quand ce qu’on obtient est soit trop facile, soit trop difficile au point d’en devenir totalement ennuyeux, on reçoit une récompense négative. Quand c’est bien fait, apprendre procure une sensation agréable. Y arriver est un problème technique. Pendant un temps, ce sera une collaboration IA + humain, puis à un moment donné, ce sera peut-être simplement l’IA.

Dwarkesh Patel 02:14:36

Est-ce que je peux poser quelques questions sur le fait de bien enseigner ? Si vous deviez conseiller à d’autres éducateurs, dans d’autres domaines qui vous intriguent, de créer le type de tutoriels YouTube que vous avez réalisés. C’est particulièrement intéressant de parler de domaines où on ne peut pas tester la compréhension technique de quelqu’un en lui faisant écrire du code ou ce genre de choses. Que conseilleriez-vous ?

Andrej Karpathy 02:14:58

C’est un sujet assez vaste. Il y a probablement 10 à 20 conseils et astuces que j’applique de façon semi-consciente. Mais une grande partie de ça vient de ma formation en physique. J’ai vraiment, vraiment adoré cette formation. Je pourrais faire un long discours sur les raisons pour lesquelles tout le monde devrait apprendre la physique au début de sa scolarité. Parce que l’éducation scolaire initiale ne consiste pas à accumuler des connaissances ou des souvenirs pour un futur travail dans l’industrie. Il s’agit de démarrer le cerveau. Et la physique est ce qui le fait le mieux démarrer. Parce que certaines des choses qu’elle vous pousse à faire mentalement deviennent ensuite extrêmement précieuses.

L’idée de construire des modèles et des abstractions, et de comprendre qu’il existe une approximation au premier ordre qui explique l’essentiel d’un système, mais qu’il peut aussi y avoir — ou non — des termes du deuxième, troisième ou quatrième ordre. L’idée d’observer un système très bruité tout en voyant qu’il existe des fréquences fondamentales qu’on peut abstraire. Quand un physicien arrive en cours et dit : « supposons une vache sphérique », tout le monde en rit, mais c’est excellent. C’est une façon de penser formidable et très généralisable à travers toute l’industrie, parce qu’on peut approximer une vache par une sphère de beaucoup de manières.

Par exemple, il y a un très bon livre, Scale. C’est un livre écrit par un physicien qui parle de biologie. C’est probablement aussi un livre que je recommanderais. On peut en tirer des approximations vraiment intéressantes sur les animaux et tracer les lois d’échelle des animaux. On peut regarder leur fréquence cardiaque et ce genre de choses, et voir comment cela correspond à leur taille, etc. On peut parler des animaux en termes de volume. On peut parler de leur dissipation thermique. Parce que la dissipation thermique augmente avec la surface, donc au carré. Mais la production, ou génération, de chaleur augmente au cube. Donc j’ai le sentiment que les physiciens possèdent tous les bons outils cognitifs pour aborder la résolution de problèmes dans le monde.

À cause de cette formation, j’essaie toujours de trouver les termes du premier ordre ou du deuxième ordre de tout. Quand j’observe un système ou quelque chose, j’ai dans l’esprit un enchevêtrement d’idées et de connaissances. J’essaie de trouver ce qui est important. Quel est le composant de premier ordre ? Comment simplifier ? Comment obtenir la chose la plus simple qui montre cela, vraiment la montrer, puis ajouter ensuite les autres termes ?

Un exemple de l’un de mes dépôts qui, je pense, illustre bien cela s’appelle micrograd. Je ne sais pas si vous connaissez. micrograd, c’est 100 lignes de code qui montrent la rétropropagation. On peut construire des réseaux de neurones à partir d’opérations simples comme l’addition et la multiplication. Les briques Lego des réseaux de neurones. On construit un graphe de calcul, puis on fait la passe avant et la passe arrière pour obtenir les gradients. Or, c’est le cœur de tout entraînement de réseau de neurones.

Donc micrograd, ces 100 lignes de Python assez interprétables, permettent de faire la passe avant et la passe arrière sur des réseaux de neurones arbitraires, mais ce n’est pas efficace. Donc micrograd, ces 100 lignes de Python, c’est tout ce qu’il faut pour comprendre comment les réseaux de neurones sont entraînés. Tout le reste, c’est juste de l’efficacité. Il y a une quantité énorme de travail pour obtenir cette efficacité. Il faut des tenseurs, du batching, des strides, écrire des kernels, orchestrer correctement les transferts mémoire, etc. Tout cela, c’est essentiellement de l’efficacité. Mais la pièce intellectuelle centrale de l’entraînement des réseaux de neurones, c’est micrograd. 100 lignes. C’est facile à comprendre. C’est l’application récursive de la règle de la chaîne pour dériver les gradients. Cela permet d’optimiser n’importe quelle fonction différentiable arbitraire.

Donc j’adore chercher ces petits termes de bas ordre, les découvrir et les servir sur un plateau. J’ai l’impression que l’enseignement est ce qu’il y a de plus intellectuellement intéressant. Parce qu’on a cet enchevêtrement de compréhension, et qu’on essaie de l’organiser de façon à créer une rampe où chaque chose ne dépend que de ce qui la précède. Je trouve que démêler cet enchevêtrement de connaissances est, en tant que travail cognitif, incroyablement intéressant intellectuellement. Personnellement, j’adore faire ça, et il y a une sorte de fascination à essayer d’agencer les choses d’une certaine manière. C’est peut-être ce qui m’aide.

Dwarkesh Patel 02:18:41

Et cela rend aussi l’expérience d’apprentissage beaucoup plus motivante. Votre tutoriel sur les transformeurs commence avec des bigrammes, littéralement une table de correspondance : « ici il y a un mot maintenant », ou « ici il y a un mot précédent, ici il y a un mot suivant ». C’est littéralement juste une table de correspondance.

Andrej Karpathy 02:18:58

C’est son essence, oui.

Dwarkesh Patel 02:18:59

Partir d’une table de correspondance pour aller jusqu’aux transformeurs, c’est vraiment une excellente méthode. Chaque pièce est motivée. Pourquoi ajouter ça ? Pourquoi ajouter l’élément suivant ? On peut mémoriser la formule d’attention, mais le plus important est de comprendre pourquoi chaque élément est pertinent, quel problème il résout.

Andrej Karpathy 02:19:13

Présenter la douleur avant de présenter la solution, et montrer à quel point elle est ingénieuse. Je veux faire passer l’étudiant par cette progression. Il y a plein d’autres petites choses qui rendent ça bon, captivant et intéressant. Il faut toujours donner des prompts à l’étudiant.

Il y a beaucoup d’autres petits éléments importants que les bons éducateurs font, du genre : comment résoudriez-vous cela ? Je ne vais pas vous donner la solution avant que vous ayez essayé de deviner. Ce serait du gâchis. Ce serait un peu… je ne veux pas jurer, mais ne pas vous donner l’occasion d’essayer vous-même avant que je donne la solution, c’est mal vous traiter.

Dwarkesh Patel 02:19:51

Parce que si on essaie de le trouver soi-même, on comprend mieux quel est l’espace des actions, quel est l’objectif, puis pourquoi seule cette action permet d’atteindre cet objectif.

Andrej Karpathy 02:20:03

Vous avez l’occasion d’essayer par vous-même, et quand je donne la solution, vous l’appréciez. Ça maximise la quantité de connaissance par nouveau fait ajouté.

Dwarkesh Patel 02:20:11

Pourquoi, au fond, les personnes qui sont de véritables experts dans leur domaine sont-elles souvent mauvaises pour l’expliquer à quelqu’un qui est en train de l’apprendre ?

Andrej Karpathy 02:20:24

L’expertise et la malédiction du savoir. C’est un phénomène réel, et j’en souffre moi-même autant que j’essaie de le combattre. On tient certaines choses pour acquises, et on n’arrive pas à se remettre à la place de quelqu’un qui débute. C’est très répandu, et ça m’arrive aussi.

Il y a une chose très utile. Par exemple, quelqu’un a récemment essayé de me montrer un article de biologie, et j’ai immédiatement eu énormément de questions atroces. Ce que j’ai fait, c’est utiliser ChatGPT, mettre l’article dans la fenêtre de contexte et poser mes questions. Ça a permis d’en résoudre quelques-unes parmi les plus simples. Ensuite, j’ai partagé le fil avec la personne qui avait écrit l’article ou fait ce travail. Je me suis dit que voir les questions idiotes que j’avais posées pourrait l’aider à mieux expliquer les choses à l’avenir.

Pour mon propre contenu, j’adorerais que les gens partagent leurs conversations idiotes avec ChatGPT à propos de ce que j’ai créé. Parce que ça m’aide vraiment à me remettre à la place de quelqu’un qui repart de zéro.

Dwarkesh Patel 02:21:19

Il y a une autre astuce qui fonctionne étonnamment bien. Quand quelqu’un écrit un article scientifique, un billet de blog ou fait une présentation, le récit ou la transcription de la façon dont cette personne l’expliquerait au déjeuner est bien plus compréhensible, mais aussi en réalité plus exact et plus scientifique. Dans 100 % des cas. En ce sens que les gens ont tendance à expliquer les choses de la manière la plus abstraite possible, bourrée de jargon, et à s’éclaircir la gorge pendant quatre paragraphes avant d’exposer l’idée centrale. Mais quand on communique en tête-à-tête avec quelqu’un, il y a quelque chose qui fait qu’on lui fait simplement dire ce qu’il veut dire.

Andrej Karpathy 02:22:07

Dites-le, tout simplement. J’ai vu ce tweet et je l’ai trouvé vraiment excellent. Je l’ai partagé avec beaucoup de gens. J’ai ressenti ça encore et encore.

L’exemple le plus marquant, c’est qu’à l’époque de mon doctorat, je faisais de la recherche. Je lis un article de quelqu’un et j’essaie de comprendre ce qu’il fait. Puis plus tard, je le croise à une conférence autour d’une bière et je lui demande : « Alors, cet article, il faisait quoi exactement ? De quoi parlait-il ? »

Et là, la personne va juste dire trois phrases qui capturent parfaitement l’essence de l’article et livrent complètement l’idée. Et il n’y avait plus besoin de lire l’article. C’est seulement quand on est assis à une table avec une bière ou quelque chose comme ça, et qu’elle dit : « Oh oui, l’article, c’est juste : on prend cette idée, on prend cette autre idée, puis on tente cette expérience et ça. » Elle sait parfaitement le formuler dans une conversation. Pourquoi est-ce que ce n’est pas ça, le résumé ?

Dwarkesh Patel 02:22:51

Exactement. Et cela soulève la question de la meilleure manière de formuler une idée quand on essaie de l’expliquer. Quel conseil donneriez-vous, en tant qu’ancien étudiant, à d’autres étudiants si la personne qui fait l’explication à la Karpathy n’est pas là ? Quand vous lisez l’article ou le livre de quelqu’un, quelles stratégies utilisez-vous pour apprendre des contenus qui vous intéressent dans un domaine dont vous n’êtes pas spécialiste ?

Andrej Karpathy 02:23:20

Je ne sais pas si j’ai des conseils ou des astuces particulièrement originaux, honnêtement. C’est un processus douloureux. Une chose qui m’a toujours beaucoup aidé — j’ai fait un petit tweet là-dessus — c’est l’apprentissage à la demande. Apprendre en profondeur d’abord. J’ai l’impression qu’il faut alterner un peu entre apprendre en profondeur, à la demande — où l’on essaie d’accomplir un projet précis avec une récompense à la clé — et apprendre en largeur, c’est-à-dire : « Oh, faisons juste un cours d’introduction, et voici tout ce dont vous pourriez avoir besoin. » C’est ce que font beaucoup d’écoles : un apprentissage en largeur, du genre « faites-nous confiance, vous en aurez besoin plus tard ». Très bien, je vous fais confiance. Je l’apprendrai parce qu’il le faut. Mais moi, j’aime le type d’apprentissage où l’on obtient une récompense en faisant quelque chose, et où l’on apprend à la demande.

Une autre chose que j’ai trouvée extrêmement utile. C’est un aspect un peu plus altruiste de l’éducation, mais expliquer les choses aux autres est une magnifique façon d’apprendre quelque chose plus profondément. Ça m’arrive tout le temps. Ça arrive probablement à d’autres aussi. Parce que si vous ne comprenez pas vraiment quelque chose, vous réalisez que vous ne pouvez pas l’expliquer. Vous essayez, puis vous vous dites : « Oh, je ne comprends pas ça. » C’est tellement agaçant de se retrouver face à ça. On peut revenir en arrière et vérifier qu’on a bien compris. On comble ces lacunes de compréhension. On se force à les affronter. On se force à les réconcilier.

J’aime réexpliquer les choses, et les autres devraient faire pareil. Parce qu’alors, il faut manipuler le savoir et être certain de bien comprendre ce qu’on est en train de dire quand on l’explique.

Dwarkesh Patel 02:24:48

C’est un texte parfait pour conclure. Andrej, c’était excellent.

Andrej Karpathy 02:24:51

Merci.

[GN⁺]

Avis Hacker News

• J’ai l’impression qu’il est important de voir les progrès de l’IA comme une sorte de « marche des 9 ». Chaque 9 supplémentaire demande la même quantité d’effort. Si on a fabriqué une démo à 90 %, il faut ensuite empiler le deuxième 9 %, puis le troisième, et ainsi de suite. J’ai vécu ce processus itératif de nombreuses fois pendant mes cinq années chez Tesla. Il reste encore énormément de chemin à parcourir. Les progrès de l’IA semblent souvent exponentiels sur certains benchmarks fixes, mais la difficulté pour passer à l’étape suivante augmente elle aussi de façon exponentielle, donc à long terme cela ressemble plutôt à une amélioration linéaire

  • Après avoir vu récemment une interview de Rich Sutton, je me dis que l’AGI n’est peut-être pas simplement une question d’ajouter encore des 9 %. L’intervieweur partait du principe que comprendre le langage exige un modèle du monde, mais Sutton a rejeté cette prémisse d’emblée. Je pourrais assez bien partager ce scepticisme

  • Cette histoire me rappelle un vieux dicton sur le marathon : il se compose de deux parties, les 20 premiers miles, puis les 10 derniers kilomètres courus dans l’état le plus douloureux et le plus épuisé de toute sa vie

  • J’aime bien la métaphore de l’auteur. Mais à partir d’un certain point, l’IA elle-même va aider à accélérer les progrès, et c’est précisément ce qui la distingue des anciens systèmes de ML spécialisés par domaine ou d’autres types de systèmes. C’est pour cela que je m’attends à une accélération brutale dans les deux prochaines années

  • Moi aussi, je plaisante souvent en disant que j’ai terminé les premiers 90 % d’un travail, puis que je passe aux 90 % suivants

  • Cette façon de penser s’applique à beaucoup de choses. C’est un peu comme l’efficacité de Pareto, la règle des 80/20 : 20 % de l’effort produisent 80 % du travail total. Mais finir les 20 % restants prend la majeure partie du temps. Et ce principe s’applique de manière répétée. On voit ce phénomène très nettement dans l’IT récente. Aller vite et expérimenter fonctionne bien sur la plus grande partie du parcours, mais au fil du processus beaucoup de problèmes s’accumulent, si bien qu’il faut finalement quelqu’un pour faire le ménage et relire. Chaque petit problème finit par former un gros problème. Même avec 99,9 % de disponibilité système, cela représente 9 heures de panne par an, et 1 million de cas sur 1 milliard, ce n’est pas négligeable. La scalabilité de la technologie a permis au secteur de grandir vite, mais son revers grandit aussi. Atteindre un niveau au-dessus de la moyenne est relativement facile avec de l’effort, mais dans certains domaines quelqu’un peut rester très loin de la maîtrise réelle. Comme une personne possédant 100 millions de dollars est en réalité plus proche d’un sans-abri que d’un milliardaire en termes de distance de richesse, notre intuition suit des courbes

• Chaque fois que des chercheurs en IA et des informaticiens commencent à comparer le cerveau humain, l’IA et les ordinateurs, j’éprouve toujours un sentiment étrange. Pourquoi avons-nous, nous qui n’avons étudié que l’informatique, l’impression d’en savoir assez sur la biologie, les neurosciences ou l’évolution ? Ces discussions sont intéressantes, mais au fond de moi je me dis toujours : « n’oublions pas qu’on est en train d’écouter deux diplômés en informatique parler de neurosciences »

  • Je pense qu’il faudrait supprimer complètement ce type de discours, et même cette terminologie, du domaine de l’IA. Cela ne fait qu’entretenir une confusion sans fin dans le grand public. En réalité, la nature d’un LLM consiste simplement à entraîner des matrices pour prédire le token suivant. Cela suffit déjà à l’expliquer, sans avoir besoin d’invoquer l’AGI, Roko's basilisk ou la conscience humaine

  • Pour répondre à la question de savoir d’où vient cette prémisse : de l’arrogance

  • En réalité, il y a même cette blague logique qui consiste à commencer par imaginer « un cerveau parfaitement sphérique et sans friction »

  • Moi aussi, à l’époque de mes études, je faisais ce genre de comparaisons, en m’appuyant finalement sur un modèle conceptuel du type : si le cerveau fait X, alors l’ordinateur fait lui aussi en apparence un X similaire, ou peut peut-être reproduire X au moyen d’étapes comme Y et Z. Mais depuis que j’ai compris que le cerveau est une machine chimique extraordinairement complexe, je suis devenu beaucoup plus sceptique vis-à-vis de ces comparaisons

  • IA et neurosciences se recoupent beaucoup, surtout chez les chercheurs de l’ancienne génération. Par exemple, la directrice de thèse de Karpathy, Fei-Fei Li, étudiait la vision dans le cerveau du chat avant de passer à la computer vision ; Demis Hassabis est docteur en neurosciences computationnelles ; Geoff Hinton a aussi étudié la psychologie. La conférence RLDM relie apprentissage par renforcement et neurosciences, et permet à des experts des deux domaines d’échanger. En pratique, les chercheurs moyens en IA en savent probablement bien plus sur le cerveau que de simples diplômés en informatique, même si cela reste insuffisant pour faire de la recherche spécialisée

• S’il y a une limite fondamentale des LLM/IA actuels, c’est qu’ils sont surtout entraînés sur des données abstraites afin d’imiter le cortex préfrontal, siège du raisonnement logique humain. Or le jugement humain réel repose davantage sur l’activité du système limbique, centré sur l’émotion et l’intuition. Autrement dit, la plupart du temps, nous « faisons d’abord quelque chose avant d’en connaître la raison », puis le cortex préfrontal reconstruit ensuite une histoire cohérente. Au final, les LLM n’imitent qu’une partie de certaines formes d’activité neuronale, et depuis un point très différent de la manière dont les humains traitent la réalité

• Je suis prêt à parier toute ma fortune que l’AGI n’apparaîtra pas du vivant de quiconque lit ce message aujourd’hui. Et j’inclus aussi les lecteurs du futur qui tomberont dessus plus tard. La vraie question intéressante, c’est de savoir comment on pourrait un jour prouver ce pari

  • J’aimerais vraiment connaître les raisons précises de cette conviction. Chaque jour, en lisant Hacker News, je suis déconcerté par la masse de prédictions sur l’AGI formulées sans logique sérieuse. Personnellement, je n’ai absolument aucune idée de ce qui va arriver

  • Pour que ce pari existe vraiment, il faudrait miser de l’argent réel sur un marché prédictif comme Polymarket. Mais il faudrait d’abord se mettre d’accord sur une définition concrète de l’AGI. Si l’autre partie la définit à son avantage, ce pari devient ingagnable

  • Si quelqu’un veut réellement miser sa fortune, comme c’est un échange pratiquement impossible à monétiser, le plus réaliste est en effet de passer par un marché prédictif. Polymarket propose beaucoup de paris liés à l’AGI

  • Le plus réaliste serait peut-être simplement de shorter l’action Nvidia

  • Remarque sur l’usage d’un escrow (un dispositif où les fonds sont déposés chez un tiers)

• Pour ajouter mon grain de sel : je pense que nous n’avons toujours même pas une compréhension schématique de ce qu’est l’intelligence ni de son fonctionnement. On ne sait même pas clairement comment la conscience et l’intelligence sont liées. Dans ces conditions, une grande partie des discussions sur l’AGI ou l’IA, et plus encore des prédictions, repose sur des bases fragiles. Définir l’intelligence artificielle alors qu’on ne sait même pas ce qu’est l’intelligence relève de l’absurde

  • Si l’intelligence ou la conscience sont si difficiles à définir, c’est surtout parce que nous dépendons entièrement d’un échantillon unique (l’humain), sur lequel nous avons en plus superposé un mysticisme infondé. Voir aussi : https://bower.sh/who-will-understand-consciousness

  • Je ressens cela très fortement moi aussi. Nous ne savons même pas modéliser la conscience des invertébrés, et nous n’avons pas de vraie théorie de l’« esprit ». Au final, j’ai l’impression que l’IA se contente de faire semblant de comprendre, et reste très éloignée d’une intelligence réelle

• Si la transcription de l’interview est exacte, Karpathy n’a jamais dit nulle part dans cet entretien que l’AGI arriverait dans les dix ans, ni avancé une date précise. Le titre de Patel induit donc en erreur par rapport au contenu réel

  • Même chose pour Sutton. Sutton n’a jamais dit dans la conversation que « les LLM sont le terminus », et pourtant c’est ainsi que certains l’interprètent

• Si l’on compare le vibe coding et l’autocomplétion, les modèles LLM actuels ont beaucoup de défauts cognitifs. Par exemple, ils sont tellement entraînés sur les manières habituelles d’écrire du code qu’ils comprennent mal dès que je prends une autre approche. Et taper en anglais tout ce que je veux est bien trop fastidieux, alors qu’en allant directement au bon endroit dans le code et en saisissant quelques caractères, l’autocomplétion me suggère immédiatement quelque chose d’utile. Les modèles, eux, complexifient trop souvent la codebase, utilisent du code inutile et des API obsolètes ; au final, je ne sais pas à quel point ils sont vraiment utiles

• Même dans un monde avec 50 % de chômage, j’ai l’impression qu’on continuera encore à débattre de savoir si c’est du « vrai AGI »

• Je trouve déjà étrange que l’AGI soit l’objectif. Le terme IA lui-même est imprécis et ne correspond pas à la réalité. Les LLM ne sont pas de l’intelligence artificielle, et même des LLM très grands n’en sont pas non plus. Malgré cela, les language models restent une technologie très utile et potentiellement révolutionnaire. Appeler les LLM « IA », c’est à la fois surestimer et sous-estimer leur valeur. Le fait que ce ne soit pas de l’intelligence artificielle ne devrait pas être une déception : cela reste une technologie remarquable

  • Cette terminologie crée de la confusion. Avant, l’IA désignait toutes sortes d’intelligences machine : des IA d’échecs basiques, des classificateurs d’images, l’IA de personnages de jeux vidéo, etc. Mais aujourd’hui, beaucoup de gens assimilent IA et AGI, c’est-à-dire une intelligence de niveau humain

• Maintenant que Nvidia est devenue l’entreprise à la plus forte capitalisation boursière, la vraie discussion sur l’AGI est ensevelie sous l’énorme hype train du capital. Une grande partie de la valorisation des entreprises concernées repose sur la croyance que l’AGI arrivera dans un futur proche. Si l’AGI paraît trop proche, on a l’impression que les leaders actuels vont rafler tout le marché ; si elle paraît trop lointaine, investissements et dépenses peuvent sembler intenables

  • La vraie valorisation dépend peut-être moins de l’attente de l’AGI que du fait que les entreprises dépensent massivement dans l’IA pour économiser les salaires de la classe moyenne, via l’automatisation des emplois de bureau notamment

  • Même sans AGI, l’IA peut déjà créer une valeur économique énorme

  • Exactement. Combiné au récit d’une AGI dans 5 à 10 ans, cela sert à dire qu’il faut des « milliers de milliards de dollars » d’investissement, en invoquant une guerre technologique contre la Chine comme s’il s’agissait d’une nouvelle course à l’espace. On voyait déjà ce genre de discours dans l’actualité en 2024 : https://www.cnbc.com/2024/02/09/openai-ceo-sam-altman-reportedly-seeking-trillions-of-dollars-for-ai-chip-project.html