Je pense que Yann LeCun avait raison à propos des LLM (même si c’était peut-être un hasard)

• Ces dernières années, les discussions autour de l’AGI (Artificial General Intelligence, intelligence artificielle générale) ont fortement augmenté
• La définition précise de l’AGI reste floue et controversée, et fixer une timeline de l’AGI est devenu une manière courante de structurer le débat
  • « Timeline longue » : point de vue selon lequel l’AGI arrivera dans 10 à 20 ans
  • « Timeline courte » : affirmation selon laquelle l’AGI est imminente
• Mais discuter des progrès de l’IA de cette façon est inefficace
  • Il est plus pertinent d’y voir non pas une trajectoire vers une destination finale appelée AGI, mais un processus d’augmentation de la productivité de l’IA
  • L’IA progresse vers une capacité à réaliser davantage de tâches avec moins d’intervention humaine
    • Ex. : annotation de données, écriture de code, résolution de problèmes mathématiques, conduite autonome, pilotage automatique, etc.
  • Mais il reste incertain que l’IA atteigne un jour un point où elle fonctionnerait éternellement sans intervention humaine
  • Nous devrions mesurer combien de valeur l’IA peut générer par rapport aux entrées qu’on lui fournit
• Les progrès de l’IA peuvent être vus comme une hausse de la valeur économique produite par l’IA relativement à l’effort humain investi
• Questions importantes :
  • L’IA peut-elle progresser indéfiniment jusqu’à créer de la valeur économique sans intervention humaine ?
  • Ou bien atteindra-t-elle, à un certain niveau, des limites techniques ?
• Si l’IA pouvait créer de la valeur économique complètement sans intervention humaine, cela pourrait aussi avoir des conséquences considérables et dangereuses

Nous avons déjà vu ce phénomène (les voitures autonomes)

• Dans l’industrie de l’IA, avant le boom des modèles de langage, il y a eu vers 2017 un engouement pour les voitures autonomes
  • À l’époque, plusieurs entreprises déclaraient qu’elles lanceraient des voitures à conduite entièrement autonome (Full Self-Driving, FSD) en moins d’un an, attirant des milliards de dollars d’investissement
  • Des millions de miles ont été parcourus, de nombreuses entreprises ont été créées, mais certaines ont fini par faire faillite
• La FSD complète n’est toujours pas une réalité
  • Tesla reste incapable d’une conduite entièrement autonome, et Waymo ne fonctionne que partiellement dans certaines zones cartographiées à l’avance
  • Une intervention humaine occasionnelle reste nécessaire
    > Prédiction d’Elon Musk, CEO de Tesla, en 2016 :
    > « Avant la fin de l’année, une Tesla roulera de Los Angeles à New York en totale autonomie. »
    > → Mais en 2024, cela ne s’est toujours pas produit (Tesla vend toujours une option d’abonnement « Full Self-Driving »)
• Désormais, au lieu de débattre de la possibilité d’une autonomie complète, une approche plus réaliste consiste à mesurer les « miles par intervention humaine » (miles-per-intervention)
  • Autrement dit, mesurer la distance qu’une voiture peut parcourir sans une seule intervention humaine
• Selon les rapports les plus récents, Tesla nécessite en moyenne une intervention humaine tous les 13 miles
  • Avec des modèles d’IA plus grands, une inférence plus rapide, davantage de données et une ingénierie améliorée, ce chiffre a de fortes chances d’augmenter
  • Mais on ignore encore si, avec les technologies actuelles, ce chiffre peut tendre vers l’infini
• En d’autres termes, nous ne savons toujours pas si les modèles de conduite autonome peuvent progresser indéfiniment jusqu’à rendre toute intervention humaine totalement inutile, ou s’ils finiront par buter sur une limite

Pourquoi Yann LeCun avait tort (en partie)

• Yann LeCun, chief AI scientist de Meta, a soutenu par le passé que les modèles de langage ne pourraient pas atteindre une intelligence de niveau humain
• Son argument était le suivant : les modèles de langage génèrent leur sortie token par token, avec une probabilité d’erreur à chaque token ; à mesure que ces erreurs s’accumulent, les performances finissent nécessairement par se dégrader
• Il considérait ce problème d’accumulation des erreurs comme une limite fatale des modèles de langage, et affirmait que pour le résoudre, il faudrait abandonner l’approche autoregressive actuelle
• Mais la réalité a été différente
  • Les systèmes d’IA les plus récents (OpenAI o1/o3, DeepSeek R1, etc.) contredisent frontalement cette hypothèse
  • Ils restent autoregressive, mais leurs performances s’améliorent au contraire quand ils génèrent des sorties plus longues
  • Les recherches sur DeepSeek R1 montrent une tendance où plus le modèle “réfléchit” longtemps, plus sa probabilité de trouver la bonne réponse augmente
    > Le graphique du rapport DeepSeek R1 montre que les performances s’améliorent à mesure que le modèle génère des sorties plus longues → contradiction frontale avec l’hypothèse de Yann LeCun
• Comment le modèle corrige lui-même ses erreurs
  • Le raisonnement antérieur reposait sur l’hypothèse selon laquelle les erreurs ne pouvaient que s’accumuler token par token
  • Mais les travaux récents montrent que les modèles disposent de mécanismes leur permettant de corriger eux-mêmes certaines erreurs
  • Par exemple, lorsqu’ils génèrent certains motifs de tokens, on observe une tendance probabiliste à converger en cours de route vers une meilleure réponse
    > Exemple de DeepSeek R1 : le processus par lequel le modèle trouve une « meilleure réponse » à un certain moment → précisément ce que Yann LeCun jugeait impossible
• Certains chercheurs analysent actuellement ces mécanismes de self-correction et étudient comment les déclencher plus efficacement
• Il reste toutefois incertain que cette approche ne s’applique qu’à certains types de problèmes, comme le code ou les mathématiques

Pourquoi Yann LeCun avait raison (en partie)

• L’hypothèse de Yann LeCun n’était pas entièrement fausse
• Même si les recherches récentes réfutent son hypothèse d’« accumulation des erreurs », il reste vrai que les modèles de langage ne peuvent pas produire des sorties d’une précision infinie
• Autrement dit, l’IA ne peut pas fonctionner indéfiniment de manière totalement indépendante
• Les limites des agents entièrement autonomes (FAA)
  • De nombreux chercheurs tentent de développer des agents IA capables d’exécuter des tâches de longue durée
  • Mais cela pose un problème similaire à celui du développement des voitures à conduite entièrement autonome (FSD)
  • Autrement dit, avec la pile technologique actuelle, des systèmes d’IA complètement autonomes pourraient être impossibles
• L’importance des entrées humaines
  • Les informations les plus fiables proviennent des prompts saisis directement par des humains
  • L’IA peut obtenir des données supplémentaires via certains outils (par ex. recherche de vols, météo, etc.), mais générer simplement des sorties plus longues n’augmente pas indéfiniment la probabilité d’obtenir la bonne réponse
  • Il est peu probable que l’IA puisse produire des sorties utilement infinies sans intervention humaine

Pourquoi il faut éviter les débats AGI dans la recherche en IA

• Mesurer l’avancement des modèles de langage à l’aune d’une timeline de l’AGI est une mauvaise méthode
• La meilleure question serait : « Combien de temps l’IA peut-elle travailler efficacement sans intervention humaine ? »
• Comme le « miles par intervention humaine » pour la conduite autonome, une approche plus pratique pour les modèles de langage consiste à mesurer combien de temps ils peuvent produire des sorties correctes sans intervention humaine
• Plutôt que d’attendre une IA fonctionnant totalement sans intervention humaine (FAA, Fully Autonomous Agent), il est important de reconnaître le processus continu d’augmentation de la “quantité de travail utile fournie par l’IA”
• Même sans AGI complète, la valeur économique apportée par les technologies actuelles est déjà largement significative
• Par conséquent, il est plus souhaitable d’améliorer la productivité réelle de l’IA que de débattre du moment où l’AGI sera atteinte

[princox]

« L'IA ne pourra jamais fonctionner de manière indépendante pour toujours »

Je trouve ce passage marquant.

[GN⁺]

Avis Hacker News

• Satya Nadella a évoqué l’AGI

  • Plus important que les revenus de Microsoft, il faut modérer les attentes excessives autour de l’AGI
  • Le taux de croissance économique des pays développés n’est que de 2 %, et en tenant compte de l’inflation, il est presque nul
  • Il y aura des défis pour la croissance économique en 2025
  • Il faudrait atteindre une croissance comparable à celle de la révolution industrielle
  • Les gagnants seront les secteurs qui exploitent l’AGI, et non les entreprises technologiques elles-mêmes
  • Quand la productivité augmente et que l’économie croît rapidement, les secteurs industriels progressent eux aussi
  • Il ne sert à rien de s’auto-congratuler sur les performances de l’AGI ; le véritable critère, c’est une croissance de 10 % de l’économie mondiale

• Il est important de trouver des moyens de fournir du travail aux gens

  • Le glissement marketing d’AGI vers ASI est un piège
  • Malgré les critiques envers la gig economy, beaucoup de gens vivent mieux grâce à Uber ou DoorDash
  • Uber et DoorDash ont une utilité dans la vie quotidienne
  • On donne des pourboires aux livreurs pour qu’ils puissent gagner plus que le salaire minimum
  • Tout le monde ne peut pas devenir ingénieur logiciel en autodidacte ou entrepreneur
  • Il est important de fournir du travail aux gens

• Le scepticisme grandit autour du « raisonnement » des LLM

  • Les résultats de DeepSeek et Grok ont permis de voir les limites des LLM
  • Il arrive que les modèles s’engagent dans des trajectoires inefficaces ou erronées
  • Par exemple, Grok 3 a passé 10 minutes à vérifier de manière répétée le nom d’une carte spécifique
  • Les modèles peuvent tomber dans des comportements improductifs auto-renforcés

• Discussion autour des voitures autonomes

  • Tesla n’est toujours pas capable de conduite entièrement autonome, et Waymo ne le permet que dans certaines zones
  • Certains systèmes d’IA s’améliorent lorsqu’ils génèrent des sorties plus longues
  • Mais ce n’est pas la longueur des sorties qui rend un modèle meilleur
  • L’argument de LeCun souligne le problème d’accumulation des erreurs dans les modèles de langage

• Des attentes excessives autour de l’AGI et des robots humanoïdes

  • Il faut se concentrer sur les bénéfices économiques plutôt que sur l’AGI
  • L’objectif de l’AGI est de surpasser 99,99 % des humains

• Les attentes des gens vis-à-vis de l’AGI

  • Les gens veulent autre chose que l’AGI
  • Si l’AGI devient autonome, elle devient incontrôlable
  • Les gens veulent des experts techniquement brillants mais qui suivent les consignes

• Le succès des modèles de diffusion linguistique

  • Ils utilisent une stratégie de remasking pour résoudre le problème d’accumulation des erreurs
  • Ils réussissent à prédire plusieurs tokens simultanément

• La question de la valeur économique de l’IA

  • Lorsque l’IA augmente la productivité humaine, à qui cette valeur économique sera-t-elle transmise ?
  • Si l’emploi humain diminue, il faudra un plan pour la répartition de la valeur économique

• Comparaison entre l’IA et les rêves humains

  • La manière dont l’IA génère et développe des scénarios à partir d’un modèle du réel pourrait ressembler au rêve
  • On se demande s’il serait possible de « réveiller » un LLM en lui ajoutant des entrées en temps réel