Recherche en IA : une leçon encore plus amère

Les limites de Leela Chess Zero

• Leela Chess Zero est devenue championne du monde après des milliards d’itérations d’apprentissage par auto-jeu
• Mais elle a subi une défaite écrasante face à Stockfish
• Même en entraînant un réseau plus grand, elle n’a pas réussi à battre Stockfish
• Stockfish utilisait un modèle bien plus petit que Leela, mais l’a emporté grâce à de meilleures capacités de recherche

Réflexions supplémentaires sur la victoire de Stockfish

• Leela a perdu son titre de championne du monde parce qu’elle ne savait pas bien rechercher
• L’ajout de capacités de recherche aux LLM se rapproche, mais passe inaperçu
• Les modèles de fondation comme GPT-4 n’ont pas de capacité de recherche
• L’hypothèse dominante est qu’il faut des modèles plus grands pour permettre la recherche, mais il existe des contre-exemples
• Selon des recherches de DeepMind, un comportement de recherche émerge naturellement dans les algorithmes d’échecs
• Puisqu’il existe des algorithmes de recherche efficaces, il n’est pas nécessaire d’attendre qu’une recherche préalable inefficace émerge par hasard dans de grands modèles
• Les modèles actuels sont suffisamment grands pour rendre la recherche possible, et ils pourraient même être inutilement grands

La recherche permet d’allouer des ressources de calcul à un domaine cible

• Supposons qu’une entreprise pharmaceutique cherche à développer de nouveaux médicaments à l’aide de l’IA
• Dans un monde où la recherche en IA est possible, deux options existent
  1. attendre 2030 en espérant qu’OpenAI publie un modèle 10 000 fois plus grand
  2. utiliser dès aujourd’hui 10 000 fois plus de ressources de calcul d’inférence
• L’entreprise pharmaceutique préférera la deuxième option
• Grâce à la recherche, il devient possible d’exploiter dès maintenant des capacités de niveau ASI prévues pour 2030

Scénario de progrès de l’IA fondé sur la recherche

• On découvre que la recherche fonctionne sur les modèles existants
• Les gouvernements ou les grands laboratoires réalisent qu’ils peuvent immédiatement appliquer la recherche à la recherche en IA ou à la collecte d’informations à l’étranger
• Comme les ressources de calcul d’inférence sont limitées, les gouvernements ou grands laboratoires les réservent à la sécurité ou à la recherche en IA
• Un progrès de l’IA guidé par la recherche conduit à la découverte d’algorithmes de recherche et d’architectures de modèles plus efficaces
• La recherche n’exige pas davantage de données d’entraînement, ce qui résout le problème du « mur des données »
• L’explosion de l’intelligence commence dès l’année prochaine, et non en 2030

Possibilité d’appliquer la recherche à la recherche de l’IA elle-même

• Si l’IA progresse assez pour pouvoir se rechercher elle-même, on peut s’attendre à une dynamique de progrès brutale
• De la même manière qu’une entreprise pharmaceutique peut rechercher de nouveaux médicaments sans attendre GPT-8, les laboratoires d’IA pourront faire de la recherche en IA sans attendre des modèles plus grands
• Il faudra peut-être lever davantage de restrictions pour remplacer les chercheurs humains en IA
• Mais même un simple chatbot doté d’une intelligence de niveau GPT-8 devrait suffire à accélérer le progrès de l’IA

[GN⁺]

Avis Hacker News

Résumé des commentaires Hacker News

• L’efficacité de la recherche est étroitement liée à la qualité de la fonction de valeur : les fonctions de valeur actuelles sont très spécialisées pour certains domaines, et il existe peu de preuves qu’on puisse créer des fonctions de valeur capables de se généraliser à de nouveaux domaines.
• Les recherches de Yann LeCun : Yann LeCun étudie le rôle de la recherche dans la création d’une AGI et cherche à construire un modèle du monde robuste avec JEPA.
• Les limites des modèles de langage : on peut douter que les LLM actuels puissent simuler un modèle du monde suffisamment riche, et la vidéo est importante parce que les humains peuvent extraire des modèles du monde utiles à partir de séquences d’images.
• L’ambiguïté de l’article : le billet commence par une prémisse intéressante, mais il ne définit pas la recherche dans le contexte des LLM et n’explique pas l’affirmation selon laquelle « Pfizer pourrait utiliser aujourd’hui les capacités de GPT-8 ».
• La recherche des moteurs d’échecs : la recherche dans les moteurs d’échecs est possible grâce à une fonction objective, et l’on peut se demander si un tel indicateur existe pour les LLM.
• La nécessité de la recherche : la recherche sera presque certainement nécessaire, et il est important de trouver comment des clusters peu coûteux peuvent battre des clusters coûteux.
• La différence entre les échecs et d’autres jeux : aux échecs, il y a peu d’éléments d’élagage, ce qui permet une approche large, alors que les situations du monde réel en comportent bien davantage.
• La généralisation de la recherche : la recherche est une généralisation de « generate and test » et du rejet par échantillonnage, et sa vitesse dépend de la génération des candidats et du temps de test.
• Problème de site web : un site web précis perturbe les fonctions de base du navigateur, ce qui crée une gêne.
• L’arbre de jeu de Leela Chess Zero : Leela modélise une partie d’échecs comme un arbre de jeu et utilise des algorithmes de recherche.
• La possibilité de recherche des LLM : l’espace des possibilités dans lequel les LLM pourraient effectuer une recherche n’est pas clair.
• Les limites des LLM : comme les LLM ne peuvent ni préparer ni évaluer un cheesecake, il faut modérer les attentes concernant l’AGI.
• Le problème informationnel : le manque de généralisation et de modélisation interne du monde pose problème, comme le montre la quantité excessive de données nécessaire à l’entraînement des LLM.