Karpathy : nanochat ajusté automatiquement pendant 2 jours avec Autoresearch, temps d’entraînement de GPT-2 réduit de 11 %

• L’agent Autoresearch, dévoilé il y a 3 jours, a tenté de manière autonome environ 700 modifications pendant près de 2 jours sur un modèle depth=12, et a découvert environ 20 changements valides améliorant la validation loss
• Les changements découverts sont tous additifs (additive) et se transfèrent tels quels à un modèle plus grand depth=24, ce qui réduit le "Time to GPT-2" du leaderboard de 2,02 heures à 1,80 heure, soit environ 11 % de moins
• Jusqu’ici, le processus de tuning manuel itératif — génération d’idées → implémentation → vérification de la validation loss → consultation d’articles, etc. — était pratiqué depuis 20 ans
• Cette fois, l’agent a exécuté de bout en bout tout le workflow consistant à analyser la séquence des résultats expérimentaux puis, sur cette base, à planifier de façon autonome l’expérience suivante
• Les résultats du "round 1" ont déjà été commités, et le lancement du "round 2" est prévu ; une approche de collaboration entre plusieurs agents est également étudiée en parallèle pour le traitement parallèle (AgentHub)
• Ce n’est pas encore au niveau d’une recherche révolutionnaire (ground-breaking research), mais l’accumulation d’améliorations réelles manquées par le tuning manuel a permis d’obtenir un gain de performance concret
• À grande échelle, c’est bien plus complexe que d’ajuster un simple train.py, mais comme il s’agit fondamentalement d’un problème d’ingénierie, cela reste solvable
• Avec un agent swarm, l’idée est de commencer par ajuster de petits modèles puis de faire progressivement monter les idées prometteuses en échelle ; une direction que tous les labs de pointe sur les LLM finiront par adopter
• Toute métrique pouvant être évaluée efficacement (ou disposant d’une métrique proxy) peut devenir une cible de cette optimisation automatique

[hanje3765]

J’ai brièvement parcouru les concepts d’Autoresearch et d’AgentHub,
et je me suis dit qu’en combinant les deux, on obtenait peut-être ce que sont vraiment le monde académique et les instituts de recherche.
Les instituts publient leurs résultats dans des conférences, intègrent les retours, puis de nouveaux laboratoires poursuivent les recherches ; cela m’a semblé ressembler à une forme élargie d’apprentissage par renforcement.
Le RL est difficile à expliquer, mais j’ai trouvé vraiment révolutionnaire l’idée que, si on étend cette approche, tout pourrait devenir explicable.
On dit que Karpathy a contribué à la conception du FSD de Tesla, donc je me demande s’il n’a pas transposé dans la recherche des concepts qui en découlent.
Quoi qu’il en soit, c’est clairement l’une des personnes que j’ai envie de continuer à suivre.

[sea715]

Oui, c’est pourquoi je me dis que, d’une certaine manière, cela pourrait bien être le dernier obstacle avant l’arrivée de l’AGI.

[xguru]

On dirait qu’il vit vraiment une vie à part, haha.