L’ancien directeur de l’IA d’OpenAI et de Tesla, Andrej Karpathy, a récemment donné, sur le podcast de Dwarkesh Patel, un diagnostic sans complaisance sur l’avenir des agents IA et l’échéancier de l’AGI. Alors que l’industrie crie à « l’année des agents », il explique pourquoi cela devrait être la « décennie des agents » et révèle franchement quel est le problème fondamental du renforcement actuel.
Points clés :
- « Pomper la supervision à la paille » : la faiblesse fatale du RL – La méthode actuelle de RL, qui évalue tout le processus sur la base d’un seul signal de récompense juste après des centaines de tentatives, est fondamentalement inefficace et très bruitée.
- Capacité réelle d’IA en codage : ce que le projet nanochat a montré – Dans la construction d’un clone de ChatGPT de 8 000 lignes, l’agent IA s’est montré gravement faible pour écrire du code original ; l’autocomplétion était déjà le meilleur qu’il puisse faire.
- Le dilemme de l’effondrement des modèles : le piège caché des données synthétiques – Chaque échantillon généré par un LLM appartient à une distribution « effondrée » de manière silencieuse, et c’est pour cela que demander une blague à ChatGPT ne produit qu’environ trois réponses en boucle.
Aucun commentaire pour le moment.