De la course à la conduite autonome à une plateforme éducative en IA : interview d’Andrej Karpathy, ex-Tesla et ex-OpenAI

État actuel de la technologie de conduite autonome

• Waymo et Tesla se disputent la tête
• Waymo exploite actuellement un service commercial à San Francisco
• Le problème que Tesla cherche à résoudre est de nature logicielle, tandis que celui que Waymo cherche à résoudre est de nature matérielle
• Les problèmes logiciels sont bien plus faciles à résoudre, et Tesla n’est déjà pas comparable à Waymo en termes d’échelle
• Karpathy prévoit que Tesla prendra l’avantage dans les 10 prochaines années

Orientation de l’évolution des modèles d’IA

• Les modèles Transformer sont au cœur de la recherche en IA
• Les données trouvables sur Internet ont déjà toutes été apprises, l’accent est donc désormais mis sur l’optimisation des jeux de données et de la fonction de perte
• Les données trouvables sur Internet sont en réalité le résultat de la pensée humaine ; les données qui manquent aujourd’hui concernent les processus de réflexion en plusieurs étapes qui se produisent dans l’esprit humain
• On s’attend à ce que la génération de données synthétiques, recréant à rebours les processus de raisonnement avec des modèles Transformer, devienne importante
• Il deviendra possible de créer des modèles d’IA puissants avec moins de 100 millions de paramètres (GPT-4 est estimé à 1,8 billion de paramètres)

Fusion entre l’IA et l’humain

• Il est possible d’utiliser l’IA comme un néocortex externe
• À long terme, la frontière entre l’IA et l’humain deviendra floue
• Une évolution est attendue sous la forme d’assistants ou d’outils d’IA personnalisés

Plateforme éducative en IA (Eureka Labs)

• Plateforme éducative basée sur l’IA que Karpathy est en train de développer
• Objectif : offrir une expérience d’apprentissage personnalisée grâce à l’IA
• Lancement prévu début 2024, avec comme premier cours LLM101n (https://github.com/karpathy/LLM101n)
• Accent mis sur l’enseignement technique de niveau universitaire