Impressions sur le Tesla AI Day
(facebook.com)<p>1. En IA, les années 2010 et les années 2020 se distinguent clairement. Avec l’usage des GPU, une nouvelle ère de l’IA s’est ouverte<br />
2. Même si le deep learning paraissait prometteur, on n’avait pas vraiment de moyen de l’entraîner ; puis on a attrapé des poissons rouges (= GPU) pour les faire apprendre, et là, quelque chose a commencé à marcher. Mais un poisson rouge reste un poisson rouge<br />
3. Puisqu’il n’y a pas de solution avec des poissons rouges peu intelligents, rendons-les plus intelligents. C’est là qu’OpenAI entre en scène<br />
→ Si un poisson rouge peu intelligent ne suffit pas, on en attrape dix mille et on relie leurs têtes pour en faire une tête de dauphin de cette taille<br />
→ Et le résultat, c’est que ça apprend incroyablement bien. Comme la tête est devenue plus intelligente, même si on parle de façon brouillonne, ça comprend parfaitement <br />
→ Avec une seule méthode d’apprentissage appelée Transformer, tout le monde a été mis d’accord<br />
4. Le problème, c’est qu’assembler toutes ces têtes de poissons rouges n’est pas simple. Même Nvidia n’a pas encore complètement résolu la question<br />
5. À l’heure actuelle, le cœur de la compétitivité en IA, ce n’est pas le modèle<br />
→ L’argent nécessaire pour acheter dix mille poissons rouges (un A100 récent coûte 10 000 dollars ; avec dix mille cartes, cela fait déjà 100 milliards de wons rien qu’en GPU)<br />
→ La technologie pour gérer ces têtes de poissons rouges assemblées comme une seule tête de dauphin <br />
→ Les données dont ces dix mille poissons rouges ont besoin pour s’entraîner<br />
6. Au final, l’époque où chaque entreprise d’IA ramassait quelques poissons rouges à la volée pour bricoler une méthode d’apprentissage est terminée<br />
→ Jusqu’ici, le seul à pouvoir tout faire — créer une nouvelle tête de poisson, la connecter et la faire fonctionner comme un dauphin — c’était Google<br />
7. C’est précisément ce que Tesla a montré aujourd’hui<br />
→ Les poissons rouges de Nvidia ne sont pas formidables, alors nous avons créé un nouveau poisson noir<br />
→ Nous lui avons aussi mis beaucoup de trous pour faciliter les connexions, et nous avons bien affiné sa tête <br />
→ Et maintenant, avec ça, on peut même piloter des robots !<br />
<br />
C’est un texte explicatif amusant, donc allez vraiment voir l’original</p>
5 commentaires