Aperçu du projet Dojo de Tesla
(perspectives.mvdirona.com)<p>Article de James Hamilton, VP chez AWS<br />
- Le système de machine learning Dojo est intéressant sous trois aspects <br />
1. Un réseau à grande échelle <br />
→ Chaque puce D1 fournit 16�0 Gbps de connectivité (4 canaux de 4 Tbps) et est combinée en MCM à 25 puces (Multi-Chip Modules), pour offrir une bande passante de 36�0 Gbps (4x 9 Tb)<br />
2. Un ratio mémoire/calcul extrêmement faible <br />
→ Chaque puce D1 comprend 354 unités fonctionnelles, chacune ne disposant que de 1,25 méga de SRAM et d'aucune DRAM ; une puce D1 dispose donc de moins d'un demi-giga de mémoire (442,5 Mb)<br />
→ Un grand pool de DRAM est placé à l'extrémité d'un ensemble de 5 racks, et les racks de calcul eux-mêmes n'ont pas de DRAM<br />
→ Si l'on se demande comment cela peut fonctionner avec aussi peu de mémoire, c'est probablement grâce à la combinaison d'une énorme bande passante réseau et d'un système conçu pour exécuter des modèles de vision qui utilisent bien moins de mémoire que les tâches classiques d'entraînement ML<br />
3. Une densité de puissance impressionnante <br />
→ Chaque puce D1 ne consomme que 400 W ; c'est conforme aux estimations les plus récentes pour cette taille, mais le fait de les regrouper dans un MCM très dense de 25 puces permet de limiter la consommation à 15 kW (10 kW pour les D1 et 5 kW pour les régulateurs de tension)<br />
→ Cela signifie qu'un système d'entraînement Dojo de 10 racks entièrement rempli atteint 1,8 mégawatt <br />
→ À titre de comparaison, un data center de taille moyenne fonctionnerait dans une plage de 30 à 40 mégawatts<br />
<br />
- Détail mineur, mais placer le VRD (Voltage Regulator Down) directement sur la tuile semble être une bonne tentative pour fournir une alimentation inhabituellement élevée de 52 V. Même en tenant compte d'une consommation de 15 kW, cela représente encore 288 A à 52 V<br />
- 354 unités fonctionnelles sont intégrées dans une puce D1 de 645 mm^2. 25 puces D1 forment un module multi-puce appelé training tile, 12 training tiles composent un rack, et 10 racks remplissent un Exapod.<br />
- « Un système remarquablement innovant »</p>
1 commentaires