Tenstorrent, dirigée par Jim Keller, dévoile Grayskull, une puce basée sur RISC-V pour rivaliser avec les GPU

• Tenstorrent est une entreprise dirigée par Jim Keller, célèbre concepteur de puces à l’origine de l’architecture Zen d’AMD et des puces de conduite autonome de Tesla
• Elle lance Grayskull, une alternative aux GPU basée sur RISC-V, facile à programmer et à faire évoluer, et particulièrement performante pour gérer la sparsité et le calcul conditionnel à l’exécution
• Deux versions de kits de développement sont proposées, Grayskull e75 et Grayskull e150. Il s’agit de matériel dédié à l’inférence pour le développement IA, accompagné des logiciels TT-Buda et TT-Metalium
• Tenstorrent a conclu un partenariat avec le Leading-edge Semiconductor Technology Center (LSTC) du Japon
• L’objectif est de construire un accélérateur IA 2 nm de pointe à l’aide des IP RISC-V et chiplet de Tenstorrent

La puissance de Grayskull !

• Le modèle Grayskull e75 embarque un seul processeur Grayskull sur une carte PCIe Gen 4 low-profile et demi-longueur fonctionnant à 75 W
• Le modèle Grayskull e150 embarque un processeur Grayskull sur une carte PCIe Gen 4 à hauteur standard et trois quarts de longueur, pouvant fonctionner jusqu’à 200 W, avec un bon équilibre entre consommation et débit de traitement

Processeurs et DevKits Tenstorrent

• Les processeurs Tenstorrent sont constitués d’une grille de cœurs appelée Tensix, et intègrent du matériel réseau permettant une communication directe entre eux sans passer par la DRAM
• Les DevKits Grayskull prennent en charge divers modèles, dont BERT pour le traitement du langage naturel, ResNet pour la reconnaissance d’images, Whisper pour la reconnaissance vocale et la traduction, YOLOv5 pour la détection d’objets en temps réel, et U-Net pour la segmentation d’images
• Les DevKits Grayskull e75 et e150 sont disponibles respectivement à 599 $ et 799 $

L’avis de GN⁺

• En tant qu’alternative aux GPU traditionnels basée sur RISC-V, Grayskull pourrait apporter davantage de diversité au secteur en offrant une nouvelle option aux développeurs IA
• Sa spécialisation dans la gestion de la sparsité et du calcul conditionnel à l’exécution lui donne un potentiel d’amélioration de l’efficacité et des performances des modèles IA
• Avant d’adopter cette technologie, il faut toutefois prendre en compte la compatibilité avec les environnements de développement existants, le support de l’écosystème, ainsi que les performances et le coût total sur le long terme
• Parmi les produits concurrents offrant des fonctions similaires, on trouve les GPU de NVIDIA et les TPU de Google, mais Grayskull se distingue par son architecture RISC-V
• Le succès de Grayskull pourrait stimuler la croissance et l’innovation de l’écosystème matériel open source, contribuant ainsi à une meilleure démocratisation et accessibilité des technologies

[ryudaewan]

On dirait que Jim Keller est fan de Musclor. https://youtu.be/V8h8snfYidg?feature=shared

[GN⁺]

Avis Hacker News

• Résumé du kit de développement Grayskull :

  • Grayskull e75 : consommation de 75 W, 96 cœurs Tensix, fréquence d’horloge de 1 GHz, 96 MB de SRAM, 8 GB de mémoire LPDDR4 (102.4 GB/s), prix de 599 $
  • Grayskull e150 : consommation de 200 W, 120 cœurs Tensix, fréquence d’horloge de 1.2 GHz, 120 MB de SRAM, 8 GB de mémoire LPDDR4 (118.4 GB/s), prix de 799 $
  • Certains s’interrogent sur les performances en inférence de ces produits par rapport aux cartes graphiques, et sur leur pertinence pour un home lab.
  • Il existe une interview de déballage d’une version preview du produit, mais sans chiffres de performance.

• Avis sur l’architecture :

  • La participation de Jim Keller attire l’attention, mais pour ceux qui n’ont pas de connaissances en conception de CPU/ASIC, l’architecture semble quelque peu « étrange ».
  • Les grilles de cœurs, la mémoire et les interfaces paraissent mélangées, et une explication de la topologie interconnectée est demandée.

• Explication du fonctionnement de l’architecture :

  • Le système de base est composé de cœurs Tensix et de mémoire partagée.
  • Chaque cœur Tensix comprend une unité mathématique tensorielle dense (FPU) pour les opérations sur tenseurs, un moteur SIMD (SFPU), 5 cœurs CPU Risc-V et un grand stockage mémoire local.
  • Les cœurs sont reliés en deux anneaux tournant dans des directions opposées.
  • Les cœurs RISC-V servent à piloter le FPU et le SFPU, ainsi qu’à préparer et déplacer les données.
  • Le SFPU est un moteur SIMT plus généraliste, pouvant être piloté depuis les cœurs RISC-V.
  • Il est possible d’essayer le simulateur SFPU sur GitHub, et le modèle de programmation peut être consulté dans les exemples de kernels bas niveau.
  • Le SFPU de Grayskull dispose de 4 LRegs génériques capables de stocker 64 valeurs de 19 bits, tandis que Wormhole possède 8 LRegs génériques capables de stocker 32 valeurs de 32 bits.
  • Le SFPU de Wormhole offre environ 3 fois plus d’IPC que celui de Grayskull, ainsi que quelques nouvelles instructions SFPU.
  • On peut trouver plus d’informations en consultant la documentation et les dépôts GitHub.

• Interrogations sur le choix des modèles :

  • Des questions sont posées sur les raisons de commencer avec des modèles comme BERT, ResNet, Whisper, YOLOv5 et U-Net.
  • L’hypothèse est que l’objectif vise l’efficacité énergétique, sans que cela corresponde totalement.

• Questions sur les exigences système :

  • Certains s’interrogent sur la raison pour laquelle le système hôte requiert 64 GB de RAM.
  • Un serveur d’inférence ne devrait-il pas être minimal en dehors du matériel d’inférence lui-même ?

• Comparaison avec le silicium personnalisé d’autres entreprises :

  • Des interrogations portent sur la manière de comparer ce type de processeur avec le silicium personnalisé d’AWS, Google et Tesla.

• Similarité de l’architecture :

  • Cela rappelle la façon dont le GPU Intel projet Larrabee essayait de fonctionner, mais avec du RISC-V.

• Déception face aux solutions uniquement dédiées à l’inférence :

  • Certains disent en avoir assez de voir des startups prometteuses comme Groq et Tenstorrent proposer uniquement des solutions d’inférence.
  • D’après le canal officiel de Groq, l’entreprise ne prévoit pas d’investir dans des développements permettant l’entraînement.
  • C’est compréhensible si la demande en inférence est des millions de fois supérieure à celle de l’entraînement, mais cela reste décevant.

• Nombre de cœurs RISC-V dans le Grayskull™ e150 :

  • Le Grayskull™ e150 possède 120 cœurs Tensix, chacun intégrant 5 cœurs RISC-V, soit un total de 600 cœurs CPU RISC-V.

• Manque d’informations sur les performances et l’architecture :

  • Il est difficile de trouver des informations détaillées sur les performances ou l’architecture.
  • La bande passante mémoire semble très faible et le prix très élevé pour un appareil centré sur le ML.
  • Certains se demandent ce qu’ils passent à côté.