Tenstorrent et l’état des lieux des startups du matériel IA

• Points forts de Tenstorrent
  • Développe des CPU hautes performances basés sur RISC-V et des cœurs IA, avec une approche originale dans le domaine du matériel IA
  • Rend l’ensemble de sa stack logicielle et de ses outils développeur open source, créant un écosystème favorable aux développeurs
  • Peut produire des chipsets IA différenciés en s’appuyant sur le procédé Samsung Foundry SF4X, compétitif sur les coûts
• Faiblesses et inquiétudes
  • La domination très forte de Nvidia sur le marché du matériel IA
  • Par rapport aux concurrents centrés sur le GPU, la faiblesse relative de Tenstorrent reste un problème de latence encore élevé
• Positionnement sur le marché
  • Tenstorrent apporte une valeur différenciante face à Nvidia, AMD et ARM grâce au potentiel de son matériel IA et de sa propriété intellectuelle RISC-V
  • Une stratégie focalisée sur l’inference augmente ses chances de réussite sur le marché

Aperçu technique de Tenstorrent

• Principales caractéristiques de Grendel (chipset IA de 3e génération)
  • Adoption d’une architecture chiplet : séparation entre cœurs CPU RISC-V hautes performances et cœurs IA
  • Conception en topologie mesh pour un déplacement efficace des données entre les cœurs
• Structure des cœurs
  • Grands cœurs RISC-V : capables d’exécuter Linux, destinés au traitement de code généraliste
  • Baby RISC-V cores : cœurs ultra-compacts utilisés pour le déplacement des données et l’exécution des kernels. 752 cœurs occupent moins de 1 % de la surface totale du die
  • Tensix cores : unités de calcul IA dédiées aux opérations vectorielles et matricielles. Chaque cœur Tensix voit l’exécution des kernels pilotée par 5 Baby RISC-V cores
• Compilateur
  • Utilise un compilateur modifié sur la base de GCC. L’utilisateur n’écrit qu’un seul kernel, que GCC prend ensuite automatiquement en charge

Les défis des startups du matériel IA

1. Concurrence sur le marché de l’entraînement (training)
   • Les GPU H100 de Nvidia dominent le marché
   • De grandes entreprises du cloud comme Amazon et Google collaborent avec des partenaires en conception de semi-conducteurs pour produire leurs propres puces
2. Opportunité sur le marché de l’inference
   • Il existe une possibilité de rivaliser avec Nvidia sur les coûts et les performances
   • Compétitivité-prix grâce au procédé de Samsung et à l’absence d’utilisation de HBM
3. Acquisition de clients
   • Le principal marché visé est celui du matériel centré sur l’inference pour les petites entreprises et les startups

Stratégie logicielle de Tenstorrent

• Sixième version de la stack logicielle
  • Offre une accessibilité adaptée à différents types de développeurs et d’utilisateurs, des modèles ML aux kernels bas niveau
  • Développe des kernels innovants en collaboration avec la communauté Discord
• Résolution des problèmes passés
  • Auparavant, il fallait reconstruire une nouvelle stack logicielle pour chaque matériel
  • Désormais, l’entreprise développe une stack logicielle unifiée qui fonctionne indépendamment du matériel

Discussion technique et conclusion

• Philosophie de Tenstorrent
  • « L’avenir de l’IA ne réside pas dans de pures opérations d’algèbre linéaire, mais dans des opérations mixtes »
  • Souligne la nécessité d’intégrer CPU et cœurs IA
• Vision de Jim Keller
  • Si les futures charges de travail IA exigent une intégration du CPU, alors Tenstorrent est le seul fournisseur prêt à y répondre
• Perspectives de marché
  • Le marché de l’entraînement de l’IA n’offre presque aucune opportunité aux startups en raison de la position monopolistique de Nvidia
  • Il existe un potentiel de réussite sur le marché de l’inference grâce à une approche innovante
  • Les performances de Blackhole de 2e génération et de Grendel de 3e génération constitueront à l’avenir des critères d’évaluation importants

Investissement et valorisation de l’entreprise

• Valorisation actuelle de Tenstorrent
  • Récemment valorisée à 2 milliards de dollars lors d’un tour de table de série D
  • Capte des opportunités liées à la hausse des prix d’ARM sur le marché de la propriété intellectuelle RISC-V
• Comparaison avec les concurrents
  • Par rapport à d’autres startups du matériel IA comme Cerebras, l’entreprise se distingue par sa qualité technologique et son adéquation au marché
  • Faiblesse concurrentielle face à Nvidia dans l’écosystème CUDA
• Stratégie à venir
  • Continuer à se concentrer sur le marché de l’inference pour maintenir sa compétitivité
  • Poursuivre une philosophie centrée sur l’écosystème développeur et l’open source

Conclusion

• Tenstorrent adopte une approche originale dans le matériel IA et la conception de CPU RISC-V, et apporte une différenciation importante sur un marché dominé par Nvidia et ARM
• Son potentiel de croissance sur le marché de l’inference est élevé, et l’entreprise est considérée comme l’une des startups IA les plus intéressantes en matière d’investissement.

[GN⁺]

Avis Hacker News

• J’exploite une activité de location de calcul haute performance et je veux démocratiser le calcul pour le rendre facilement accessible à tous. J’ai l’impression que la position dominante de Nvidia suscite peu d’intérêt pour les autres équipements. J’espère que l’intérêt et la demande pour ce type de service augmenteront.
  • Avec la hausse des prix de licence et des redevances par ARM, je pense que l’avenir des IP CPU RISC-V est prometteur. Il est inquiétant de voir de plus en plus d’entreprises rompre leurs contrats.
  • Il s’agit moins de matériel IA que d’une version miniaturisée du calcul haute performance traditionnel, ce qui sera utile pour divers travaux indépendamment de l’engouement pour l’IA.
  • Tenstorrent estime que l’avenir de l’IA réside dans les charges de travail mixtes. Des charges de travail CPU seront nécessaires, et jusqu’à présent il n’y a pas eu de grand changement.
  • Mention d’une possible fraude chez Groq, avec l’affirmation que Llama 3.1 405B pourrait remplacer des ingénieurs juniors.
  • J’avais presque oublié le conflit ARM-Qualcomm, et il va bientôt y avoir de grands changements.
  • J’aimerais qu’AMD et NVIDIA entrent plus agressivement sur les marchés des centres de données et du supercalcul. La situation actuelle me fait penser à un fandom d’équipes sportives.
  • Éloge de l’attitude ouverte de l’équipe de Tenstorrent dans les discussions, avec le souhait que davantage d’entreprises soient ainsi.
  • Il y a une inquiétude sur le fait que Llama puisse être utile aux ingénieurs seniors mais nuire à l’apprentissage des ingénieurs juniors. Il faut réfléchir à des moyens pour que les ingénieurs juniors puissent apprendre et comprendre efficacement.
  • Moquerie à l’égard de l’affirmation selon laquelle Llama 3.1 405B pourrait remplacer des ingénieurs juniors.