Project Digits de Nvidia, un « supercalculateur IA personnel »
(techcrunch.com)- Lors du CES 2025, Nvidia a présenté un matériel IA basé sur Grace Blackwell sous la forme d’un appareil compact pouvant tenir sur un bureau
- Project Digits est un supercalculateur IA personnel qui exécute localement la pile logicielle IA de Nvidia, visant une option intermédiaire entre le cloud et la station de travail
- Nvidia explique qu’un seul appareil, doté du GB10 Grace Blackwell Superchip, prend en charge jusqu’à 1 pétaflop de performances et l’exécution de modèles de 200 milliards de paramètres
- Le GB10 a été développé en collaboration avec MediaTek et comprend un GPU Blackwell, un CPU Grace à 20 cœurs, 128 Go de mémoire et jusqu’à 4 To de stockage flash
- Il devrait être commercialisé à partir de mai via de grands partenaires au prix de 3 000 dollars ; il offre donc un puissant environnement de développement IA local, mais pourrait rester limité en termes d’acheteurs particuliers
Grace Blackwell arrive sur le bureau
- Nvidia a dévoilé Project Digits lors du CES 2025 à Las Vegas
- Project Digits est un « supercalculateur IA personnel » qui propose la plateforme matérielle Grace Blackwell de l’entreprise dans un format compact
- Les principales cibles présentées sont les chercheurs en IA, les data scientists et les étudiants
- Le CEO Jensen Huang a expliqué que Project Digits exécute toute la pile IA de Nvidia et peut être utilisé comme une plateforme de cloud computing posée sur un bureau, ou comme une station de travail
Taille des modèles exécutables et configuration matérielle
-
GB10 Grace Blackwell Superchip
- Project Digits intègre le nouveau GB10 Grace Blackwell Superchip de Nvidia
- Il fournit jusqu’à 1 pétaflop de puissance de calcul pour le prototypage, le fine-tuning et l’exécution de modèles IA
- Nvidia explique qu’un seul appareil Project Digits peut exécuter des modèles allant jusqu’à 200 milliards de paramètres
-
Configuration des puces et de la mémoire
- Le GB10 a été développé en collaboration avec MediaTek
- Son architecture relie un GPU Nvidia Blackwell et un CPU Nvidia Grace à 20 cœurs
- Il intègre un pool de mémoire de 128 Go et jusqu’à 4 To de stockage flash
-
Extension et modes d’utilisation
- En reliant deux Project Digits, il est possible d’exécuter, selon les tâches, des modèles allant jusqu’à 405 milliards de paramètres
- Il peut être utilisé de manière autonome, ou connecté à un PC Windows ou Mac principal
- Le système d’exploitation est DGX OS de Nvidia, basé sur Linux
Calendrier de lancement et prix
- Project Digits devrait être commercialisé à partir de mai via de « grands partenaires » au prix de 3 000 dollars
- Huang a déclaré qu’apporter le Grace Blackwell Superchip à des millions de développeurs et placer un supercalculateur IA sur le bureau des data scientists, chercheurs en IA et étudiants élargit la participation à l’ère de l’IA
2 commentaires
Si les performances sont au rendez-vous comme annoncé et que la maintenance est bien assurée, ce serait vraiment bien.
Avis sur Hacker News
Quand je regarde le Jetson Nano qui traîne dans un coin, Nvidia l’a abandonné au bout de quatre ans et il ne sert plus, à la retraite, que de presse-papiers
Il était sorti comme ordinateur monocarte pour l’« IA », mais reposait déjà sur une base Ubuntu 18.04 personnalisée et obsolète ; quand le support de 18.04 a pris fin, Nvidia a complètement arrêté les mises à jour de son JetPack propriétaire et des pilotes
Résultat, les stacks de machine learning comme CUDA et Pytorch sont devenues inutilisables, et je n’achèterai plus d’ordinateur monocarte Nvidia tant que le support logiciel ne sera pas intégré à l’upstream du noyau Linux
La relation entre Nvidia et Linux a toujours été compliquée dans l’ensemble. Ils fournissent bien des pilotes, mais l’un des moyens les plus sûrs de casser une installation Linux au point de la rendre irrécupérable était d’installer ou de mettre à jour ces pilotes
On a l’impression qu’ils acceptent le strict minimum nécessaire pour pouvoir dire que « ça fonctionne », plutôt que de faire de Linux une plateforme prise en charge en priorité
Honnêtement, les ordinateurs monocartes Nvidia m’ont apporté plus de tracas que de bénéfices
Cela semble nettement mieux, mais comme le fork JetPack Linux possède un pilote
nvgpuséparé pour Tegra et qu’il n’a pas encore été extrait de cet arbre, la limite d’un noyau sans GPU reste importanteÀ moins de viser explicitement la robotique et l’inférence IA en edge, il existe de meilleures alternatives
Vu son nom, sa conception façon DGX et des logiciels comme DGX OS, cet appareil donne davantage l’impression d’être proche de Grace Hopper / des conceptions datacenter que de Tegra
Côté stations de travail/serveurs de ce genre, c’est de l’UEFI, et il est possible qu’on puisse utiliser un noyau Linux upstream et les pilotes Nvidia open source avec la distribution de son choix
Si c’est le cas, cela pourrait être une machine Linux ordinaire bien plus familière que la série Jetson, mais on ne sait pas encore si les GH200/GB200 nécessiteront eux aussi des correctifs personnalisés
Le temps le dira, mais si un bon GPU est associé à une bonne conception ARM Cortex et que l’ensemble se comporte davantage comme une machine Linux traditionnelle que la série Jetson, cela pourrait faire une excellente machine d’inférence IA locale
D’expérience, les fournisseurs ne gèrent pas les correctifs de sécurité aussi bien que l’upstream. Vu l’écosystème fermé de Nvidia, je n’attends pas grand-chose du support à long terme
Cela me paraît plus significatif que les GPU de la série 5x
Avec l’engouement autour de l’IA/LLM, même si un Mac mini M4 Max/Ultra sort, Nvidia pourrait grignoter une partie de la communauté des développeurs IA amateurs actuellement captée par Apple
Ces dernières années, Nvidia semble avoir tout fait correctement, au point que je me dis que j’aurais aimé détenir ses actions
Xeon Phi a échoué pour plusieurs raisons, mais la disponibilité de logiciels optimisés n’aurait pas dû faire partie des échecs
Aujourd’hui, il y a Xeon, EPYC et le MI300C avec de nombreux cœurs efficaces, mais si l’on avait utilisé pendant les dix dernières années des logiciels adaptés à ce matériel, le problème consistant à en tirer les performances serait déjà résolu
De même, pour Itanium, la première chose qu’Intel aurait dû garantir était un bon support Linux, et cela aurait pu être prêt avant même le premier silicium
Pendant un temps, le support d’Itanium a été bon, mais la plateforme est morte depuis longtemps
Sun a échoué de façon similaire avec SPARC. Après avoir abandonné les stations de travail, il n’y avait plus de parcours d’onboarding simple
Ils ont bien fait de maintenir la pertinence de leur système d’exploitation avec OpenSolaris et de tolérer de fait Solaris sur x86, afin que les gens puissent apprendre et se former
Il aurait été souhaitable qu’Oracle Cloud propose au moins SPARC sous forme d’instances cloud
IBM suit aujourd’hui la même voie. Il n’existe pas de machine POWER d’entrée de gamme raisonnable capable de rivaliser en performances avec une machine x86 de niveau workstation
Tout au plus trouve-t-on une petite machine demi-rack qu’on peut mettre dans un boîtier à côté de son bureau
Je n’ai presque jamais vu d’entreprises vouloir déployer de nouveaux systèmes avec AIX, IBMi ou Linux on POWER, parce qu’il est trop facile de construire sur les plateformes concurrentes
On peut obtenir des instances AIX, IBMi et IBM Z sur IBM Cloud, mais ce n’est pas simple, et je n’ai pas trouvé de tutoriel allant de « zéro » à SSH/5250/3270
Linux on Z est possible, mais il ne semble pas qu’IBM propose Linux on POWER, et seuls quelques laboratoires HPC offrent encore ce type de ressources
Beaucoup d’entreprises achèteront ces appareils pour du développement local, afin de réserver les coûteuses puces enterprise à des usages commerciaux
C’est un coup de génie. Le format, proche d’un Mac mini, est encore plus étonnant compte tenu des performances embarquées
Pouvoir acheter deux machines pour 6 000 dollars et faire tourner localement un modèle 400B+, c’est presque absurde
Imaginer faire tourner quelque chose comme ChatGPT sur un ordinateur de bureau était impensable il y a encore un an
Mais comme ils poussent beaucoup à l’amélioration de la stack technique, s’ils commencent à l’utiliser, l’écosystème NVIDIA s’ancrera encore plus profondément
Les Mac à mémoire unifiée sont une menace à laquelle il doit répondre immédiatement. À en juger par son attitude, Jensen est un CEO de temps de guerre, et il ne plaisante pas
Il n’est pas surprenant non plus qu’AMD soit absent du haut de gamme. Nvidia affronte Apple frontalement, tandis qu’AMD n’est pas une entreprise dont l’activité consiste à concurrencer Apple
Les gens veulent faire du fine-tuning sur leur temps libre, mais aussi générer des images pour adultes
Le diagramme de Venn des utilisateurs qui disent faire tourner chez eux des modèles de diffusion et des LLM ressemble presque à un cercle
Nvidia sort un superordinateur de bureau sous Linux avec un meilleur rapport prix/performances que tout ce qui existe côté Wintel, et sa nouvelle stack logicielle ne sera pas portée vers Win32 mais ne tournera que dans WSL2 : c’est surprenant
L’année du desktop Linux pourrait vraiment finir par arriver
Un Neoverse N2 à 20 cœurs ne semble pas particulièrement bien parti face à un Zen 5 à 16 cœurs
Côté GPU, ça a l’air prometteur, mais ils ne mentionnent pas la bande passante mémoire, la configuration, les spécifications détaillées ni les performances
On n’a vu que des informations floues comme « à partir de 3 000 dollars », jusqu’à 4 To de NVMe, jusqu’à 128 Go de RAM
Je pense que l’AMD Strix Halo, alias AI Max+ 395, sera lui aussi assez compétitif
Dans ce cas, j’ai l’impression que ce n’est que le prolongement de la tendance « Unix sur station de travail » qui dure depuis des décennies
Nvidia travaille étroitement avec Microsoft pour développer ses cartes, les fonctionnalités majeures arrivent d’abord dans DirectX puis dans Vulkan et OpenGL sous forme d’extensions Nvidia, avant de devenir des standards quand d’autres fournisseurs adoptent des extensions similaires
WSL2 n’est-il pas essentiellement une machine virtuelle ? Donc ça veut dire que ça tourne sous Linux, et qu’on peut aussi faire tourner Linux dans WSL2, non ?
Si ça ne fonctionne vraiment que dans WSL2, c’est une autre histoire
Je me réjouissais à l’idée que ce soit une station de travail Linux, mais si WSL2 intervient ou est requis d’une quelconque manière, il faut fuir immédiatement
J’ai été un peu surpris de voir beaucoup de commentaires comparer le coût à des solutions cloud bon marché
À mon avis, la proposition de valeur de Nvidia est complètement différente
Par exemple, dans l’UE, si une startup qui manipule des données personnelles ou des secrets d’entreprise veut les analyser avec un LLM, le simple fait que les données ne sortent pas du sous-sol peut valoir plus de 3 000 dollars, tant que les performances ne sont pas le goulet d’étranglement
Je ferais bien plus d’expériences idiotes avec des LLM sur du matériel qui m’appartient que si je payais au token
En pratique, je passe déjà beaucoup plus de temps avec des Llama locaux plus petits qu’avec Claude
Même sans travailler sur des sujets sensibles, j’hésite toujours à envoyer mes données à ce genre d’entreprises
Ce produit ne concurrence pas le cloud, mais le Mac mini et les GPU hautes performances, et sur ce marché, 3 000 dollars est un prix très attractif
Une entreprise tech peut avoir quelques appareils comme celui-ci en local, afin que les utilisateurs puissent interroger le LLM de l’entreprise avec des données sensibles
En ce moment, je développe, entraîne et utilise des modèles sur du matériel bricolé avec des composants restants après une mise à niveau de desktop ; j’en achèterai clairement un, et peut-être deux s’il fonctionne bien
Cela dit, la réglementation ou les intérêts métier peuvent aussi exiger de la redondance et une protection des données, et tout garder uniquement sur site peut ne pas satisfaire ces exigences
Il y a un marché qui n’est pas vraiment abordé ici : la bio-informatique
Illumina, l’acteur dominant de ce marché, fournit déjà une puce matérielle personnalisée pour serveurs appelée DRAGEN afin d’analyser rapidement des milliers de génomes
Avec la banalisation du séquençage du génome humain, le principal marché de ce produit est la médecine personnalisée
Des entreprises comme Oxford Nanopore utilisent des GPU embarqués pour le base calling, qui convertit les signaux électriques bruts produits par le séquenceur en A, T, G, C, mais les contraintes de taille et de consommation font que cela ne fonctionne pas aussi bien qu’espéré
Cet appareil pourrait changer la donne pour des acteurs comme ONT, surtout pour des tâches encore plus intéressantes comme le séquençage adaptatif
Dans d’autres domaines de la bio-informatique, par exemple la majorité des logiciels d’analyse courants, la dépendance au CPU et à la RAM reste forte
Illumina a racheté l’entreprise qui fabriquait cette puce pour 100 millions de dollars
Dans le cloud, analyser un génome sur du matériel généraliste coûte généralement moins de 10 dollars
Bien sûr, ce genre de puce peut rendre possibles des analyses actuellement impossibles ou bloquées par leur coût
Mais au moins aujourd’hui, le goulet d’étranglement en génomique n’est pas l’analyse, c’est le coût du séquençage, qui est actuellement d’environ 400 à 500 dollars par génome
Cela dit, je pense qu’il reste encore 1 à 3 ans avant que l’ASI ne décolle vraiment
Par curiosité, j’ai cherché, et cet appareil exécute quelque chose appelé DGX OS
Les principales fonctionnalités de DGX OS 6 sont : base Ubuntu 22.04, noyau Linux 5.15 récent en support long terme, mises à jour de paquets logiciels comme Python et GCC, noyau Linux optimisé par Nvidia prenant en charge GPU Direct Storage sans correctifs supplémentaires, accès à toutes les branches de pilotes GPU Nvidia et versions du CUDA Toolkit, Ubuntu OFED par défaut avec installation optionnelle de NVIDIA OFED pour des fonctionnalités supplémentaires, prise en charge de Secure Boot, prise en charge des DGX H100/H200
Ça me rappelle ce qui se passe quand on tente une mise à niveau avec un gros pilote Nvidia binaire installé
Ah, pardon, je voulais dire télémétrie
Nvidia a fait ce qu’Intel/AMD auraient dû faire pour menacer l’écosystème CUDA
Ils ont sorti un appareil/GPU d’inférence locale 128 Go « bon marché »
Bien joué, et les tentatives d’Intel/AMD dans l’IA semblent sombres pour la suite
Même avec une analyse SWOT basique de la position de Nvidia, il aurait fallu prendre en compte la possibilité qu’un concurrent sorte ce genre de produit
Que ce soit Apple, qui grignote déjà un peu les bords de ce domaine, ou AMD/Intel, qui auraient pu ou dû le faire
Rien ne garantit que les choses prendront forcément cette tournure, mais un avenir où des modèles de type LLM se retrouvent sur chaque bureau et dans chaque foyer paraît tout à fait plausible
Ce n’est pas un périphérique qu’on branche à un ordinateur pour exécuter des tâches spécialisées, mais un ordinateur complet qui exécute Linux
C’est une sorte d’ermite au fond du jardin. On en vient à imaginer un futur où tout le monde possède une version future de ce genre d’appareil, qui vit et apprend avec vous, et qui, contrairement à l’IA SaaS basée dans le cloud, peut être enseigné immédiatement, offrant un avantage qui sort de la moyenne
Malgré ses avantages, très peu de gens exploitent encore leur propre serveur Plex plutôt que de prendre un abonnement de streaming
Côté local aussi, si les progrès matériels continuent et si l’on découvre que de petits modèles gèrent assez bien diverses tâches, ce genre de station de travail locale hautes performances restera probablement au mieux un attrait de niche
Je me demande d’où elle vient
IBM Roadrunner a été le premier superordinateur à atteindre 1 pétaflop, c’est-à-dire mille billions d’opérations en virgule flottante par seconde, le 25 mai 2008
100 millions de dollars, 2,35 MW, 6000 ft²
À l’inverse, Project Digits est conçu pour les chercheurs en IA, les data scientists et les étudiants, et offre jusqu’à 1 pétaflop de performances pour le prototypage, le fine-tuning et l’exécution de modèles d’IA grâce au nouveau GB10 Grace Blackwell Superchip de Nvidia
3000 dollars, 1 kW, 0,5 ft²
Il y a donc au minimum un facteur 8 d’écart, et en pratique ce sera probablement bien plus
Je doute même fortement que Digits puisse atteindre 1/8 de pétaflop en FP32
Les autres différences semblent plausibles si l’on tient compte des 20 ans écoulés
On dirait le successeur du Nvidia Jetson AGX Orin 64GB Developer Kit : https://www.okdo.com/wp-content/uploads/2023/03/jetson-agx-o...
Je suis curieux de voir les spécifications détaillées en matière de bande passante mémoire et de puissance de calcul
Si c’est comme aujourd’hui, on ne recevra qu’une ou deux mises à jour majeures du noyau sur toute sa durée de vie, et il faudra faire un truc absurde comme installer une Ubuntu vieille de 6 ans sur un PC x86 pour exécuter l’utilitaire qui permet de flasher l’OS
S’il est célèbre dans la communauté tech, c’est à cause du syndrome de l’ordinateur monocarte
Les gens l’achètent enthousiasmés par ce qu’ils pensent pouvoir faire avec, puis, un an plus tard, 95 % finissent dans un tiroir parce que ce à quoi il excelle réellement ne correspond pas à la raison de l’achat
Ce produit semble plutôt être, comme le dit l’article, un descendant de la variante HPC
Il semble pensé comme une véritable machine d’entrée utile pour les personnes qui veulent exécuter ou effectuer des tâches d’IA courantes mieux que sur un PC quelconque
Cela dit, Nvidia n’est pas une entreprise qui baisse facilement ses prix, donc il doit bien y avoir une subtilité quelque part