- Pour réduire la charge liée à la mise en place d’un environnement de développement IA local, Ryzen AI Halo regroupe ROCm, les pilotes, les modèles et les outils de développement dans un mini-PC Ryzen AI Max+ 395
- La configuration unique comprend un CPU Zen 5 16 cœurs/32 threads, un GPU intégré Radeon 8060S, un NPU XDNA 2, 128 Go de mémoire unifiée LPDDR5x-8000, un SSD de 2 To, au prix de 3 999,99 $ US
- Dans llama-bench, l’Apple Silicon Mac Studio devançait la machine Ryzen AI Max+ 395 et, en particulier pour la génération de tokens, affichait des performances 2 à 3 fois supérieures sur Gemma 4 en raison de l’écart de bande passante mémoire
- Le facteur différenciant de Halo n’est pas le nouveau processeur, mais le fait de fournir un point de départ à la compatibilité maîtrisée, avec AMD Ryzen AI Developer Center, les Best Known Configurations et AMD AI Playbooks
- Avec AMD Lemonade et FastFlowLM, gpt-oss-20b-FLM a été exécuté sur le NPU XDNA 2, avec une génération jusqu’à 20 tokens/s et 35 W au maximum, quasiment sans utilisation CPU/GPU
Mini-kit de développement IA basé sur Ryzen AI Max+ 395
- AMD Ryzen AI Halo est un petit PC construit autour du processeur AMD Ryzen AI Max+ 395 basé sur Zen 5, conçu pour faciliter les premiers pas dans le développement IA avec ROCm ou du matériel AMD
- Le processeur est configuré en 16 cœurs/32 threads, et la plupart des tâches IA sont prises en charge par le GPU intégré Radeon 8060S
- Le NPU, qui avait peu de cas d’usage auparavant, a aussi pu être réellement utilisé sur cet appareil
- Il est vendu dans une configuration matérielle unique, avec les principales caractéristiques suivantes
- SSD M.2 de 2 To amovible
- 128 Go de LPDDR5x-8000 en mémoire unifiée
- 256 Go/s de bande passante mémoire
- Les 2 To de stockage suffisent pour accumuler des modèles locaux, et les 128 Go de mémoire laissent assez d’espace au système après le chargement de quelques modèles de taille raisonnable
- Le prix de vente est de 3 999,99 $ US, avec une configuration unique disponible avec Windows 11 Pro ou Linux préinstallé
- L’utilisateur peut installer l’OS de son choix après réception, mais il semble qu’AMD ne fournisse pas séparément les images Linux/Windows d’usine ni les pilotes, programmes et modèles packagés
- Le produit testé est la version Linux, qui exécute une distribution Linux AMD personnalisée basée sur Debian 13.4
Petit châssis et extensibilité
- Contrairement aux visuels marketing, Halo est un boîtier très compact : son emprise au sol est d’environ 15 cm de côté, pour moins de 5 cm de hauteur
- Il pèse 1,2 kg, mais pour le transporter il faut aussi tenir compte de l’adaptateur secteur 240 W, indispensable
- Le bouton d’alimentation et tous les ports sont placés à l’arrière
- 4 ports USB 3.2 Type-C
- 1 port HDMI 2.1
- 1 port Ethernet 10GbE
- Wi-Fi 7 et Bluetooth 5.4
- Le port USB-C le plus proche du bouton d’alimentation est réservé à l’entrée USB-C Power Delivery
- Il n’y a pas de structure d’empilement évidente, mais les pieds d’angle et les entrées d’air sur toutes les faces laissent la possibilité d’en empiler plusieurs, par exemple pour utiliser Windows et Linux séparément ou constituer un cluster
- Le refroidissement repose sur deux ventilateurs centrifuges qui aspirent l’air par le dessus et les côtés, le font passer dans le radiateur, puis l’expulsent à l’arrière
- En usage courant, l’appareil est silencieux, mais la vitesse des ventilateurs peut augmenter lorsqu’il faut gérer le TDP de 120 W du processeur interne
- L’anneau lumineux blanc sous le boîtier clignote en bleu en veille, et l’éclairage peut être désactivé
Démontage et configuration interne
- La structure compacte de mini-PC limite les éléments directement visibles à l’intérieur, mais il suffit de retirer quatre vis sous le support magnétique amovible pour ouvrir le capot inférieur
- Le SSD M.2 2280 est facilement accessible sans démontage supplémentaire
- Pour retirer la coque supérieure et exposer le cœur de calcul, il faut débrancher quelques connecteurs supplémentaires
- Le cœur lui-même peut être extrait, mais l’utilisateur n’a pas grand-chose de plus à modifier
- La plaque métallique visible lors de la première ouverture du boîtier inférieur peut être retirée avec quatre vis, mais elle n’a pas été enlevée afin de ne pas toucher aux matériaux thermoconducteurs
Performances LLM vues avec llama-bench
- Le Ryzen AI Max+ 395, nom de code Strix Halo, est déjà disponible depuis le printemps 2025, donc Halo ne met pas en avant de nouvelles performances sur ce point
- Parmi les autres machines utilisant le même processeur figurent Framework Desktop, Beelink GTR9 Pro, X+ Rival et ACEMAGIC M1A PRO
- Les tests de performances servent à vérifier que les performances attendues sont bien au rendez-vous avant d’examiner la configuration logicielle, qui est au cœur du produit
- Les tests se sont principalement appuyés sur llama-bench, inclus dans llama.cpp
- llama.cpp est un moteur d’inférence open source qui charge et exécute de grands modèles de langage au format GGUF
- llama-bench mesure le traitement du prompt (prompt processing, pre-fill) et la génération de tokens (token generation, decoding)
- Les performances LLM en tokens/s sont sensibles aux différences de compatibilité et à la variabilité ; les résultats doivent donc être examinés avec plusieurs sources
Résultats de base avec llama-bench
- Le test de base utilise la configuration pp512/tg128, simulant un utilisateur qui saisit 512 tokens et un modèle qui en génère 128
- Les modèles utilisés sont trois modèles récents de 17 à 32 Go ayant suscité de l’intérêt
- Qwen 3.6 35B A3B(Q4_K_M)
- Gemma 4 31B IT(IQ4_XS)
- GLM 4.7 Flash(Q8_0)
- Les appareils de comparaison étaient les suivants
- AMD Ryzen AI Halo : AI Max+ 395, 128 Go
- Framework Desktop : AI Max+ 395, 128 Go
- M2 Ultra Mac Studio : GPU 76 cœurs, 128 Go de mémoire unifiée
- M3 Ultra Mac Studio : GPU 80 cœurs, 512 Go de mémoire unifiée
- Sur Halo et Framework Desktop, les runtimes ROCm/HIP et Vulkan ont tous deux été utilisés
- L’Apple Silicon Mac Studio a offert de meilleures performances que les machines AMD Ryzen AI Max+ 395, avec un écart principalement lié aux quelque 800 Go/s de bande passante mémoire du Mac contre 256 Go/s pour le Max+ 395
- La phase de traitement du prompt est généralement fortement contrainte par le calcul et, sur Gemma 4, un modèle dense, l’écart entre Apple Silicon et Max+ 395 est apparu plus faible que ce que la seule bande passante mémoire laisserait attendre
- Le traitement du prompt sur des modèles sparse Mixture of Experts comme Qwen 3.6 35B A3B et GLM 4.7 Flash dépend moins du calcul, ce qui rend l’avantage de bande passante mémoire du Mac plus visible
- La génération de tokens est en général bien plus limitée par la bande passante mémoire, et sur Gemma 4 les machines Apple Silicon affichent des performances en tokens/s 2 à 3 fois supérieures
- Sur Ryzen AI Max+ 395, il n’y avait pas de vainqueur clair entre Vulkan et ROCm/HIP
- Le backend le plus rapide dépend de la compatibilité, de la structure du modèle, de la taille du contexte, du matériel et des optimisations logicielles
- Les deux backends continuent d’être mis à jour
- Les tests ont été réalisés avec Flash Attention activé, mais ce réglage ne garantit pas toujours les meilleures performances ; mieux vaut donc tester directement sur chaque système
Augmentation du contexte et simulation d’usages agentiques
- Avec la progression des usages agentiques des LLM, des tests llama-bench supplémentaires ont été ajoutés afin d’observer la dégradation des performances lorsque la taille du contexte augmente
- Le test simule de manière simplifiée une situation où un agent reçoit une instruction, appelle des outils ou fournit une réponse
- Les principaux paramètres sont les suivants
-p,-n: définissent le nombre de tokens à utiliser pour le traitement du prompt et la génération de tokens-b,-ub: définissent la taille de batch et de microbatch-fa: active ou désactive Flash Attention-ngl: définit le nombre de couches du modèle à décharger sur le GPU-r: définit le nombre de répétitions-d: définit le nombre de tokens déjà présents dans le contexte
- Pour réduire l’accumulation thermique lors d’exécutions successives, les tests ont été lancés avec un script maison ajoutant boucles et délais
- Les trois modèles ont montré une baisse de performances marquée à mesure que la taille du contexte augmentait
- Gemma 4 n’a pas terminé en moins de 30 minutes avec le backend Vulkan et un contexte de 65 536 tokens
Énergie et températures
- Halo ayant un châssis très compact, le test visait à vérifier s’il pouvait maintenir le TDP maximal de 120 W du package Ryzen AI Max+ 395, avec un boost jusqu’à 140 W
- Le Framework Desktop, qui utilise aussi le même Ryzen AI Max+ 395, a également été testé comme point de comparaison
- Le test a consisté à exécuter 20 passes de prefill llama-bench tout en mesurant la consommation murale avec un Quarch QTL2843
- Les deux appareils étaient en mode « Performance », et Halo ne permet pas de réglage utilisateur de la puissance ou du refroidissement
- L’AI Max+ 395 du Framework Desktop a maintenu la ligne de base de 120 W tout au long du test, avec des pics assez fréquents jusqu’à 130 W
- Halo a maintenu environ 140 W pendant 5 minutes après le début du test, puis est redescendu au TDP de 120 W pour le reste de l’essai
- La conception à ventilateurs centrifuges de Halo et les entrées d’air sur toutes les faces ont gardé l’extérieur relativement frais même à l’équilibre thermique, mais le dessous est monté à environ 50 °C
- Les ventilateurs tournent vite lorsqu’ils évacuent la chaleur, mais le son tient davantage du « woosh » que d’un bruit strident
La valeur produit créée par le logiciel
- Des mini-PC basés sur Ryzen AI Max+ 395 étant disponibles chez plusieurs fabricants, la valeur distinctive de Halo tient davantage à AMD Ryzen AI Developer Center, aux configurations sélectionnées et à la promesse de support 1st-party qu’à un nouveau matériel
- Comme NVIDIA DGX Spark, Halo est conçu pour réduire le temps que les développeurs devant tester sur du matériel AMD ou NVIDIA spécifique passent à configurer leur environnement
- Contrairement à DGX Spark, Halo existe en versions Linux et Windows
- La version Linux démarre sur AMD Ryzen AI Developer Center, qui permet d’installer et mettre à jour les logiciels, d’accéder à la documentation et de contrôler le système
- Selon AMD, Halo n’est pas verrouillé et l’utilisateur peut installer l’OS de son choix
- Toutefois, il semble qu’AMD ne fournisse pas d’images permettant de basculer entre les configurations Windows/Linux d’usine
Best Known Configurations et Playbooks
- AI Halo et Developer Center donnent accès aux Best Known Configurations(BKC) d’AMD
- Les BKC sont des configurations système qu’AMD a validées comme compatibles entre les logiciels, packages et pilotes inclus
- Cette configuration réduit la charge consistant à résoudre d’abord les problèmes de dépendances lorsqu’on exécute un playbook ou qu’on commence un apprentissage
- Sur un système AI Max+ classique, l’AMD AI Playbook fournit des instructions en ligne de commande pour l’allocation mémoire, mais sur AI Halo cela est simplifié via un curseur ou un menu déroulant selon Linux ou Windows
- Halo n’empêche pas les réglages manuels ni les configurations complexes et, même s’il existe un risque d’abstraction excessive de l’implémentation et des détails matériels, il fournit un point de départ avant d’aller plus loin
- AMD AI Playbooks est un ensemble de tutoriels simples permettant d’explorer des workloads IA sur du matériel AMD
- Les Playbooks se concentrent sur AI Halo, mais des versions pour GPU Radeon sont également proposées
- Les Playbooks sont aussi publiés sur GitHub, et AMD indique vouloir les maintenir à jour comme les BKC et ajouter un nouveau playbook chaque mois
Playbooks essayés
- AMD Sync fournit une méthode simple pour se connecter à distance à Halo via le réseau
- Consultation des métriques en direct
- Ouverture de projets VSCode
- Lancement de projets Jupyter Labs
- Accès au terminal
- AMD Sync n’a nécessité que l’installation d’AMD Sync sur la machine distante et la copie des informations SSH, et les tests se sont déroulés sans problème
- Les playbooks liés à LM Studio et Lemonade couvrent le téléchargement, la gestion, le service et l’interaction avec des LLM locaux
- Les playbooks LM Studio et Lemonade proposent un parcours court et facile à suivre, allant de l’installation du logiciel à la mise à jour du runtime et au téléchargement du premier modèle
- Les deux playbooks vont jusqu’à l’utilisation d’un LLM local comme assistant de code ou à l’interaction programmatique avec l’API OpenAI
- Le playbook VSCode connecte le LLM local hébergé dans le playbook précédent au Cline agent dans l’IDE
- Les playbooks d’exécution de LLM et de fine-tuning basés sur PyTorch montrent qu’il est possible de lancer un LLM en 4 ou 5 étapes grâce aux logiciels, pilotes et modèles préinstallés
- Le playbook PyTorch n’est pas un tutoriel complet couvrant le fonctionnement interne des scripts, mais il joue efficacement le rôle de smoke test pour relier les dépendances et vérifier que tout fonctionne
- Pour les débutants, il fournit aussi des idées à essayer ensuite dans « Next Steps »
Points forts et faibles de la configuration logicielle
- Les BKC et les playbooks offrent un état de référence auquel revenir à tout moment, réduisant les situations où rien ne fonctionne malgré le suivi de plusieurs tutoriels
- Cet état est accessible via le bouton System Reset du Developer Center
- Halo pouvant être installé et configuré comme un ordinateur ordinaire selon les besoins, les BKC et les playbooks ne limitent pas la liberté de l’utilisateur
- Les BKC et les playbooks peuvent aussi permettre aux tutoriels 3rd-party de supposer un point de départ connu et compatible, ce qui peut aider les utilisateurs à aller plus loin
- Comme on peut le voir dans les issues GitHub des AI Playbook, certains playbooks comportent actuellement des échecs, et des problèmes sont aussi survenus pendant les tests réels
- Si AMD ne corrige pas rapidement ces problèmes, toute la valeur logicielle peut être remise en question, ce qui reste un risque lorsqu’on achète en misant sur une promesse de valeur future
Le NPU effectivement utilisé
- Sur Halo, il a été possible d’exécuter un LLM sur le NPU XDNA 2 via AMD Lemonade et FastFlowLM
- Le modèle exécuté était gpt-oss-20b-FLM, et aucune télémétrie d’utilisation du NPU n’était fournie
- Alors que l’utilisation CPU/GPU était quasiment nulle, le package AI Max+ 395 consommait jusqu’à 35 W, avec une génération à 20 tokens/s
- Les NPU ont souvent des performances de calcul inférieures à celles des GPU, mais leur avantage est une bien meilleure efficacité énergétique
- Ils conviennent à des tâches comme le traitement rapide de capteurs, par exemple une caméra, afin de laisser le CPU et le GPU aux tâches principales
- Ce kit de développement, avec Ryzen AI Max+ 395 et son NPU, peut contribuer à faire progresser le développement local de LLM plus efficaces énergétiquement, plutôt que de s’appuyer sur d’énormes GPU
Fonctionnement de l’USB-C Power Delivery
- Halo est entièrement alimenté via USB-C PD
- L’USB-C peut aujourd’hui fournir jusqu’à 240 W, et Halo inclut un adaptateur secteur AC/DC Delta ADP-240KB BA compatible USB-C PD Extended Power Range(EPR)
- Cet adaptateur peut fournir jusqu’à 48 V, 5 A
- Lors des tests, Halo n’a pas tiré plus de 200 W de l’alimentation
- Les paquets PD entre l’adaptateur secteur et Halo ont été mesurés avec un Infineon CY4500-EPR
- Lors de la première connexion, l’adaptateur secteur annonce les tensions et courants disponibles via un message SOURCE_CAPABILITIES
- Au départ, seuls les modes de sortie Standard Power Range(SPR) limités à 20 V, 5 A, soit 100 W, sont indiqués
- Halo envoie un message EPR_MODE pour demander le mode EPR de l’adaptateur secteur, puis confirme ensuite l’ensemble des capacités EPR
- Halo demande un mode de sortie fixe à 48 V pouvant fournir jusqu’à 5 A, utilisant ainsi la configuration maximale de 240 W
- Halo continue d’envoyer des EXTENDED_CONTROL_MESSAGE à l’adaptateur secteur, et il est intéressant d’observer ce type de messages continus avec une sortie à tension fixe
1 commentaires
Avis de Hacker News
Ce qui mérite d’être signalé, ce sont les AMD playbooks (https://developer.amd.com/playbooks/, https://github.com/amd/playbooks)
C’est la réponse d’AMD aux playbooks de Nvidia (https://build.nvidia.com/spark, https://github.com/NVIDIA/dgx-spark-playbooks), et c’est une bonne chose de voir AMD commencer à prendre ce domaine plus au sérieux
Le matériel est exactement le même que celui vendu 2 000 dollars l’an dernier, et on peut encore l’acheter 1 000 dollars moins cher chez des OEM chinois
C’est bien que les tests LLM de LTT Lab deviennent plus sophistiqués, mais les chiffres peuvent varier assez fortement selon la version de ROCm/Vulkan et la version du build de llama.cpp
Pour tirer le maximum des performances de Strix Halo, des ajustements du noyau et des utilitaires comme ryzenadj peuvent aider, et l’essentiel est récapitulé sur http://strixhalo.wiki/
Si on l’utilise pour du codage ou des tâches d’agent, c’est déjà assez mûr quand le modèle prend en charge MTP, et le décodage peut être environ 30 % plus rapide
Pour vous faire gagner du temps, comme l’indique aussi l’article, le processeur AMD Ryzen AI Max+ 395 (Strix Halo) existe déjà depuis le printemps 2025, et Halo n’apporte rien de nouveau sur ce point
Il a la même limite de 256 GB/s de bande passante mémoire que les cartes précédentes, et je ne comprends pas pourquoi il est lancé maintenant comme s’il s’agissait d’un nouveau produit
À prix comparable, on peut acheter un Framework Desktop, et le GMKtec EVO-X2 est un peu moins cher
Du point de vue d’AMD, il est logique de capter directement la marge plutôt que de le céder moins cher aux fabricants de PC
Il suffit d’acheter une tour classique ou une machine en rack serveur
J’aimerais vraiment avoir une machine avec 128 Go de mémoire ou plus, mais seulement 256 GB/s pour 4 000 dollars, c’est rude
Il faut en plus accepter les inconvénients à la fois d’ARM et d’AMD
J’ai l’impression que, lorsque le RTX Spark sortira, il faudra compter 6 000 dollars, et je crains qu’une machine avec 128 Go ou plus et 700+ GB/s finisse à 10 000 dollars, hors de portée de la plupart des consommateurs
Franchement, il n’y a pas beaucoup de bonnes options aujourd’hui, et il vaut peut-être mieux attendre que le marché devienne moins délirant
Si quelqu’un fabriquait une machine combinant les deux, elle se vendrait facilement 10 000 dollars, et je pense que les gens feraient la queue pour l’acheter
Par exemple, DS4, c’est-à-dire le modèle DeepSeek V4 Flash quantifié en 1 bit, tourne autour de 9 à 13 tokens par seconde, et le temps avant le premier token est très long
Ce n’est pas réaliste pour un modèle de codage conversationnel de type agent
J’aime bien Strix Halo, et je l’utilise surtout pour faire tourner en continu des tâches non interactives comme des audits de sécurité logicielle ou des expériences d’apprentissage
C’est une bonne plateforme pour expérimenter avec l’IA, mais pour 4 000 dollars, on peut acheter un Asus Ascend GX10 basé sur Nvidia, qui est probablement meilleur
Pour un usage local d’agent conversationnel, on fera probablement tourner Qwen 3.6 ou Gemma 4 ; ils tiennent largement dans 2x64 Go de GPU, et même des GPU plus anciens peuvent être plus rapides que Strix Halo
Ils tiennent aussi de justesse dans 32 Go, et tourneraient bien sur un Mac de 48 Go ou 64 Go
Le sweet spot actuel côté GPU semble être deux Radeon AI Pro R9700
Elles offrent assez de mémoire et de performances pour l’inférence locale sans coûter le prix d’une voiture d’occasion comme une 5090 ou une 4090, et sans être aussi pénibles, étranges ou nécessiter des conduits de ventilation imprimés en 3D comme les vieux GPU serveur sur eBay
Pour l’instant, il n’y a pas vraiment de modèle qui tourne mieux sur ces machines d’inférence 128 Go tout en tournant mal sur des machines 64 Go
Une machine 64 Go peut même être plus rapide, et même parmi les GPU 32 Go, il n’y en aura pas beaucoup de plus lents, mais il vaut mieux éviter d’acheter un GPU qui n’est pas activement pris en charge aujourd’hui par les pilotes du fournisseur et par CUDA ou ROCm
Ces machines étaient excellentes quand elles coûtaient moins cher que le DGX Spark
Mais à prix égal, il n’y a aucune raison d’acheter ça plutôt qu’un Spark
Le Spark est littéralement une version plus rapide, avec un meilleur support logiciel
Je dis ça en tant que possesseur d’une machine Ryzen AI Max 395
D’après plusieurs fournisseurs de l’enseignement supérieur
Le CPU du Ryzen est meilleur que celui du DGX Spark, et les performances multithread sont nettement supérieures, surtout avec les programmes modernes mis à jour pour utiliser AVX-512
Ce n’est probablement que pour les applications GPU que le système NVIDIA est meilleur
J’ai passé pas mal de temps à bricoler avec le bon noyau Linux, le firmware du noyau, l’installation de ROCm, etc.
J’ai un appareil Strix Halo et je l’apprécie, mais à ce prix-là, pour un usage IA, mieux vaut acheter un ASUS GX 10 à base de Nvidia
L’écosystème CUDA reste plus solide
AMD a un meilleur CPU, donc c’est mieux comme machine de bureau, mais côté Nvidia, c’est un peu plus rapide pour l’inférence et l’entraînement, et le support est aussi un peu meilleur
Avec ROCm, on peut presque toujours faire la même chose, mais cela demande un peu plus d’efforts
Cela dit, l’Ubuntu custom que Nvidia livre sur son matériel est vraiment pénible à utiliser
Nvidia n’est pas doué en logiciel, et après avoir utilisé la gamme Jetson pendant plusieurs années, je la trouve toujours lamentable
Cela reste un Ubuntu custom assez rustique, avec une structure complexe basée sur des images et sans UEFI, donc ce n’est pas comme si l’on pouvait simplement installer une autre distribution Linux
Je suppose qu’ils livreront aussi Ubuntu sur les gros appareils, mais je n’ai manipulé directement que les petites machines Jetson embarquées
Côté AMD, c’est un PC x86_64 classique, donc on peut installer à peu près n’importe quel Linux, et j’ai directement mis Fedora sur mon appareil
C’est juste Ubuntu, et je n’ai pas rencontré de gros problème
Il y a aussi le fait que, parmi les appareils Linux ARM64 que j’ai vus jusqu’ici, c’est le seul fournisseur qui livre réellement un Linux correctement pris en charge
J’utilise l’ASUS GX10 comme station de travail principale au quotidien, et la seule chose qui ne fonctionne pas, c’est à peu près Spotify, probablement à cause d’un problème de DRM
Il ne semble pas non plus y avoir de client Signal ARM64
Le gros avantage du DGX Spark sur Strix Halo, c’est sa vitesse de préremplissage, nettement plus élevée
Environ 5 fois plus rapide
Le matériel réseau est aussi absurdement puissant, mais il est probable que moi et 99 % des autres utilisateurs de Spark n’exploitions jamais pleinement ces performances
Une bande passante mémoire de 256 Go/s, c’est environ le quart de celle d’une 3090
S’ils avaient divisé la mémoire par deux et quadruplé la vitesse, cela aurait été un meilleur achat
Une mémoire très rapide est utile pour les modèles denses ou le service avec une forte concurrence
Mais dans un environnement local à utilisateur unique, ce genre de plateforme permet souvent d’utiliser des modèles MoE plus puissants et plus gros, à une vitesse raisonnable et avec une faible concurrence, ce qui est préférable
À ce moment-là, ce sont probablement les lignes PCIe lentes qui deviennent le goulet d’étranglement
Si la tâche tient dans une carte de 24 Go, vous n’êtes de toute façon pas l’utilisateur visé par le créneau du mini-PC IA qu’ils essaient de créer
On peut faire tourner de petits modèles bien mieux
Personnellement, une 3090 n’a vraiment de sens que si l’on peut en acheter au moins deux, idéalement quatre, et là on parle d’un budget complètement différent
Le nouveau modèle MTP, Qwen3.6 35B MoE, génère des tokens sans gros ralentissement même jusqu’à environ 80k de contexte
Obtenir beaucoup de tokens est appréciable, mais le fait de pouvoir traiter et étendre le contexte fera que cette machine restera excellente par rapport aux petites cartes graphiques
Un module de RAM DDR4 de 32 Go offre une bande passante de 25 Go/s et coûte 160 dollars
En en achetant 8, on obtient 256 Go de RAM et 200 Go/s de bande passante pour 1 280 dollars
En achetant 16 modules de 16 Go à 60 dollars pièce, on peut obtenir 400 Go/s de bande passante pour 960 dollars
Le problème, c’est qu’il faut 8 ou 16 contrôleurs mémoire
Les contrôleurs mémoire ne coûtent pas si cher
L’Intel Core i3-14100F a un contrôleur 2 canaux et coûte 110 dollars, donc on peut estimer qu’un contrôleur 16 canaux coûterait moins de 880 dollars, et un contrôleur 8 canaux autour de 440 dollars
Dans ce cas, plutôt qu’une machine à 4 000 dollars avec seulement 128 Go, je me dis qu’il vaudrait mieux fabriquer un CPU bon marché doté de 16 contrôleurs DRAM
Ou bien deux CPU ayant chacun 8 canaux RAM
La DDR5 coûte deux fois plus cher, avec 360 dollars pour 32 Go, mais sa bande passante n’est même pas doublée, donc elle ne vaut pas l’achat
Il est plus logique de créer davantage de canaux RAM et d’y mettre de la DDR4
Mais la carte mère peut coûter assez cher
Au lieu de passer à la DDR5 coûteuse, elle aurait dû faire en sorte que même les CPU les moins chers prennent en charge 8/16 canaux DDR4
Un module DDR5-4800 de 32 Go coûte 360 dollars, tandis que deux modules DDR4-3200 de 32 Go coûtent 320 dollars : on obtient donc deux fois plus de capacité, une bande passante plus élevée et un prix plus bas
La DDR5, c’est tout simplement de l’arnaque
Dans sa forme précédente, il ne coûtait « que » 2 000 dollars, mais même dans cette boîte mise à jour, la bande passante mémoire est gravement insuffisante
Il existe quelques modèles avec de la place pour ajouter un GPU dédié pour l’inférence hybride, mais personnellement, je ne trouve pas que cela en vaille la peine
Mieux vaut garder son argent pour une configuration Xeon ou EPYC
Je ne comprends pas pourquoi tous les produits similaires semblent plafonner exactement à 128 Go de VRAM
À ce prix, je m’attendais à au moins 224 Go de VRAM
Cela dépend du bus mémoire
On peut considérer qu’un bus 128 bits donne 96 Go, 256 bits 192 Go, 512 bits 384 Go, et 1024 bits environ 768 Go
https://community.frame.work/t/was-there-no-possible-way-to-...
Comme ils ne veulent pas que des produits grand public/homelab à faible marge remplacent leurs produits datacenter, ils limitent délibérément la VRAM de ces produits pour les rendre moins attractifs pour un usage datacenter
C’est à peine moins cher qu’un Nvidia DGX Spark avec CUDA, ou qu’un Mac doté de 128 Go et d’une bande passante mémoire deux fois supérieure.
L’intérêt de Strix Halo, à l’origine, était d’être à moitié prix par rapport à ces machines bien plus puissantes.
Acheter une puce AMD à ce prix relève presque de la folie.
Cela dit, tout le marché du matériel est devenu fou en ce moment, donc malheureusement, je pense que ça se vendra quand même bien.
Le M5 Pro a une bande passante mémoire légèrement plus élevée, mais il est actuellement limité à 64 Go de DRAM maximum.
Même cette petite configuration mémoire coûte plus cher qu’AMD ou NVIDIA, et si l’on veut un SSD d’une taille normale, capable de contenir des LLM et de calculer soi-même la quantification, plutôt qu’un petit SSD, c’est encore plus cher.
Par exemple, avec un SSD de 4 To et 64 Go de DRAM, on dépasse 5 600 dollars.
Pour de l’inférence LLM, Apple ne semble pas être une solution compétitive.
Le prix est bien plus élevé, et il faut beaucoup d’espace pour stocker quelques LLM, alors que l’extension SSD est limitée.
Le seul point juste, c’est que les systèmes AMD Strix Halo étaient autrefois beaucoup moins chers que NVIDIA, mais qu’ils sont désormais au même prix.
Le CPU de Strix Halo est meilleur que celui de NVIDIA, mais le GPU NVIDIA a de fortes chances d’être meilleur que le GPU AMD, et CUDA est garanti de bien fonctionner.