Le MI300X d’AMD dépasse le H100 de Nvidia pour l’inférence LLM

Des performances du MI300X d’AMD supérieures au H100 de NVIDIA

Points clés

• Accélérateur MI300X d’AMD : le dernier accélérateur MI300X d’AMD affiche des performances supérieures à celles du H100 de NVIDIA.
• Collaboration entre TensorWave et MK1 : au cours du mois dernier, TensorWave et MK1 ont collaboré pour optimiser les performances d’inférence IA sur le matériel AMD.
• Architecture MoE : les performances ont été testées avec une architecture Mixture of Expert (MoE). MoE est utilisée dans de puissants LLM open source employés par Mistral, Meta, Databricks, X.ai et d’autres.
• Premiers résultats : avec le logiciel d’inférence de MK1, le MI300X a atteint un débit 33 % supérieur à celui du H100 SXM lors de l’exécution de vLLM sur Mixtral 8x7B.
• Compétitivité : même si l’écosystème logiciel de NVIDIA est plus mature, AMD s’impose comme un concurrent solide sur le marché de l’IA. En tenant compte de la disponibilité du matériel et des coûts, le MI300X constitue une option attractive pour les entreprises qui exécutent de l’inférence à grande échelle dans le cloud.
• Perspectives : de nouvelles optimisations devraient encore accroître l’avance en performances d’AMD.

L’avis de GN⁺

• Potentiel d’amélioration des performances : même les premiers résultats montrent déjà que le MI300X d’AMD offre de très bonnes performances. Des optimisations supplémentaires pourraient permettre d’obtenir des résultats encore meilleurs.
• Compétitivité sur le marché : l’écosystème logiciel de NVIDIA est plus mature, mais le matériel d’AMD affiche des performances compétitives, ce qui pourrait renforcer sa position sur le marché.
• Efficacité en termes de coût : en matière de disponibilité du matériel et de coût, le MI300X peut être un meilleur choix. C’est un facteur particulièrement important pour les entreprises qui réalisent des charges d’inférence à grande échelle.
• Points à considérer pour l’adoption : lors de l’adoption d’un nouveau matériel, la compatibilité logicielle et l’optimisation sont des éléments essentiels. Dans le cas du MI300X d’AMD, des efforts supplémentaires peuvent être nécessaires pour la configuration initiale et l’optimisation.
• Produits concurrents : au-delà du H100 de NVIDIA, il existe d’autres accélérateurs IA, comme les TPU de Google ou les accélérateurs Habana Labs d’Intel. Il est important de comparer les caractéristiques et les performances de chaque produit afin de faire le meilleur choix.

[GN⁺]

Commentaires sur Hacker News

• TensorWave est un fournisseur de cloud spécialisé dans les charges de travail IA, qui offre de hautes performances en s’appuyant sur les accélérateurs Instinct™ MI300X d’AMD.
• En 2024, utiliser un benchmark à 128 tokens d’entrée ne représente pas la plupart des charges de travail, et les performances de préremplissage sont très importantes.
• Il faut de la concurrence, et la valorisation boursière actuelle de Nvidia est d’environ 0,6 billion de dollars, soit plus que l’ensemble de la Bourse de Francfort.
• Le marché et les prix de vente reflètent la valeur des solutions Nvidia et des solutions AMD, y compris les outils, les logiciels, le coût total de possession (TCO) et la facilité de gestion.
• Je me demande si beaucoup d’entreprises dépensent vraiment autant d’argent pour exécuter en parallèle des modèles à 8x 7B paramètres, et s’il est possible d’entraîner un modèle 14B sur un seul accélérateur.
• AMD et d’autres entreprises essaient de battre Nvidia en utilisant les benchmarks de manière sélective, ainsi que des modèles de comparaison d’une génération intermédiaire.
• En tant que scientifique en IA, je pense qu’AMD est sous-évalué par rapport à Nvidia. Les puces ne sont pas aussi rapides que celles de Nvidia, mais dans la plupart des secteurs elles sont plus rentables et permettent d’obtenir des résultats similaires.
• Je me demande si la configuration du parallélisme tensoriel influence les performances. D’après l’article, AMD règle le parallélisme tensoriel sur 1, tandis que Nvidia le règle sur 2.
• Sans indicateurs statistiques appropriés ni mesure des performances par watt, la comparaison n’a pas de sens.
• Des benchmarks en INT8/FP8 auraient été intéressants, et les deux cartes auraient pu être chargées avec environ 60 Go de VRAM.
• AMD dispose d’un meilleur matériel, mais n’a pas encore la capacité de production suffisante pour rivaliser avec Nvidia. Lorsque la véritable concurrence rattrapera son retard, les marges se comprimeront.
• La domination de Nvidia n’est pas due à CUDA, mais au fait qu’environ 40 % de son chiffre d’affaires provient de grandes entreprises utilisant leur propre stack personnalisée. Quand la concurrence rattrapera son retard, elle proposera des GPU moins chers.
• Le MI300X devrait théoriquement être moins cher, mais il reste à voir si c’est réellement le cas.