Turin d’AMD : lancement de la 5e génération d’EPYC

 (chipsandcheese.com)
3 points par GN⁺ 2024-10-13 | 1 commentaires | Partager sur WhatsApp
  • Les mesures réelles de l’AMD EPYC 9575F montrent les différences concrètes de Turin en se concentrant sur les évolutions du sous-système mémoire côté serveur, plutôt que de répéter la description des cœurs Zen 5
  • La bande passante en mono-thread atteint environ 52 Go/s en lecture, 48 Go/s en écriture et 95 Go/s en add, tandis que la lecture à l’échelle du socket atteint près de 99 % du maximum théorique de 576 Go/s
  • Côté serveur, Turin utilise 2 liens GMI en GMI3-W entre les CCD et l’I/O die, et la largeur du lien d’écriture passe aussi à 32B par lien, ce qui donne aux CCD une bande passante supérieure à celle du Zen 5 desktop
  • La latence mémoire à vide reste similaire à celle de Genoa, mais la latence inter-cœurs augmente, avec environ 45 ns en Intra-CCD, 150 ns en Inter-CCD et 260 ns entre sockets, soit plus que sur Genoa
  • Le 9575F permet à ses 64 cœurs d’atteindre jusqu’à 5 GHz en mono-thread et maintient environ 4,3 GHz dans Cinebench 2024 sur 128 threads, ce qui souligne clairement son positionnement d’offre enterprise à haute fréquence et nombre de cœurs relativement contenu

Les évolutions de Turin vues à travers l’EPYC 9575F

  • L’analyse de Turin s’appuie principalement sur des mesures réelles de l’AMD EPYC 9575F
    • Il a été possible de tester ce CPU via Jordan de StorageReview
    • Les cœurs Zen 5 ayant déjà été traités sur mobile, desktop et dans des comparaisons de variantes, l’accent est ici mis sur le sous-système mémoire
  • Les slides de lancement de Turin par AMD sont disponibles chez Serve the Home, mais l’article s’appuie davantage sur des mesures maison

Une configuration GMI qui augmente la bande passante des CCD

  • Dans les résultats en 1T, la bande passante mémoire mono-thread de l’EPYC 9575F atteint environ :
    • lecture : 52 Go/s
    • écriture : 48 Go/s
    • add, c’est-à-dire Read-Modify-Write : 95 Go/s
  • Un seul cœur peut déjà exploiter une part importante de la bande passante mémoire totale du CCD
    • la lecture représente un peu moins de la moitié de la bande passante totale en lecture du CCD
    • l’écriture correspond à environ 55 % de la bande passante totale en écriture du CCD
    • add dépasse les deux tiers de la bande passante totale add du CCD
  • Cette différence vient de la configuration GMI3-W de Turin côté serveur
    • L’EPYC 9575F dispose de 2 liens GMI vers l’I/O die
    • Le Ryzen 9950X utilise un seul lien GMI
    • Le lien d’écriture GMI côté serveur atteint 32B par lien, contre 16B par lien sur le Zen 5 desktop

Mémoire à 12 canaux et performances du socket complet

  • Turin prend en charge une mémoire à 12 canaux avec un maximum de DDR5-6400MT/s
    • Le DDR5-6400MT/s n’est pris en charge que sur certains systèmes validés
    • Cette vitesse n’est possible qu’avec une configuration à 1 DIMM par canal
  • Le système de test fonctionnait en DDR5-6000MT/s
    • La plupart des systèmes prennent en charge le DDR5-6000MT/s avec 1 DIMM par canal
    • Avec 2 DIMM par canal, la vitesse mémoire tombe à 4400MT/s
    • Sur une carte mère avec 2 emplacements DIMM par canal, utiliser seulement 1 DIMM par canal devrait permettre 5200MT/s
  • La bande passante en lecture du socket complet du 9575F atteint près de 99 % du maximum théorique de 576 Go/s
    • écriture : 435 Go/s
    • add : 453 Go/s
  • Sur la plateforme AMD Volcano, la bande passante inter-socket entre deux 9575F a également été mesurée
    • Cette plateforme ne dispose que de 3 liens GMI entre les deux CPU
    • Les résultats étaient très proches de ceux du test Bergamo, dont le système utilisait lui aussi la même configuration à 3 liens GMI

Latence en charge et latence inter-cœurs

  • La latence mémoire à vide de Turin est très proche de celle de Genoa
  • Lors de Hot Chips 2024, Ampere Computing a publié un graphique de latence mémoire en charge pour la puce AmpereOne et les CPU AMD Genoa, qui a servi de base pour créer un test de latence en charge similaire
  • Le test consiste à saturer le lien IOD-CCD ou l’ensemble du système mémoire avec un benchmark de bande passante mémoire, puis à mesurer la latence mémoire sur les cœurs ou CCD restants
    • Dans le test sur un seul CCD, un benchmark de bande passante mémoire est exécuté sur 7 cœurs d’un CCD, puis la latence est mesurée sur le 8e cœur
    • Dans le test sur l’ensemble du système, un benchmark de bande passante mémoire est exécuté sur 7 CCD du 9575F, puis la latence est mesurée sur le 8e CCD
  • En charge, l’augmentation de la latence mémoire du 9575F reste d’un niveau comparable selon les conditions
    • avec une charge sur un seul CCD, elle augmente d’environ 39 ns par rapport au repos
    • avec une charge sur l’ensemble du système, elle augmente d’environ 31 ns par rapport au repos
  • La latence inter-cœurs augmente par rapport à Genoa, avec une hausse particulièrement marquée à l’intérieur d’un CCD
    • latence Intra-CCD : environ 45 ns
    • latence Inter-CCD : environ 150 ns
    • latence socket à socket : environ 260 ns

Fréquences et positionnement produit

  • Sur les tests mono-thread, les 64 cœurs de l’EPYC 9575F pouvaient tous atteindre jusqu’à 5 GHz
  • Lors des tests de bande passante mémoire, les 8 cœurs d’un même CCD pouvaient tous fonctionner à 5 GHz
  • Dans Cinebench 2024, avec les 128 threads utilisés, la puce maintenait une fréquence d’environ 4,3 GHz
  • Wendell de Level1Techs a observé environ 4,9 GHz all-core sur une charge web server / transactions TLS, un type de charge moins vectorisé
  • La gamme Turin combine des SKU à très grand nombre de cœurs et des SKU à haute fréquence
    • AMD propose des SKU à grand nombre de cœurs comme les 9755 et 9965
    • AMD propose aussi des SKU comme le 9575F, avec moins de cœurs mais une fréquence très élevée
    • Le fait que 64 cœurs soient désormais considérés comme un « faible nombre de cœurs » montre à lui seul l’évolution du marché des CPU serveurs
  • Turin ressemble moins à une révolution brutale comme le passage de Naples à Rome qu’à une évolution du type de celle de Milan à Genoa, combinant hausse de la bande passante mémoire, augmentation du nombre de cœurs et mise à jour des cœurs

À lire aussi

1 commentaires

 
GN⁺ 2024-10-13
Avis sur Hacker News

  • AMD EPYC 9175F est le plus atypique : 16 cœurs avec 512 Mo de cache L3, cela semble destiné aux clients qui veulent réduire les coûts de licence par cœur.
    Sinon, mettre aussi peu de cœurs dans une puce aussi chère n’a pas vraiment de sens. Je ne sais pas si Oracle utilise encore ce mode de licence, mais si c’est le cas, il serait temps d’arrêter.
    On peut aussi imaginer des usages comme le HFT, où l’on charge tout l’algorithme dans le L3 pour viser la latence minimale absolue, ou bien des cas où l’on veut n’utiliser que les meilleurs cœurs de chaque chiplet. Mais la raison la plus probable reste sans doute la licence logicielle.

    • La simulation à événements discrets est aussi un bon exemple. Des choses comme les réseaux de neurones à impulsions sont, pour être simulées précisément, sérialisées via une file de pics en attente, ce qui les rend intrinsèquement proches du monothread.
      La meilleure configuration consiste à conserver tout l’état dans le cache local et à l’exécuter sur le cœur le plus rapide. Si l’on peut en lancer 16 en parallèle, on réduit d’autant l’espace de recherche.
      Dans ce type de problème, il n’y a quasiment pas à se soucier de la latence entre CCD. Même en faisant tourner quelque chose comme un algorithme génétique qui croise périodiquement des cœurs physiques, les besoins en bande passante entre cœurs restent faibles.
    • Les applications monothread sont nombreuses, et il est souvent moins cher de dépenser quelques milliers de dollars dans un CPU ultra-rapide que des dizaines de milliers auprès de programmeurs pour réécrire le code afin de le paralléliser.
      Comme indiqué, s’il s’agit de code tiers dont on n’a ni les sources ni les droits, il est même souvent impossible de le réécrire.
    • 512 Mo de cache, c’est impressionnant. Il y a quelques années, j’avais déjà trouvé fascinant que le cache du Xeon que j’utilisais soit aussi grand que la RAM du système que j’avais enfant ; et comme je suis millennial, il ne s’agissait pas d’une machine antique type Commodore, mais d’un vrai PC qui faisait tourner Quake.
      Mais 512 Mo, c’est vraiment confortable. Je me demande si l’on pourrait mettre Puppy Linux tout entier dans le cache L3.
    • MATLAB Parallel Server utilise aussi une licence par cœur.
      https://www.mathworks.com/products/matlab-parallel-server/li...
    • Beaucoup d’algorithmes sont limités par la bande passante mémoire. Même sur une station de travail 16 cœurs, j’ai souvent vu des tâches atteindre leurs meilleures performances avec moins de 16 threads.
      Tester un algorithme avec différents nombres de threads puis utiliser la valeur optimale est une pratique courante. Les algorithmes intensifs en mémoire atteignent souvent leur pic de performance avec un nombre de cœurs relativement faible.

  • Phoronix a récemment publié un comparatif entre le Turin Dense 196 cœurs et l’AmpereOne 192 cœurs.
    Le prix recommandé de l’Ampere était de 5 500 dollars, celui de l’EPYC de 15 000 dollars ; le Turin 196 était 1,6 fois plus performant, tandis que l’Ampere était 1,2 fois plus efficace énergétiquement.
    D’après le test de Phoronix, en performance réelle par dollar, l’Ampere 192 cœurs est 1,7 fois meilleur que le Turin Dense 196 cœurs. Pour 5 500 dollars, on peut acheter soit un CPU AmpereOne 192 cœurs (274 W), soit un CPU Turin Dense 48 cœurs (300 W).
    Ampere prévoit de lancer l’an prochain un produit 256 cœurs, en 3 nm, avec mémoire 12 canaux, ce qui pourrait lui permettre de mieux rivaliser avec Turin Dense et Sierra Forest en performance brute. Son point fort actuel reste le rapport performance/prix.
    Les performances de la puce serveur de Qualcomm basée sur Nuvia m’intriguent aussi beaucoup. Si les progrès des cœurs ARM client donnent un indice, il sera intéressant de voir comment des puces maison comme AWS Graviton, Google Axion, Microsoft Cobalt, Nvidia Grace ou Alibaba Yitian rivaliseront avec de meilleurs cœurs Neoverse. Ce sera Nuvia contre ARM contre AmpereOne.
    Nous sommes probablement dans un âge d’or des CPU serveur. Il y a sept ans, il n’y avait guère qu’Intel Xeon ; aujourd’hui, les options se sont multipliées.

    • AMD gagne aussi en performance/W, ce qui est un résultat assez significatif pour ceux qui pensaient que le x86 ne pourrait jamais égaler l’efficacité de l’ARM/RISC.
      Dans beaucoup de datacenters aujourd’hui, la puissance disponible et le refroidissement qui en découle deviennent des contraintes plus importantes, ce qui est un bon signal pour Turin.
    • La comparaison performance/prix se fait avec le modèle Turin au prix recommandé le plus élevé. Ce modèle n’est pas celui qui maximise la performance par dollar ; il s’adresse aux acheteurs qui veulent maximiser la densité ou la performance par watt, et sur ces points il devance Ampere.
      Si l’on ne regarde que la performance par dollar, il faut considérer les modèles Zen5 avec moins de cœurs, plutôt que Zen5c ; ceux-ci offrent un rapport performance/prix deux fois supérieur au 9965 à 192 cœurs.
      La même logique s’applique moins bien à Ampere, car le modèle 192 cœurs à 3,2 GHz est déjà presque au meilleur niveau de performance par dollar.
    • La différence, c’est que les CPU EPYC sont disponibles, tandis que les CPU Ampere sont difficiles à se procurer.
    • Le prix recommandé d’Ampere est assez proche de ce que paient réellement la plupart des intégrateurs système. En revanche, on peut considérer que la plupart des vendeurs peuvent acheter de l’EPYC ou du Xeon avec une remise proche de 50 % sur le prix recommandé.
    • C’est une époque vraiment passionnante, et la chute d’Intel est très regrettable. Cela dit, comme beaucoup l’avaient averti, Intel aurait dû voir venir cette situation.

  • C’est vraiment une échelle énorme. Il y a encore 20 ans, on avait 1 à 2 cœurs par CPU, et avec 4 cœurs sur un serveur bi-socket on pouvait s’estimer chanceux.
    Aujourd’hui, un seul serveur peut presque avoir 400 cœurs. Bien sûr, avec des cœurs ARM on peut peut-être en avoir davantage, mais au moins pour l’instant ils n’atteignent pas ce niveau de performances.

    • Avec 2 puces, on sature 2 NIC 400GbE avec plus de 700 threads, et à 500 W par puce cela fait moins de 2 W par thread. Tout cela tient dans un boîtier 2U.
      Il y a 20 ans, cela aurait représenté plusieurs racks de matériel.
    • À l’inverse, à l’époque, on se serait sans doute attendu à ce qu’en 20 ans les cœurs deviennent 1000 fois plus rapides ; en réalité, on est plutôt autour de 5 fois.
    • Je me demande quelle part des traitements big data exécutés sur des clusters serait désormais beaucoup plus rapide sur une seule grosse machine avec duckdb plutôt qu’avec Spark.
    • De nos jours, la plupart des services peuvent tenir sur un seul serveur et gérer quand même des millions d’utilisateurs par jour.
      Si l’on peut louer un serveur dédié puissant pour moins de 1000 dollars par mois et économiser des dizaines de milliers de dollars, je me demande quel effet cela aura sur les services cloud hors de prix. Avec cet argent, on pourrait même embaucher un administrateur à temps plein et il en resterait.
    • Exact. Les premières puces serveur dual-core sont arrivées vers 2005 avec les Opteron Denmark/Italy/Egypt en 90 nm et les Xeon Paxville, et côté Intel, il me semble que cela n’a vraiment décollé qu’en 2007.

  • J’ai hâte de déployer des serveurs bare metal AMD Turin quand ils arriveront chez Hetzner. La génération précédente avait déjà un bon rapport qualité-prix, et celle-ci semble encore passer un cran au-dessus.

  • J’utilise encore un Dell PowerEdge de 12 ans avec deux Xeon. Je me demande quand les serveurs EPYC de 1re génération commenceront à se retrouver à vil prix sur eBay.

    • Les EPYC de 1re à 3e génération se trouvent pour très peu cher, mais les cartes mères coûtent cher.
      Si l’objectif principal n’est pas d’avoir beaucoup de lignes PCIe et de RAM, je ne recommanderais pas vraiment de descendre sous la 3e génération. Les CPU grand public de génération actuelle, même avec moitié moins ou un quart des cœurs, offrent de meilleures performances de calcul et consomment beaucoup moins.
    • Personnellement, je ne trouve pas les EPYC de 1re génération très intéressants, car la 2e génération existe, est plus répandue et suffisamment bon marché. J’utilise d’ailleurs un epyc 7302 avec une carte mère MZ31-AR0 dans mon homelab.
      Les performances par cœur sont trop faibles, il y a des problèmes liés au NUMA, et le procédé de fabrication est moins bon. Les dies de calcul de 2e génération sont en TSMC 7 nm.
    • Je ne connais pas bien les puces EPYC, mais les machines Ryzen série 5 étaient presque données sur Amazon cette semaine-là.
      J’ai acheté un 9 5950X pour 242 livres sterling.
    • Ça ne vaut pas grand-chose. On peut acheter un 9654 sur eBay pour 2000 dollars et dépenser 1000 dollars dans la carte mère. Le système complet revient à environ 7000 dollars.
      Sinon, des combinaisons du type Epyc 7282 se trouvent aussi facilement et sont correctes.
    • C’est déjà le cas, et les performances ne sont pas franchement bonnes.

  • ChipsAndCheese fait partie des rares nouveaux médias tech qui savent vraiment de quoi ils parlent. Ils sont particulièrement bons sur ce genre de benchmarks approfondis.
    Avec la disparition d’anciens sites tech comme Anandtech, TechReport ou HardOCP, cela fait plaisir de voir un nouveau média capable de reprendre ce style d’articles fouillés à l’ancienne.

    • Fait intéressant, Slashdot est à l’origine parti d’un site appelé Chips & Dips. Je me demande s’il y a une inspiration similaire.
    • Tu voulais sans doute dire HardOCP.
    • Chips and Cheese me rappelle surtout LostCircuits, qui a disparu. La plupart des sites tech se concentrent sur des listes de benchmarks applicatifs, mais C&C, comme LC à l’époque, combine de longs articles sur l’architecture avec des microbenchmarks de sous-systèmes.

  • Pour ceux qui n’aiment pas le passage à Substack, il y a https://old.chipsandcheese.com/2024/10/11/amds-turin-5th-gen...
    Au moins pour l’instant, ça marche.

  • Un modèle avec seulement 16 cœurs mais 512 Mo de cache L3 est clairement destiné à certaines charges de travail spécifiques.

    • Oracle peut facturer EE et ses options à plus de 40 000 à 100 000 dollars par cœur, avec un multiplicateur de 0,5, et certaines charges de travail sont très sensibles au cache.
      Une configuration à 2 sockets avec un CPU 16 cœurs[1] doté de beaucoup de cache, d’une forte bande passante, de fréquences élevées et d’une grande capacité mémoire peut donc être la plus efficace face à plus d’un million de dollars de coûts de licence.
      [1] https://www.amd.com/en/products/processors/server/epyc/9005-...
    • La topologie de ce modèle est vraiment particulière. Physiquement, c’est le même silicium que le modèle 128 cœurs, mais avec un seul cœur laissé actif sur chaque chiplet de calcul.
      Autrement dit, 112 cœurs sont désactivés pour n’en garder que 16, afin de conserver autant de cache que possible.
      En revanche, comme on passe toujours par le bus relativement lent entre chiplets, la latence entre cœurs ne doit pas être très bonne.
    • Je me demande si les puces AMD récentes permettent de mapper le cache L3 pour l’utiliser comme de la TCM plutôt que comme un cache.
      D’anciens processeurs non-x86 le permettaient, et démarraient souvent dans ce mode afin de pouvoir initialiser le contrôleur mémoire. Si c’est encore possible aujourd’hui, cela pourrait ouvrir des usages embarqués intéressants, comme de gros systèmes sans DRAM.

  • Il y a un passage qui dit : « le système auquel ils ont eu accès faisait tourner la mémoire à 6000 MT/s, et la DDR5-6000 MT/s est prise en charge par la plupart des systèmes en configuration 1 DIMM par canal. Avec 2 DIMM par canal, la vitesse mémoire descend à 4400 MT/s, et si l’on utilise 1 DIMM par canal sur une carte mère à 2 DIMM par canal, il faut s’attendre à 5200 MT/s » ; je me demande si toutes ces vitesses concernent de la mémoire ECC.

    • Oui. Les serveurs n’utilisent que de la RAM ECC.