Meta réutilise d’anciennes RAM dans de nouveaux serveurs grâce à une puce de pont CXL sur mesure

 (theregister.com)
1 points par GN⁺ 3 시간 전 | 1 commentaires | Partager sur WhatsApp
  • Meta connecte de la mémoire DDR4 destinée à être mise au rebut à de nouveaux serveurs DDR5, ce qui réduit jusqu’à 25 % le nombre de serveurs nécessaires pour certaines charges de travail d’inférence désagrégée
  • Environ 40 % de la flotte de serveurs ne peut pas être étendue en mémoire, tandis que la mémoire peut être utilisée plus longtemps que les serveurs, ce qui fait du recyclage des DIMM un levier de réduction des coûts
  • Son ASIC maison Vistara relie la DDR4 à une interface PCIe Gen5 x16 compatible CXL 2.0/1.1, contournant ainsi les limites des équipements CXL existants pour la réutilisation de DDR4
  • Le MemServer basé sur Vistara combine un AMD Turin, 768 Go de DDR5 et 256 Go de DDR4, et expose la DDR4 au système d’exploitation comme un nœud NUMA distinct sans CPU
  • La mémoire étendue via CXL réduit de 33 % les échecs de tâches dus à l’OOM, les redémarrages et le surcoût lié à la fragmentation des ressources, allégeant ainsi l’exploitation d’infrastructures à grande échelle

Pourquoi réutiliser la DDR4

  • Meta récupère des DIMM DDR4 issus d’anciens serveurs et les installe dans de nouveaux serveurs pour constituer un pool de mémoire partageable
  • Environ 40 % de la flotte de serveurs ne peut pas être étendue en mémoire, ce qui complique l’exécution de certaines charges de travail
  • La durée de vie attendue d’un serveur est de 3 à 5 ans, alors que la mémoire peut rester utile pendant 7 à 10 ans
  • Cet écart de durée de vie fait de la réutilisation de la mémoire d’anciens serveurs dans de nouveaux systèmes un moyen d’améliorer l’efficacité de l’infrastructure
  • Part des serveurs non extensibles en mémoire : {p:40}

Les contraintes de l’adoption de CXL et le rôle de Vistara

  • CXL permet de partager la mémoire entre plusieurs hôtes, mais en production, une bande passante plus faible, une latence plus élevée et le surcoût de gestion d’une couche mémoire supplémentaire peuvent être contraignants
  • Ces limites peuvent être encore plus visibles lorsqu’on combine différentes technologies mémoire dans un même système
  • Meta voulait mélanger plusieurs types de mémoire au sein d’une même machine, mais les équipements CXL du marché ne correspondaient pas à ses besoins
    • La plupart des solutions CXL regroupent DRAM et contrôleur, ce qui rend la réutilisation des DIMM difficile
    • Beaucoup ne prennent pas en charge la DDR4, ce qui les rend inadaptées au recyclage d’anciennes mémoires
    • La consommation électrique et le coût réduisent aussi leur intérêt
  • Pour combler ce manque, Meta a développé l’ASIC sur mesure Vistara

Configuration de l’ASIC Vistara

  • Vistara joue le rôle de pont CXL reliant la mémoire DDR4 au processeur hôte
  • Son interface principale est un PCIe Gen5 x16 compatible CXL 2.0/1.1
  • Chaque ASIC Vistara comprend la configuration suivante
    • 2 canaux mémoire DDR4 72 bits indépendants
    • prise en charge jusqu’à 3 200 MT/s
    • jusqu’à 256 Go par puce avec des DIMM de 64 Go
  • L’ASIC s’appuie sur 2 processeurs RISC-V sur mesure

Matériel et logiciel de MemServer

  • Le matériel Vistara est intégré dans un équipement que Meta appelle MemServer
  • Chaque MemServer combine les éléments suivants
    • processeur AMD Turin
    • 158 cœurs, 316 threads
    • 768 Go de DDR5
    • 256 Go de DDR4 reliés via l’ASIC Vistara
  • La carte CXL Vistara est installée dans un emplacement à accès arrière uniquement à l’intérieur du châssis du MemServer
  • Pour gérer la charge thermique liée à la mémoire haute densité et au périphérique CXL, le châssis utilise des ventilateurs haute capacité et un flux d’air dirigé afin d’envoyer directement de l’air de refroidissement vers le module Vistara
  • Côté logiciel, la DDR4 apparaît au système d’exploitation comme un nœud NUMA distinct sans CPU, séparé du nœud DRAM local directement relié au processeur
  • La plateforme de Meta utilise d’abord la DDR4 locale disponible, puis bascule vers la mémoire basée sur CXL si nécessaire
  • Le code du pilote Linux CXL utilisé pour Vistara est déjà présent dans le noyau upstream ou suit actuellement le processus d’intégration upstream

Déploiement en production et effets opérationnels

  • Meta déploie la configuration CXL basée sur Vistara dans une infrastructure hyperscale comptant des millions de serveurs
  • Les charges de travail concernées incluent notamment
    • l’inférence ML désagrégée, y compris les tables d’embedding des systèmes de recommandation
    • le traitement big data
    • les bases de données
    • les caches distribués
    • les systèmes de build CI/CD
  • Les outils big data comme Spark et Hive traitent des jeux de données de taille téraoctet à pétaoctet et peuvent nécessiter des centaines de Go de mémoire par tâche
  • Dans ce type de charges, les événements OOM peuvent interrompre des analyses métier critiques et des pipelines ML
  • La marge mémoire apportée par CXL réduit le risque d’OOM, ce qui diminue de 33 % le surcoût lié aux échecs de tâches, aux redémarrages de tâches et à la fragmentation des ressources
  • Dans l’inférence désagrégée, l’effet observé va jusqu’à une réduction de 25 % du nombre de serveurs
  • Meta bénéficie aussi d’un effet d’évitement face aux prix élevés de la mémoire
  • Réduction du surcoût opérationnel : {p:33}
  • Réduction du nombre de serveurs pour l’inférence désagrégée : {p:25}

À lire aussi

1 commentaires

 
GN⁺ 3 시간 전
Commentaires Hacker News

  • Au début de Neuromancer de William Gibson, le protagoniste essaie de vendre 3 Mo de RAM au marché noir, et cet exemple est souvent cité comme un cas où le livre a mal vieilli
    Mais quand on regarde la direction que prend aujourd’hui le marché de la mémoire… peut-être que nous n’en sommes pas encore arrivés là

    • Les premiers informaticiens étaient vraiment optimistes. Ils croyaient qu’avec quelques Ko de RAM et quelques MHz de CPU, on pouvait tout faire : intelligence artificielle, conscience, apprentissage automatique, langage, synthèse vocale
      Aujourd’hui, un simple formulaire web consomme des Go de RAM. L’idée de Gibson selon laquelle 3 Mo de RAM suffiraient pour une conscience dans le cyberespace est très optimiste, mais elle collait bien à l’ambiance de l’époque
    • Depuis que j’ai commencé à regarder l’informatique de près, le progrès qui m’a le plus marqué a souvent été la capacité mémoire. Le réseau ou l’USB sont aussi de grandes avancées, mais ils ne rendent pas un ordinateur “plus rapide” de la même manière
      En 2000, quand Diablo II venait juste de sortir, j’avais parfois accès à un ordinateur avec un Pentium III à 450 MHz et 64 Mo de RAM ; à l’époque, 64 Mo de RAM correspondaient à peu près au milieu de gamme et n’allaient pas forcément de soi. Si je me souviens bien, Diablo II recommandait 64 Mo pour le solo et 128 Mo pour le multijoueur
      L’ordinateur sur lequel j’écris ce message a 64 Go de RAM, soit 1024 fois plus. En revanche, le CPU est un Intel 20 cœurs à environ 3 GHz max, et même en supposant que chaque cœur tourne simultanément à pleine vitesse, cela ne représente qu’un gain d’environ 133 fois
      Le temps de lecture en NVMe est peut-être tout aussi important que l’augmentation de la capacité mémoire, voire plus, mais sur les fiches techniques PC, cela n’apparaît pas aussi clairement que la mémoire et le CPU
      L’augmentation de la capacité des disques durs est elle aussi impressionnante, presque autant que la RAM. En 2000, on était, je crois, autour de 10 à 30 Go ; aujourd’hui, je n’ai pas besoin d’un disque de 10 To et 1 To me suffit, donc personnellement l’effet me paraît moins sensible que pour la mémoire
    • Au début de l’histoire de l’informatique, les unités de mémoire n’étaient pas encore standardisées, la taille des mots variait selon l’architecture matérielle, et elle n’était pas forcément divisible par 8
      La capacité mémoire de ces machines était souvent exprimée dans leur taille de mot native. Par exemple : « cette machine dispose de 8 kilomots de mémoire à tores ». Donc, quand je vois dans de vieux romans une capacité mémoire qui paraît anachronique, je me dis simplement que je ne connais pas la taille des mots qu’ils utilisaient
    • Si ce sont 3 Mo de RAM « chaude » conservés dans un flacon cryogénique, on est plus proche d’une attaque par cold boot ; dans ce cas, on ne vend pas la RAM, on vend les données
    • Dire qu’une œuvre a mal vieilli pour cette raison, c’est quand même un peu tatillon. Hamlet n’a pas de téléphone portable et ça reste une excellente pièce
      Même si un simple FaceTime aurait sans doute évité la tragédie

  • Je ne comprends pas pourquoi on ne va pas directement vers un article source plus détaillé
    https://www.theregister.com/systems/2026/06/29/zuck-saves-me...

    • Le lien vers le papier original est https://aisystemcodesign.github.io/papers/isca26/vistara_cam...
      En le parcourant rapidement, on peut voir ça comme l’usage d’une grande quantité de DDR4 branchée sur des cartes PCIe comme une sorte d’espace de swap. En réalité, c’est plus sophistiqué à cause du protocole CXL, mais c’est une bonne façon de comprendre le compromis
      Il semble aussi y avoir un support au niveau du système d’exploitation pour déplacer les pages chaudes/froides entre la DRAM principale rapide et une DRAM étendue avec une latence plus élevée
      Le fait que la DRAM ait une durée de vie assez longue, qu’elle embarque déjà une quantité significative de carbone intrinsèque issue de sa fabrication, et qu’il existe en même temps une crise d’approvisionnement en DRAM neuve, en fait un sujet tout à fait pertinent
    • Ce qui m’étonne, c’est qu’on présente ça comme si c’était grâce à « Zuck ». Il paraît peu probable qu’il connaisse réellement ce genre de détails
    • Si par « article source » on entend la source initiale, ce serait plutôt ce site frère du Register
      https://www.blocksandfiles.com/architecture/2026/06/26/panmn...

  • Je me suis toujours demandé pourquoi il n’y a jamais vraiment eu de grand marché pour des « cartes PCI/PCI-X/PCIe bon marché utilisant de vieux ou des SIMM/DIMM en surplus, ou de la mémoire vieille d’une ou deux générations, comme swap / mémoire lente / RAM disk »
    Il est rare que l’espace d’adressage de la carte mère soit entièrement rempli avec la mémoire la plus récente, et comme le noyau peut aussi apprendre à privilégier certains types de mémoire selon leur vitesse, cela semblait tout à fait faisable
    Je me souviens qu’un marché similaire qui voulait faire quelque chose d’approchant avec de la flash avait été freiné par des problèmes de brevets, mais mes souvenirs sont flous sur les détails. Cela dit, le cache flash est tout de même devenu un marché, au moins chez les grands acteurs. Il y a peut-être eu quelque chose de similaire ici aussi, ou alors cela ne concernait que la niche qui m’intéressait à l’époque
    [1] Je sais qu’il y a eu quelques produits dans ce domaine, mais j’ai l’impression qu’ils ne se sont jamais vraiment imposés. Je peux me tromper
    [2] Sur NetBSD, c’est clairement possible. Je l’ai fait directement sur des architectures comme VMEbus, où il est courant d’avoir une petite mémoire embarquée rapide et une mémoire côté bus plus lente mais plus grande. J’imagine que Linux peut aussi faire ce genre de choses grâce au travail autour du support NUMA, mais je n’ai jamais vérifié moi-même

    • S’il n’y avait pas de grand marché, c’est parce que la mémoire neuve n’était pas assez chère pour rendre prohibitif le coût, le risque et les contraintes liés à l’utilisation d’ancienne mémoire dans des serveurs récents
      Aujourd’hui, la situation a changé, donc les gens réexaminent cette idée
    • Ce n’est pas exactement la même chose, mais je construis une boîte NAS avec de vieux composants. Comme la plupart de ma RAM en rab est de la DDR4 SODIMM pour portable, j’ai essayé des adaptateurs SODIMM → DIMM desktop, mais ça ne marche pas bien
      Le système ne démarrait qu’environ 1 fois sur 5, et je n’ai jamais réussi à le stabiliser, quels que soient les réglages de vitesse mémoire
    • Je me souviens qu’il y a 30 ans, il existait des cartes de ce genre permettant d’adapter 4 modules SIMM 30 broches à un slot SIMM 72 broches
      https://www.ebay.com/itm/383521792853
    • Les DIMM d’anciennes générations ne sont pas si bon marché et leur disponibilité est limitée. Les produits d’anciennes générations sortent de la production pour libérer de la capacité de fabrication pour les nouvelles puces
      La DDR2 est déjà plus chère que la DDR3, probablement parce qu’elle n’est plus produite, alors qu’il reste une demande pour remplacer ou mettre à niveau la mémoire de vieux matériels
    • D’après ce que j’en comprends, la grande différence aujourd’hui, c’est que CXL ajoute la cohérence de cache au-dessus de PCIe. Je peux me tromper
      Sans cohérence de cache, il faut être beaucoup plus prudent sur la façon d’utiliser cette mémoire, et la question des performances devient aussi plus compliquée. La RAM sur CXL sera moins performante que de la RAM directement connectée au contrôleur mémoire du CPU, mais sans gros pièges cachés

  • Si vous ne voulez pas concevoir une puce sur mesure, il existe des produits standard, à savoir des puces d’extension mémoire CXL
    https://www.marvell.com/products/cxl.html

  • Ce qui est intéressant dans cette « crise de la RAM », c’est que, comme dans d’autres domaines, quand un problème apparaît, plusieurs acteurs commencent à chercher des alternatives
    Après la crise, cela pourrait déboucher — espérons-le aussi pour les machines locales — sur des idées intéressantes ou des solutions de contournement capables de créer un boom de la mémoire
    Premièrement, Apple étudie de nouveaux fabricants chinois, et si l’assurance qualité est correcte, cela pourrait modifier l’équilibre entre l’offre et la demande. (https://www.ft.com/content/f4ac5c92-03be-4499-b16a-017a7e9ee...)
    Deuxièmement, les entreprises cherchent des contournements côté performances. D’un coup, le simple canal devient « acceptable » ? :)
    (https://www.gigabyte.com/press/news/2403)

    • Même de la RAM en simple canal reste clairement meilleure que du swap sur disque
    • J’aimerais qu’on recommence à concevoir les logiciels en gardant à l’esprit les contraintes matérielles
    • Au fond, la nécessité est la mère de l’invention. C’est probablement l’un des concepts abstraits les plus anciens de la pensée humaine
      Il existe un lien très étroit entre pénurie de ressources et motivation. La demande que les plus grands modèles de frontière imposent à la RAM, aux SSD et aux GPU constitue une motivation directe pour concevoir des LLM plus petits. C’est un peu comme la pression évolutive qui pousse les animaux à devenir plus petits et à consommer moins de nourriture
      Même si ces petits modèles réussissent, ils continueront probablement, hormis pour le traitement vidéo de haute qualité, à consommer plus de RAM, de SSD et de GPU que pratiquement n’importe quelle autre application. Les petits LLM et le traitement vidéo avancé semblent exiger des ressources assez comparables
      Mais les ressources pourraient alors se répartir de manière plus traditionnelle sur l’ensemble du marché, avec un cycle un peu moins délirant
      Donc, la sortie de la crise cyclique des prix de la RAM/SSD que connaissent les fabricants — entre contraintes d’offre et surproduction liée aux nouvelles capacités de fabrication — semble être de financer la recherche sur des LLM plus petits. Ils vendront de toute façon à peu près la même quantité de produits, voire peut-être davantage

  • J’aimerais bien qu’on fasse aussi ça pour le grand public. J’ai pas mal d’ancienne RAM

    • Gigabyte avait autrefois fabriqué une carte d’extension de RAM disk. Ce n’est pas exactement la même chose, mais comme elle apparaissait comme un périphérique de stockage, on pouvait l’utiliser comme espace de swap pour le système d’exploitation
      https://en.wikipedia.org/wiki/I-RAM
    • Ajouter de la RAM de cette manière n’est pas exactement équivalent à étendre la RAM principale du système. Comme la RAM est reliée via un lien de type PCIe, elle ne se comporte pas comme de la RAM native
      Ce type de structure convient mieux à des fermes de serveurs où des ingénieurs peuvent personnaliser et ajuster l’architecture
      Il y a aussi eu des cartes utilisant la RAM comme stockage, mais comme il fallait les configurer comme des disques, leurs usages étaient très limités et elles n’ont pas rencontré de succès
    • Les systèmes grand public n’ont pas autant de bande passante vers le CPU, donc l’intuition est un peu différente
      Quand on voit le prix de la DDR4 d’occasion aujourd’hui, il vaut peut-être mieux la revendre et acheter un SSD NVMe

  • ServeTheHome a déjà parlé en décembre des contrôleurs d’extension mémoire CXL
    https://www.servethehome.com/hyper-scalers-are-using-cxl-to-...

  • Le document dit ceci : « Notre solution CXL a obtenu de fortes améliorations sur divers workloads et a réduit jusqu’à 25 % le nombre de serveurs en inférence ML distribuée »
    Je ne vois pas comment utiliser de la RAM de moindre qualité peut permettre de réduire de 25 % le nombre de serveurs pour le même workload

    • Parce qu’elle ne remplace pas une meilleure RAM, elle s’ajoute en plus
    • CXL consiste essentiellement à ajouter de la RAM « lente » au-dessus de PCIe. Ce n’est pas un remplacement

  • Je trouve intéressant de voir à quoi ressemblera le marché de l’électronique grand public dans les prochaines années. Les entreprises parient en ce moment que les consommateurs accepteront de payer plus cher à cause de la pénurie de RAM
    Mais comme tous les autres coûts augmentent aussi, j’ai l’impression qu’un bon nombre de consommateurs n’achèteront tout simplement pas de nouveaux appareils pendant un moment. Il faut se rappeler que, contrairement à HN, tout le monde n’a pas un salaire du secteur tech

    • Je crois que je suis moi-même assez proche de cette situation. Je choisis simplement d’interagir moins avec la technologie
      Tout devient de plus en plus hostile, et on a atteint un point de bascule
    • Les éditeurs de systèmes d’exploitation vont devoir prendre en charge plus longtemps le matériel ancien
      Win10 a déjà été prolongé d’un an, Microsoft ayant essayé d’imposer du nouveau matériel pour Win11

  • Sympa, donc maintenant le prix de la RAM d’occasion pourrait aussi s’envoler
    Ce serait bien que le prix des PC redevienne celui d’une voiture. Il y aurait alors énormément d’opportunités de monétisation

    • C’est déjà le cas. De la DDR4 d’occasion vieille de 5 ans coûte désormais plus cher que du neuf il y a 5 ans