Lancement de l’accélérateur IA Intel Gaudi 3

• Présentation de l’accélérateur IA Intel Gaudi 3

  • L’accélérateur IA Intel Gaudi 3 a été annoncé le 9 avril 2024 lors de l’événement Intel Vision à Phoenix, en Arizona
  • Il offre des performances de calcul IA 4 fois supérieures en BF16 et une bande passante mémoire 1,5 fois plus élevée que la génération précédente
  • Grâce à un logiciel open source générique basé sur la communauté et à l’Ethernet standard du secteur, il offre davantage de choix aux clients et permet une extension plus flexible des systèmes

• Pourquoi Gaudi 3 est important

  • Dans des secteurs clés comme la finance, l’industrie manufacturière et la santé, les entreprises élargissent l’accès à l’IA et font rapidement passer leurs projets d’IA générative (GenAI) de la phase d’expérimentation à celle du déploiement à grande échelle
  • Pour gérer cette transition, stimuler l’innovation et atteindre des objectifs de croissance des revenus, il faut des solutions et des produits ouverts, économiques et sobres en énergie
  • L’accélérateur Intel Gaudi 3 vise à répondre à ces besoins et, grâce à un logiciel ouvert basé sur la communauté et à l’Ethernet ouvert standard du secteur, à offrir de la diversité afin d’aider les entreprises à faire évoluer avec souplesse leurs systèmes et applications d’IA

• Comment une architecture sur mesure apporte performances et efficacité à la GenAI

  • L’accélérateur Intel Gaudi 3 a été conçu pour des calculs IA efficaces à grande échelle, et sa fabrication en 5 nm marque une avancée majeure par rapport à la génération précédente
  • Il a été conçu pour pouvoir activer tous les moteurs en parallèle, ce qui permet l’accélération nécessaire à des calculs de deep learning rapides et efficaces ainsi qu’à la montée en charge
  • Fonctions principales :
    • Moteur de calcul dédié à l’IA : moteur de calcul hétérogène composé de 64 TPC programmables personnalisés pour l’IA et de 8 MME
    • Boost mémoire pour les exigences de capacité des LLM : 128 Go de mémoire HBMe2, 3,7 To de bande passante mémoire et 96 Mo de SRAM embarquée
    • Extension efficace du système pour la GenAI d’entreprise : intégration de 24 ports Ethernet à 200 Gb offrant une mise en réseau flexible fondée sur des standards ouverts
    • Logiciel sectoriel ouvert pour la productivité des développeurs : intégration du framework PyTorch et modèles optimisés issus de la communauté Hugging Face
  • Fonction additionnelle PCIe de Gaudi 3 : nouveau format idéal pour le fine-tuning, l’inférence et la génération augmentée par récupération (RAG)

• Adoption par le marché et disponibilité

  • L’accélérateur Intel Gaudi 3 devrait être proposé aux OEM au deuxième trimestre 2024 dans des configurations standard du secteur en Universal Baseboard et en module accélérateur ouvert (OAM)
  • Adoption prévue par de grands OEM tels que Dell Technologies, Hewlett Packard Enterprise, Lenovo et Supermicro
  • La disponibilité générale de l’accélérateur Intel Gaudi 3 est attendue au troisième trimestre 2024, tandis que la carte d’extension Intel Gaudi 3 PCIe est attendue au quatrième trimestre 2024
  • L’accélérateur Intel Gaudi 3 devrait être utilisé dans plusieurs infrastructures cloud LLM économiques, dont NAVER

• Feuille de route

  • La dynamique autour de l’accélérateur Intel Gaudi 3 servira de base à Falcon Shores, le GPU de nouvelle génération d’Intel pour l’IA et le HPC
  • Falcon Shores devrait intégrer Intel Gaudi et Intel Xe IP, et fournir une interface unique de programmation GPU basée sur la spécification Intel oneAPI

L’avis de GN⁺

• Intel Gaudi 3 montre des améliorations significatives en performances d’entraînement et d’inférence pour les modèles GenAI face à de grands produits concurrents comme les Nvidia H100 et H200. Il pourrait ainsi se positionner comme une alternative capable de remettre en cause la position dominante de Nvidia sur le marché de l’IA
• La prise en charge d’un logiciel ouvert et d’une scalabilité fondée sur des standards peut contribuer à l’efficacité économique des entreprises et à la prévention du vendor lock-in. Cela pourrait en faire une option particulièrement attractive pour les entreprises qui veulent déployer des systèmes d’IA à grande échelle
• Cela dit, Intel a rencontré ces dernières années des difficultés telles qu’un recul de sa compétitivité sur le marché des CPU et des retards de lancement de produits. Il faudra suivre si Gaudi 3 peut être lancé comme prévu et faire l’objet d’une adoption large chez les clients
• Sur le marché des semi-conducteurs pour l’IA, des produits concurrents comme l’Instinct MI300 d’AMD arrivent également, ce qui devrait intensifier la concurrence. Au-delà de l’avantage technique, la construction d’un écosystème logiciel et l’acquisition de clients devraient être les principaux terrains de compétition

[GN⁺]

Avis sur Hacker News

• Grâce à l'utilisation de l'interface OAM, les passionnés pourront probablement encore exploiter cet appareil dans 8 à 10 ans
• Scepticisme quant à la capacité d'Intel à assurer un support durable et constant pour cette gamme de produits
• La mémoire utilisée est de la HBM2e, celle déjà employée sur la Nvidia A100 sortie en 2020 ; ce n'est pas la plus récente, mais avec 8 piles elle atteint une bande passante comparable à celle de la H100
• Curiosité de voir si le prix de la "Gaudi 3 PCIe" sera suffisamment raisonnable pour l'intégrer dans une station de travail
• Remerciements pour l'utilisation de la méthode des 5W et du H dans cette annonce
• Il semble que la Gaudi 3 soit fabriquée en procédé 5 nm chez TSMC ou Samsung
• Avec l'essor des architectures clairsemées comme le MoE, la capacité de 128 Go semble importante, et le produit paraît en mesure de concurrencer Nvidia
• Attente également de benchmarks MLPerf pour l'AMD MI300x
• L'intégration de 24 ports Ethernet 200 Gb est impressionnante, tout en étant décevante quand on pense au coût des câbles et autres éléments associés
• L'emploi de "terabytes (TB)" comme unité de bande passante mémoire est inhabituel