Le PDG de Nvidia, Jensen Huang, présente une nouvelle puce d’IA : « Il faut un GPU plus grand »

Le PDG de Nvidia, Jensen Huang, présente une nouvelle puce d’IA : « Il faut un GPU plus grand »

• Nvidia a annoncé lundi une nouvelle génération de puces d’intelligence artificielle (IA) ainsi qu’un logiciel destiné à exécuter des modèles d’IA.
• Le nouveau processeur graphique pour l’IA s’appelle « Blackwell » et devrait être expédié plus tard dans l’année.
• Cette annonce intervient à un moment crucial pour les entreprises et les éditeurs de logiciels, qui s’activent encore pour mettre la main sur des puces similaires à la génération actuelle H100.

Blackwell, le successeur de Hopper

• Nvidia met à jour son architecture GPU tous les deux ans, avec à la clé des bonds de performance majeurs.
• Le GB200, un processeur basé sur Blackwell, offre 20 pétaflops de performances en IA contre 4 pétaflops pour le H100, ce qui permet aux entreprises d’IA d’entraîner des modèles plus grands et plus complexes.
• La puce intègre un « Transformer Engine » spécialement conçu pour exécuter l’IA basée sur les transformeurs, et combine deux dies fabriqués par TSMC en une seule grande puce.

Microservices d’inférence Nvidia

• Nvidia ajoute à son abonnement logiciel Nvidia Enterprise un nouveau produit appelé « NIM » (Nvidia Inference Microservice).
• NIM facilite l’étape d’inférence nécessaire pour exécuter des logiciels d’IA à l’aide des GPU Nvidia existants, permettant aux entreprises de continuer à utiliser les millions de GPU Nvidia qu’elles possèdent déjà.
• Cette stratégie vise à inciter les clients qui achètent des serveurs basés sur Nvidia à souscrire à Nvidia Enterprise, qui facture des frais de licence annuels de 4 500 $ par GPU.

L’avis de GN⁺

• L’annonce de la nouvelle puce d’IA « Blackwell » de Nvidia et du logiciel associé « NIM » symbolise les avancées technologiques dans le domaine de l’IA et souligne l’importance des plateformes matérielles et logicielles pour l’entraînement et l’inférence des modèles d’IA.
• L’amélioration des performances de la puce Blackwell offre aux chercheurs en IA l’opportunité d’expérimenter avec des modèles plus grands et plus complexes, ce qui peut jouer un rôle important dans les progrès de l’IA.
• Cependant, le prix élevé des puces d’IA hautes performances peut constituer une barrière à l’entrée pour certaines entreprises ou institutions de recherche, ce qui peut alimenter le débat sur la démocratisation de la technologie.
• D’autres entreprises en concurrence avec Nvidia développent également des produits dotés de fonctionnalités similaires, comme l’AMD Radeon Instinct ou le TPU de Google, offrant ainsi des alternatives sur le marché du matériel pour l’IA.
• Parmi les éléments à prendre en compte lors de l’adoption de technologies d’IA figurent le coût, les performances, la compatibilité et le support technique ; le nouveau choix technologique de Nvidia peut offrir un avantage majeur aux entreprises pour lesquelles ces critères sont déterminants.

[corelyai]

• Conférence des développeurs Nvidia : présentation de la puce Blackwell et des technologies futures

• Nvidia a présenté Blackwell, une plateforme innovante dotée de 28 milliards de transistors adjacents sur deux dies afin de créer une seule puce géante capable de transférer 10 téraoctets de données par seconde, avec une compatibilité de format adaptée à Hopper.
• Le switch de lien MVY de Blackwell, équipé de 50 milliards de transistors, permet des communications à vitesse maximale entre GPU, rendant possible la construction d’un système d’IA de niveau exaflop dans un seul rack.
• Nvidia a annoncé que Blackwell s’associe à AWS, Google, Oracle et Microsoft pour accélérer divers services d’IA et intégrer la technologie Nvidia à ces plateformes.
• Nvidia a dévoilé une AI Foundry, en collaboration avec des entreprises comme SAP, ServiceNow, Cohesity, Snowflake et Dell, pour créer des solutions d’IA générative et des usines d’IA.
• En diffusant Omniverse Cloud sur Vision Pro pour permettre une intégration fluide et des workflows entre divers outils de conception, Nvidia présente aussi Project Groot, Isaac Lab et OSMO pour les robots alimentés par l’IA.
• Le robot bdx de Disney, propulsé par Jetson, a fait une apparition spéciale et a présenté ses capacités d’apprentissage dans Isaac Sim.

Il s’agit d’un résumé du contenu d’une vidéo CNET réalisé avec corely.ai (https://www.youtube.com/watch?v=bMIRhOXAjYk)

[GN⁺]

Avis Hacker News

• Il ressort de la conférence que Nvidia évolue dans le sens d’un empilement plus poussé de la stack.

  • En tant que fournisseur de matériel, Nvidia continue logiquement à construire des systèmes toujours plus grands.
  • Le point notable est qu’ils sont en train de construire NIM, un « docker for llms ».
  • NIM est un système de conteneurs pouvant être déployé facilement sur le matériel Nvidia.
  • Il sera intéressant de voir quel impact cela aura sur les startups IA.

• On constate que Nvidia est en train de se transformer en fournisseur de plateforme.

  • Cela semble potentiellement plus rentable pour Nvidia en tant que plateforme de services IA.
  • L’équilibre avec ses partenariats avec AWS et Microsoft pourrait être difficile.
  • Nvidia est avantagé par la forte dépendance de l’IA à CUDA.
  • Il sera intéressant de voir comment cela évoluera par la suite.

• On se demande si FP4 correspond à de la virgule flottante sur 4 bits.

  • Le graphique comparatif affirmant que c’est 30 fois supérieur à Hopper est quelque peu trompeur.

• Nvidia a acquis Bright Cluster Manager il y a quelques années.

  • Qui sera la prochaine cible d’acquisition ? On a l’impression qu’ils veulent fournir l’intégralité de la stack.

• On demande si « entreprise de plateforme » signifie ici multi-puce.

  • Comme il n’est pas réaliste d’entasser trop de transistors sur un seul die, aller vers le multi-puce paraît logique.

• Ils affirment une réduction de la consommation électrique par 25, ce qui est difficile à comprendre.

  • Il faudrait expliquer d’où vient ce chiffre.

• Mention d’une production de masse à des niveaux de pétaflops à deux chiffres.

  • Il existe diverses estimations de la puissance de calcul nécessaire pour reproduire l’activité du cerveau humain.
  • Un pétaflop correspond à 10^15.
  • Cela souligne à quel point l’époque est extraordinaire.

• Les revenus data center de Nvidia ont atteint un niveau record de 18,4 milliards de dollars au 4e trimestre 2023.

  • Cela représente une hausse de 27 % par rapport au trimestre précédent et de 409 % sur un an.
  • Cela suggère que les revenus liés à l’inférence augmentent fortement.

• Le fait que FP8 soit 2,5 fois supérieur à Hopper est un peu décevant après tout ce temps.

  • Comme il s’agit de deux puces fusionnées, le gain réel n’est en pratique que de 25 %.
  • L’essentiel des progrès concerne le débit mémoire et la consommation électrique.
  • On se demande quel impact ces avancées auront sur le segment grand public.

• Un lien complémentaire est fourni pour plus d’informations techniques.