- Après le lancement de ChatGPT en novembre 2023, la demande pour les GPU H100 a explosé, faisant grimper le tarif de location horaire de 4,70 $ à plus de 8 $
- Les fournisseurs de datacenters prévoyaient une période de retour sur investissement de moins de deux ans en louant des H100 à plus de 4,50 $ de l’heure
- Mais en août 2024, le tarif de location des GPU H100 pour les petits clusters est tombé autour de 1 à 2 $ de l’heure
Seuils de rentabilité des investissements H100 dans les datacenters
- Plus de 2,85 $/heure : possibilité de surperformer le rendement du S&P500
- Moins de 2,85 $/heure : sous-performance par rapport au rendement du S&P500
- Moins de 1,65 $/heure : pertes d’investissement probables sur 5 ans
Principales causes de la chute rapide des prix du marché des GPU H100
- Montée en puissance des modèles à poids ouverts, entraînant une hausse de la demande en inférence et en fine-tuning
- À l’inverse, contraction du marché des créateurs de foundation models de petite et moyenne taille
- De nombreuses entreprises et startups ont compris qu’il était plus économique et plus efficace d’ajuster finement des modèles open weight existants que d’entraîner leurs propres modèles
- Retrait des investissements des startups et entreprises qui ne prévoient pas d’entraîner de grands modèles de plus de 70B
- De nombreux fournisseurs d’infrastructure sécurisent leurs profits via des contrats de long terme de 3 à 5 ans
- Une pratique imposée par diverses entreprises de modèles fondamentaux pendant le pic de l’IA en 2023
- Début de la revente des capacités inutilisées sur les nœuds réservés
- La construction de clusters internes par de grands créateurs de modèles comme Facebook et Microsoft réduit la demande pour les clusters existants
- ChatGPT a été lancé en novembre 2022 sur la série A100, et le H100 a été introduit en mars 2023. Le H100 était 3 fois plus puissant que l’A100, pour seulement 2 fois son prix
- Arrivée de GPU alternatifs au H100 comme l’AMD MI300 et l’Intel Gaudi3
- Baisse de la demande de minage sur GPU avec le passage d’Ethereum à la preuve d’enjeu et la domination des ASIC dans le minage du bitcoin
Points à retenir
- Le coût moyen d’un H100 dépasse 50k $, et en supposant une durée de vie de 5 ans, il existe différents modèles de location
- Au-dessus de 2,85 $/heure, il est possible de battre l’IRR du marché actions, mais en dessous, des pertes peuvent apparaître
- Les nouveaux investissements dans du matériel H100 ont de fortes chances d’entraîner des pertes
- Hors situations exceptionnelles comme des H100 remisés, le coût de l’électricité ou des exigences clients très spécifiques
- À l’inverse, la baisse des prix des H100 devrait servir de catalyseur à la diffusion de l’IA à poids ouverts
- On peut s’attendre à une accélération des expérimentations sur les modèles ouverts et du développement d’applications par les développeurs et ingénieurs
- Featherless.AI propose l’inférence instantanée de plus de 2 000 modèles d’IA open source pour un tarif fixe de 10 $ par mois
- Pour assurer la rentabilité du matériel, l’optimisation de toutes les couches et le choix de GPU adaptés sont indispensables
L’avis de GN⁺
- Évolution du marché des GPU : la baisse des prix des GPU H100 montre à quel point le marché des GPU évolue rapidement. Cela a un impact majeur sur les investisseurs et les fournisseurs d’infrastructure
- Influence des modèles open source : l’arrivée de modèles open source comme Llama 3 accroît la demande en fine-tuning et en inférence. Cela réduit la demande liée à l’entraînement de modèles à grande échelle
- Essor des GPU alternatifs : les GPU d’AMD et d’Intel s’imposent comme alternatives au H100, ce qui intensifie la concurrence sur le marché. Cela pourrait exercer une pression supplémentaire à la baisse sur les prix des GPU
- Opportunités pour les applications d’IA : la baisse du coût des GPU réduit la barrière à l’entrée pour le développement d’applications d’IA et peut favoriser davantage d’innovations
- Nécessité de repenser la stratégie d’investissement : l’investissement dans les infrastructures GPU exige une approche prudente et une observation attentive des tendances du marché
2 commentaires
L’effet papillon déclenché par llama... c’est intéressant. haha
Avis Hacker News
Un service proposant des GPU à 2 $ pourrait mettre son activité en danger en s’appuyant sur du calcul peu fiable. AWS a amélioré la fiabilité de l’infrastructure GPU d’entreprise haut de gamme.
Les centres de données déjà dotés d’une infrastructure ont pu générer d’importants revenus avec les H100. Mais dans un marché efficace, ce type d’opportunité ne dure pas éternellement.
Les vrais revenus viennent de la location de clusters InfiniBand, pas de GPU ou de machines pris individuellement.
Il y a moins de 50 équipes dans le monde qui ont besoin de 16 nœuds H100. Beaucoup d’équipes ne deviendront pas rentables.
Beaucoup de fondateurs essaient de convaincre les investisseurs en entraînant des modèles, mais les cas où un modèle réellement utile a été entraîné restent rares.
Cela exprime la tristesse des laboratoires universitaires qui ne pouvaient pas acheter de ressources de calcul à l’époque où la recherche en IA était très active.
Cette situation rappelle le cycle de boom et de récession du pétrole décrit dans 'The Prize: The Epic Quest for Oil, Money & Power'.
OpenAI doit continuer à améliorer ses modèles en réponse aux progrès des modèles open source.
Cela ressemble à une mauvaise nouvelle pour les fermes de location de GPU.
Quelqu’un partage l’avis qu’il a légèrement augmenté sa position short sur NVDA.