Les clouds alternatifs connaissent une forte croissance alors que les entreprises réclament un accès moins coûteux aux GPU

Croissance des plateformes de cloud alternatives

• La demande pour les plateformes de cloud alternatives augmente plus que jamais.
• CoreWeave a récemment levé 1,01 milliard de dollars de nouveaux financements, portant sa valorisation à 19 milliards de dollars.
• Lambda Labs a également obtenu un financement structuré de 500 millions de dollars, tandis que Voltage Park investit 500 millions de dollars dans des centres de données basés sur des GPU.
• Together AI a reçu un investissement de 106 millions de dollars mené par Salesforce.

Hausse de la demande en IA générative

• Alors que le boom de l’IA générative se poursuit, la demande en matériel permettant d’exécuter et d’entraîner à grande échelle des modèles d’IA générative augmente également.
• Les GPU intègrent des milliers de cœurs capables de traiter en parallèle les équations d’algèbre linéaire qui composent les modèles génératifs, ce qui en fait un choix idéal pour l’entraînement, le fine-tuning et l’inférence.
• Cependant, le coût élevé de déploiement des GPU pousse la plupart des développeurs et des organisations à se tourner vers le cloud.

Les avantages des plateformes de cloud alternatives

• Les fournisseurs traditionnels de cloud computing comme AWS, Google Cloud et Microsoft Azure proposent des GPU et des instances matérielles spécialisées optimisés pour les charges de travail d’IA générative.
• Toutefois, pour certains modèles et projets, les clouds alternatifs peuvent être moins chers et offrir une meilleure disponibilité.
• Chez CoreWeave, la location d’un Nvidia A100 40GB coûte 2,46 $ de l’heure, soit 1 771 $ par mois. Sur Azure, le même GPU coûte 3,40 $ de l’heure, soit 2 448 $ par mois, et sur Google Cloud, 3,67 $ de l’heure, soit 2 642 $ par mois.

Les défis des plateformes de cloud alternatives

• L’enjeu sera de savoir si les fournisseurs de cloud alternatifs pourront continuer à mettre en ligne de grandes quantités de GPU et à les proposer à des prix compétitifs.
• La concurrence tarifaire pourrait devenir plus difficile à mesure que des acteurs établis comme Google, Microsoft et AWS augmentent leurs investissements dans du matériel sur mesure pour l’exécution et l’entraînement des modèles.
• De nombreuses charges de travail d’IA générative fonctionnent mieux sur GPU, mais pour les tâches moins sensibles au temps, les GPU ne sont pas nécessairement indispensables.
• Si la bulle de l’IA générative éclate, il existe un risque de surabondance de GPU et de forte baisse de la demande.

L’avis de GN⁺

• Avec l’explosion de la demande en GPU, l’influence des grands fournisseurs comme Nvidia pourrait encore se renforcer. Nvidia aurait accordé une priorité d’approvisionnement en GPU aux opérateurs de clouds alternatifs, ce qui semble relever d’une stratégie visant à consolider sa domination du marché.
• Si les fournisseurs cloud parviennent à sécuriser de vastes clusters de GPU, ils pourraient prendre un avantage concurrentiel pour attirer les grands projets d’IA. Le contrat de plusieurs milliards de dollars signé par Microsoft avec CoreWeave pour fournir de la puissance de calcul GPU à OpenAI en est un exemple représentatif.
• À plus long terme, le paysage du cloud pourrait être profondément remodelé par le développement de silicium personnalisé spécialisé IA, comme les TPU de Google, les Maia/Cobalt de MS Azure ou les Trainium d’AWS. Les hyperscalers chercheront probablement à réduire leur dépendance à Nvidia.
• Les clouds alternatifs émergent comme une nouvelle option, mais le nombre de clients disposant des capacités nécessaires en sécurité, conformité et gestion multicloud restera probablement limité. La domination des fournisseurs cloud traditionnels demeure très forte.

[GN⁺]

Avis Hacker News

Résumé :

• Le modèle économique d’AWS semble rendre la tarification confuse, au point qu’on ne connaît le coût qu’après utilisation
• L’analyse du coût mensuel du nouveau type d’instance n4-standard-2 de GCP montre que le coût des vCPU et de la mémoire est élevé, à 69 $ par mois, et que le prix des SSD est également élevé
• Il est prévu que les grands fournisseurs de cloud rencontrent des difficultés au cours des dix prochaines années. Le coût et la complexité de la construction de systèmes à l’échelle planétaire sont trop importants pour être facilement justifiés
• L’article comparant les coûts de location des GPU Nvidia A100 40GB chez CoreWeave, Azure et Google Cloud contient une erreur de calcul. Le coût mensuel de CoreWeave diffère d’environ 30 %
• fly.io est recommandé comme alternative adaptée aux workloads GPU. Sa fonction d’auto-scaling est bonne
• Le modèle économique d’AWS semble générer beaucoup de revenus à mesure que les startups en phase initiale deviennent de grandes entreprises. Mais avec la fin du ZIRP et les difficultés de financement par le VC, on s’attend à une baisse du nombre de startups capables de dépenser beaucoup d’argent pour une croissance explosive
• Une question est soulevée sur l’expérience d’utilisation de GPU cloud alternatifs pour les tâches d’inférence. La latence est importante, et la communication entre l’infrastructure AWS et des GPU situés ailleurs peut être difficile
• Core Weave et Lambda Labs ont une politique tarifaire prédatrice qui empêche de louer des GPU sans contrat annuel. Il existe aussi des entreprises comme sfcompute qui proposent du compute à l’heure
• Le simple fait d’avoir « obtenu un petit nombre de H100s/A100s » peut en soi constituer un modèle économique technologique rentable
• Crusoe Cloud propose des H100s, A100s et L40s à des prix très bas, sans facturer l’usage réseau. Le prix par FLOP est sans équivalent