gpudeploy - l’« Airbnb » du GPU

Marché du GPU

• GPU Deploy propose un service de GPU à la demande peu coûteux pour le machine learning et l’IA
• Préconfiguré pour les tâches de machine learning, il permet de démarrer immédiatement une instance GPU

Spécifications et tarifs des GPU proposés

• Prise en charge de divers modèles de GPU, dont Nvidia H100, A100, GeForce RTX 4090/3060, Quadro RTX 6000, etc.
• Mémoire GPU allant de 11 Go à 640 Go
• Nombre de cœurs CUDA : de 3 584 à 116 736
• Nombre de vCPU disponible : de 16 à 242
• Tarifs horaires allant de 0,06 $ à 26,55 $ (hors taxes, le prix réel est généralement plus bas)

Proposition de mise à profit de GPU inactifs

• Si vous disposez de GPU inactifs, vous pouvez fournir des ressources de calcul via GPU Deploy
  • Les opérateurs de clusters GPU peuvent louer des ressources de calcul inactives
  • Les entreprises d’IA peuvent également louer des ressources de calcul inactives
  • Les particuliers peuvent participer même s’ils possèdent un GPU

Avis de GN⁺

• Les frais de GPU à la demande étant très élevés, ce service est attractif car il permet d’utiliser des GPU à moindre coût lorsque vous en avez besoin
• Mais pour une utilisation à long terme, il peut être bien plus économique de déployer soi-même un serveur GPU
• Pour les particuliers et les PME qui souhaitent exploiter des ressources GPU, cela peut être un bon choix
• Du point de vue des entreprises, cela vaut la peine d’étudier l’adoption à court et à long terme en tenant compte des coûts de déploiement et d’exploitation d’un serveur GPU
• Parmi les services similaires de fourniture de GPU figurent AWS, GCP et MS Azure ; il convient de comparer attentivement les configurations GPU et les politiques tarifaires propres à chaque service
• L’utilisation de GPU inactifs est une proposition intéressante, mais des points de vigilance peuvent subsister sur la sécurité et la gestion des ressources

[GN⁺]

Commentaires de Hacker News

• Lorsqu’on met des ressources GPU à la disposition de tiers, il faut prendre en compte :
  • les questions de confidentialité — un attaquant pourrait installer un honeypot GPU et collecter des données
  • de faux calculs GPU — un attaquant peut utiliser un faux GPU pour réduire la charge de calcul et envoyer des données factices
  • des GPU défectueux — sans intention malveillante, un GPU cassé peut produire des résultats incorrects
• Le fait qu’il faille accepter des conditions d’utilisation et une politique de confidentialité puis d’être redirigé vers une page vide est étrange
• Le concept est excellent. C’est une idée de type « Airbnb pour GPU », similaire à Vast.ai, mais je me demande en quoi ce service est différent et meilleur
• « Provisionnement de GPU à la demande » me paraît plus facile à comprendre que « Airbnb pour GPU »
• Très bonne idée, et bonne chance ! Le projet crypto Akash Network m’impressionne, avec une demande et des cas d’usage légitimes
• Je ne comprends pas le point selon lequel Stability AI aurait surprovisionné du matériel. J’ai l’impression d’être aveuglé par le battage médiatique autour de l’IA
• Belle idée ! Comment la sécurité des fournisseurs est-elle assurée ? Quand on loue un cluster GPU, quels accès faut-il donner au locataire ? On ne transmet que le kernel GPU, ou faut-il aussi accorder des accès utilisateur limités ? Avez-vous envisagé de l’ajouter à un réseau privé pour une expérience fluide, sans obliger l’opérateur à ouvrir des ports de routeur ?
• Si vous voulez connaître les prix, consultez GPUMonger.com. Ce service a l’air beaucoup plus abouti et plus concret, mais pour une simple comparaison de prix, GPUMonger semble le bon choix
• Des entreprises qui apportent des solutions logicielles aux problèmes matériels apparaissent comme des champignons. On dirait que la plupart de la puissance de calcul disponible est déjà allouée, donc il faudra attirer davantage de fournisseurs. Je me demande pourquoi Y Combinator investit de nouveau dans des sociétés similaires. Shadeform.ai en est un autre exemple.
• Quelques remarques :
  • En regardant le script d’installation, commencer sans set -e peut entraîner une installation incomplète
  • Je ne sais pas ce que fait le binaire instance-server installé. Peut-on lui faire confiance sur mon serveur / mon réseau ?
  • C’est plutôt centré sur Nvidia, donc les GPU AMD ne devraient probablement pas être pris en charge pour l’instant
  • Ça a un air de MVP. On verra comment ça va évoluer avec le temps.
• Si un RTX 4090 reste inactif, combien peut-on gagner ?