Fly.io propose désormais des GPU

L’IA, c’est vraiment génial

• Fly.io est un nouveau service de cloud public qui permet de placer de la puissance de calcul au plus près des utilisateurs.
• Il est désormais possible d’utiliser des GPU pour traiter des charges de travail IA dans un environnement d’edge computing.
• Fly.io permet d’exécuter au plus près des utilisateurs des applications full stack ou une plateforme de développement basée sur l’API Fly Machines.

Cas d’usage concrets avec les GPU de Fly.io

• Il est possible de déployer son propre code et ses modèles préférés sur le backbone cloud de Fly.io.
• Avec les GPU de Fly.io, il est facile de lancer en deux étapes une application GPU exécutant Ollama (les copains de la génération de texte).
• Vous pouvez déployer l’application en ajoutant une configuration à fly.toml puis en exécutant la commande fly apps create sandwich_ai && fly deploy.

La vitesse de la lumière a ses limites

• Démarrer rapidement des GPU, c’est bien, mais Fly.io révèle toute sa valeur pour l’inférence à l’edge.
• On peut prendre l’exemple d’une application où l’utilisateur saisit les ingrédients disponibles dans sa cuisine et reçoit immédiatement une recette de sandwich.
• Fly.io dispose de GPU dans des datacenters du monde entier et permet d’exécuter le même programme dans toutes les régions compatibles GPU.

Seulement quand c’est vraiment nécessaire

• Les GPU sont de puissants dispositifs de traitement parallèle, mais ils ne sont pas bon marché.
• Vous pouvez ajouter une section services au fichier fly.toml pour définir comment l’application monte et descend en charge.
• Il est possible de configurer cela pour ne pas payer le coût du GPU lorsque personne ne demande de recette de sandwich.

Détails

• Des GPU sont proposés dans plusieurs régions aux États-Unis, en Europe et à Sydney.
• Plusieurs options de GPU et de tarification sont disponibles, et par défaut chaque déploiement utilise huit cœurs CPU AMD EPYC.
• Il est possible d’attacher des volumes jusqu’à 500 Go, et des remises sont également proposées pour les instances réservées et les hôtes dédiés.

Avis de GN⁺ :

• Fly.io met l’accent sur l’amélioration de l’expérience utilisateur en proposant un service cloud innovant capable de traiter des charges de travail IA dans un environnement d’edge computing.
• Son offre basée sur les GPU propose une solution qui prend en compte à la fois la rapidité de l’inférence et l’efficacité des coûts, particulièrement adaptée aux applications nécessitant une forte puissance de calcul en temps réel.
• Ce service est une avancée très intéressante et utile, car il améliore l’accessibilité des technologies d’IA et peut aider les développeurs à créer de nouvelles applications innovantes.

[GN⁺]

Avis Hacker News

• Un utilisateur se dit déçu par les fonctionnalités de base de Fly. Il reproche notamment au support de ne pas réussir à identifier des problèmes internes à la plateforme, ainsi que des messages d’erreur vagues, voire absents. Selon lui, Fly peut être attractif pour ceux qui utilisent ce service par peur ou méconnaissance de Kubernetes, mais de son côté, Kubernetes lui manque.
• Un membre des relations développeurs chez Fly.io indique que les GPU sont désormais accessibles au grand public et que les utilisateurs peuvent les tester. Il partage aussi un lien vers un billet de blog consacré aux GPU et invite les gens à poser leurs questions.
• Un autre utilisateur rappelle que Fly fait tourner ses VM avec Firecracker et souligne que Firecracker ne prend pas en charge les GPU par défaut. Il se demande donc comment Fly a implémenté ce support GPU et espère un article technique à ce sujet.
• Un utilisateur félicite Fly pour sa capacité à passer à une échelle de 0, expliquant que cela permet de réduire les coûts serveur pour faire tourner des sites expérimentaux avec très peu d’utilisateurs. Il aimerait voir un exemple de facturation au temps par requête.
• Un utilisateur regrette l’absence d’un service de remplacement à S3 chez Fly. Il propose un projet GNU Affero comme alternative, tout en estimant que ce n’est pas adapté à un usage business. Il apprécie la simplicité de Fly, son rapport qualité-prix et son VPN intégré, mais le fait de devoir quitter Fly pour stocker les assets utilisateurs est, selon lui, la raison décisive qui l’empêchera d’utiliser Fly pour son prochain projet.
• Un utilisateur se demande quel est le marché cible de Fly. Il s’interroge sur le fait de savoir si le service vise les petites applications ou les applications non validées qui doivent exécuter des modèles d’IA sans passer par des services d’hébergement, ou s’il a un autre objectif.
• Un utilisateur demande des retours sur les performances de Fly et dit avoir eu l’impression, au premier abord, que le service est cher, par exemple comparé aux machines CPU de Hetzner.
• Un utilisateur demande si quelqu’un a de l’expérience dans la comparaison entre Beam.Cloud et Fly.
• Un utilisateur demande à quelle vitesse le service peut redescendre à une échelle de 0, ajoutant que si c’est rapide, ce serait vraiment très intéressant.
• Un utilisateur se demande si Fly peut exécuter les fichiers cog utilisés par replicate, ainsi que des modèles prépackagés avec la même API de prédiction. Il estime que cela pourrait faire hésiter face à replicate, mais qu’une telle prise en charge offrirait une expérience plus fluide.