Migrer d’AWS vers un cloud européen : 62 % d’économies

• Hopsworks a réussi sa migration vers OVHCloud au 4e trimestre 2024 afin de réduire les coûts d’egress élevés d’AWS, avec 62 % d’économies à la clé
• En particulier, les coûts de sortie réseau ont été le principal facteur de réduction des dépenses : 90 $ par To sur AWS contre seulement 11 $ par To chez OVH, soit environ un huitième
• AWS offre un écosystème mature et une grande fiabilité, mais OVHCloud propose des performances compétitives avec une structure tarifaire plus simple et des coûts plus faibles
  • Kubernetes managé : AWS → 0,10 $/heure/cluster (72 $/mois) / OVHCloud → gratuit
  • Coûts de sortie réseau : AWS → 90 $ par To / OVHCloud → 11 $ par To (gratuit dans les zones locales)
  • Stockage S3 : AWS → 2300 $/mois par To / OVHCloud → 800 $/mois par To
  • Coût des requêtes Put/Get : AWS → 566 $ pour 100 millions de requêtes / OVHCloud → gratuit
  • Registre de conteneurs : AWS → 212 $/mois pour 5 To / OVHCloud → 212 $/mois pour 5 To (44 $/mois pour 600 Go)
  • Transfert de données inter-zones de disponibilité : AWS → 2000 $ pour 100 To / OVHCloud → gratuit
  • Instances EBS : AWS → 81,92 $/mois par To → OVHCloud / 97,28 $/mois par To

Présentation de Hopsworks

• Hopsworks est une plateforme open source pour développer et exploiter des systèmes d’IA à grande échelle
  • Déployable sur tout cluster Kubernetes, y compris sur cloud public ou dans un datacenter autonome
  • Peut servir d’alternative aux plateformes MLOps comme AWS Sagemaker, GCP Vertex ou Databricks
  • L’article de recherche SIGMOD24 met en avant de meilleures performances en IA temps réel ainsi qu’une intégration supérieure entre Python et les lakehouses
  • Reconnue comme le premier Feature Store pour le ML
• Prise en charge des données et du calcul
  • Couche lakehouse : utilisation de Delta Lake, Apache Hudi et Iceberg (prise en charge à venir) → stockage de grandes quantités de données historiques et support de l’inférence par lots
  • Base de données faible latence RonDB : prise en charge des workloads d’IA temps réel et du modèle de données en schéma en étoile
  • Prise en charge du calcul : support de Python, Spark, Ray et du partage/optimisation GPU sur Kubernetes
    • Possibilité de fournir son propre compute → intégration des pipelines IA en utilisant Hopsworks comme couche de données
  • Support du registre de modèles et du déploiement : déploiement de modèles possible avec KServe/vLLM
• Hopsworks Serverless (version premium)
  • Espace de stockage gratuit fourni (50 Go de données lakehouse, 100 Mo de données de features RonDB)
  • Prise en charge de jusqu’à 100 registres de modèles et 2 déploiements de modèles
  • La majeure partie du stockage est fournie gratuitement, mais il n’y a pas de ressources de calcul gratuites → les coûts d’hébergement AWS peuvent être maintenus autour de 8 k$ par mois

Pourquoi le choix de migrer d’AWS vers OVH

• Lancement de Hopsworks Query Service et inquiétudes sur la hausse des coûts de sortie de données (egress)
  • Utilisation d’Arrow et de DuckDB côté client Python → lecture possible de données de plusieurs centaines de Mo à plusieurs Go dans des DataFrame Pandas
  • Risque d’explosion des coûts d’egress sur AWS → prise de conscience du risque de hausse des dépenses
• Décision de migrer vers OVHCloud
  • OVH est un fournisseur cloud européen proposant tous les services managés nécessaires
    • Kubernetes managé, registre de conteneurs managé et stockage objet compatible S3
  • Installation de Hopsworks sur OVH via des Helm Charts → validation d’un fonctionnement fluide
  • La majorité des utilisateurs étant en Amérique du Nord, décision de conserver une infrastructure OVH en Amérique du Nord

Effets sur les coûts

• 62 % de réduction des coûts après la migration vers OVH
• Disparition du poids des coûts d’egress élevés d’AWS
• Meilleure efficacité économique en environnement serverless tout en conservant les performances de stockage et de calcul

Migration des services AWS vers les services OVHCloud

• Dépendance uniquement à Kubernetes et à S3 → architecture conçue pour ne pas dépendre de services spécifiques à un cloud
  • Stack d’observabilité : basée sur OpenSearch et OpenSearch Dashboards
  • Stack de métriques : basée sur Prometheus et Grafana

Comparaison des services Kubernetes managés

• AWS et OVHCloud proposent tous deux des services Kubernetes managés
  • AWS fournit un écosystème mature et une grande fiabilité
  • OVHCloud est gratuit et avantageux en termes de coûts
• AWS propose Amazon Elastic Kubernetes Service (EKS), un service mature et largement utilisé, avec haute disponibilité et un écosystème solide. En revanche, le plan de contrôle coûte 0,10 $/heure par cluster, soit environ 72 $/mois
• OVHCloud propose OVHCloud Kubernetes (Kubernetes entièrement managé), avec une bonne stabilité, même si la limite de 400 Mo d’etcd peut poser problème sur certains clusters Kubernetes. En revanche, le coût du plan de contrôle du Kubernetes managé est nul

Comparaison des coûts de sortie réseau

• OVHCloud a des coûts de sortie réseau très faibles
  • OVHCloud ne facture des frais de sortie que dans certaines nouvelles régions, à un niveau équivalent à environ un huitième de celui d’AWS
  • Les coûts de sortie sont gratuits dans de nombreuses régions cloud (à la date de mars 2025)
  • AWS a des coûts de sortie très élevés, ce qui pèse sur les dépenses
• AWS opère à l’échelle mondiale, avec un coût de sortie de données de 0,09 $/Go, soit 90 $ par mois pour 1 To transféré
• OVHCloud est présent en Europe et en Amérique du Nord
  • Dans les « zones locales », les coûts de sortie sont gratuits
  • Dans les autres régions, ils s’élèvent à 0,011 $/Go, soit 11 $ pour 1 To transféré

Comparaison des services de stockage S3

• AWS S3 offre une grande fiabilité et une forte disponibilité, mais à un coût élevé
  • AWS fournit des performances de tout premier plan pour le stockage objet cloud
  • Le S3 d’OVHCloud conserve une bonne fiabilité tout en coûtant environ un tiers du prix d’AWS
• AWS S3 est considéré comme l’un des services les plus fiables, avec un coût de stockage de 0,023 $/Go, soit 2300 $/mois pour 100 To stockés
  • Put, Copy, List et Post coûtent 0,005 $ pour 1000 requêtes, GET et SELECT 0,0004 $ pour 1000, soit environ 566 $/mois pour 100 millions d’opérations
• OVHCloud S3 offre une bonne fiabilité avec des coûts de stockage réduits
  • Le stockage coûte 0,008 $/Go, soit 800 $/mois pour 100 To stockés
  • Les opérations Put/Get sont gratuites

Comparaison des services de registre de conteneurs

• AWS ECR est un service managé mature et scalable
  • Hautement scalable et flexible dans sa configuration
  • OVHCloud Harbor repose sur des forfaits fixes, ce qui peut limiter la montée en charge
• AWS ECR fournit un service scalable et mature
  • Le stockage coûte 0,10 $/Go, soit 212 $/mois pour 5 To stockés
  • Les performances globales sont meilleures que celles d’OVHCloud
• OVHCloud Harbor impose une limite sur le nombre de connexions simultanées (45 ou 90)
  • Le coût est de 44 $/mois pour 600 Go, et 212 $/mois pour 5 To
  • Il n’est pas possible d’augmenter souplement au-delà de 5 To de stockage

Comparaison des coûts de transfert de données entre zones de disponibilité

• Hopsworks réplique les services entre instances afin de résister aux pannes de zone de disponibilité (AZ)
  • Cela génère du trafic réseau entre instances situées dans différentes zones de disponibilité
• AWS facture 0,02 $/Go pour ce transfert de données (0,01 $ à l’envoi + 0,01 $ à la réception)
  • 100 To transférés représentent 2000 $/mois
• OVHCloud ne facture pas le transfert de données entre zones de disponibilité

Comparaison des instances EBS

• Hopsworks utilise EBS (Block Storage) pour les services nécessitant des volumes persistants
  • AWS utilise Elastic Block Storage
  • OVH utilise un Block Storage basé sur Ceph
  • Certaines instances utilisent des disques NVMe locaux → OVH offre un meilleur débit pour les petits stockages (1 à 4 To)
• AWS propose une plus grande variété d’instances, mais le stockage local NVMe n’est disponible que sur les gros disques
  • Le coût est de 0,08 $/Go, soit 81,92 $/mois par To
• OVHCloud propose moins de types d’instances, mais de meilleures performances NVMe sur les petits stockages
  • Le coût est de 0,095 $/Go, soit 97,28 $/mois par To

Déroulement réel de la migration

• Annonce du calendrier de maintenance
  • Le 26 novembre 2024, annonce d’une fenêtre de maintenance de 24 heures
• Sauvegarde et migration
  • Sauvegarde du cluster Hopsworks dans un bucket AWS S3 puis migration vers un bucket S3 d’OVHCloud
  • Une partie du service a été interrompue, mais la migration s’est achevée sans problème
• Tests et reprise de l’exploitation
  • Déploiement du cluster Hopsworks sur OVH avec des Helm charts
  • Après un processus de test validant l’absence de problème, réouverture des connexions
  • Aucun problème de compte utilisateur après la migration

Résumé

• Au 4e trimestre 2024, la migration de milliers d’utilisateurs d’AWS vers OVHCloud a été finalisée
• OVH et Hopsworks sont tous deux des technologies développées en Europe, mais le service serverless de Hopsworks est proposé en Amérique du Nord, où se trouve la majorité des utilisateurs
• La structure tarifaire simple et basse d’OVH est attrayante
  • Non seulement les coûts de sortie réseau, mais aussi la plupart des autres services sont moins chers
  • La qualité globale du service est également excellente

[kaydash]

L’un des points forts d’AWS, c’est aussi le grand nombre de références.
Mais quand on en vient à exploiter des applications d’entreprise, j’ai l’impression que les coûts sont vraiment exorbitants.
Si d’autres CSP ont eux aussi beaucoup de références et une stabilité garantie, j’envisagerais une migration si les coûts sont plus bas.

[GN⁺]

Avis Hacker News

• OVH est connu pour être un hébergeur moins cher qu’AWS. Je me demande s’ils compensent cela sur le plan de l’ingénierie et de la haute disponibilité

  • Je travaille dans un cabinet de conseil où nous mettons en place des infrastructures cloud et renforçons leur sécurité
  • Nous avons beaucoup de clients qui utilisent des plateformes variées, d’AWS, Azure et GCP jusqu’à de petits fournisseurs cloud régionaux
  • Utiliser de petits fournisseurs cloud peut réduire les coûts de moitié, mais cela peut nécessiter des ingénieurs expérimentés
  • Beaucoup de petites entreprises se concentrent sur AWS, mais si elles utilisent des services spécifiques à AWS, elles ne peuvent pas migrer facilement ailleurs

• Au Canada, nous réfléchissons aussi à quitter AWS. OVH n’a pas bonne réputation au Canada

  • Le plus gros sujet est de trouver une alternative fiable à RDS-postgres
  • Le coût n’est pas la préoccupation principale, mais les économies seraient un effet secondaire appréciable
  • Exigences : bon support OpenTofu (ou Terraform), fiabilité, bonne base de données managée, datacenter au Canada

• En tant que membre de l’équipe, je suis tout à fait prêt à en discuter s’il y a des questions sur la migration

• Notre entreprise utilise aussi OVH. C’est plutôt correct et peu cher

  • Le point négatif, c’est qu’il y a 6 ans, un problème électrique dans leur datacenter nous a mis hors ligne pendant toute une journée
  • Aujourd’hui, nous sommes passés à une architecture utilisant plusieurs fournisseurs cloud et nous opérons à moindre coût qu’avec AWS

• Après avoir travaillé avec AWS pendant 3 ans, AWS est un partenaire commercial correct

  • C’est cher et, dans l’ensemble, ça fonctionne bien, mais on peut sentir des différences dans les détails de la fiabilité
  • Avec la dégradation des relations entre l’Europe et les États-Unis, il est possible que les services cloud deviennent une arme

• Si les chiffres sont bons et que la migration est possible, tant mieux

  • Il faut absolument avoir un plan de sauvegarde solide. OVH a déjà perdu des données dans un incendie

• J’ai utilisé OVH pour un projet personnel, puis j’ai arrêté. Ils bloquent aléatoirement des IP du réseau iCloud Private Relay

  • Les enregistrements SPF de leur service mail sont erronés
  • Cela n’a pas été corrigé depuis plus d’un an, donc j’ai déplacé mes e-mails ailleurs

• Quand vous migrez des données vers OVH, il faut sauvegarder toutes les données chez un autre fournisseur

  • Il y a déjà eu un cas où un incendie dans un datacenter OVH a aussi détruit les sauvegardes

• Je me demande pourquoi choisir Scaleway.com plutôt qu’OVH

  • Scaleway est aussi un acteur européen et propose des services à peu près équivalents à beaucoup de services managés d’AWS

• Il n’y a pas de raison de rester sur AWS ou Azure, mais les alternatives sont moins marketées, donc il est difficile de convaincre la direction