5 points par GN⁺ 2024-02-11 | 1 commentaires | Partager sur WhatsApp
  • L’egress de données correspond au trafic sortant du cloud ; plus les transferts volumineux sont fréquents, comme les téléchargements ou les déplacements entre clouds, plus il peut rapidement peser sur la facture
  • La facturation se fait généralement sur la base du volume transféré en Go/To par mois, tandis que l’ingress vers le cloud est le plus souvent gratuit, ce qui rend la structure de coûts asymétrique
  • Au-delà de 1 To d’egress, Runpod, GPUhub, Civo et Lambda Labs sont gratuits et illimités, tandis qu’AWS monte à 90 $, Google Cloud à 120 $, Vercel à 150 $ et Netlify jusqu’à 550 $
  • Les montants comparés peuvent varier selon les régions et les conditions ; ils reposent sur plusieurs hypothèses, avec des régions proches de North Virginia ou de Frankfurt comme référence, et il faut donc vérifier les tarifs les plus récents
  • Pour réduire les coûts, il faut envisager le cache CDN, la compression, la mutualisation des volumes de transfert, les alertes d’usage, ainsi que le réseau privé au sein d’un même datacenter ou d’une même région, tout en vérifiant aussi les frais supplémentaires comme ceux d’une NAT gateway

Comment l’egress de données est facturé

  • L’egress de données désigne les données qui quittent un réseau, plus précisément les données qui sortent du réseau d’un fournisseur cloud vers l’Internet public
  • Cela inclut les cas où un utilisateur télécharge des données depuis le cloud, ou lorsqu’il envoie des données d’un fournisseur cloud vers un autre
  • Les frais sont généralement calculés en fonction du volume de données envoyé hors du réseau
    • L’unité de mesure est généralement le Go ou le To transféré par mois

Différence entre ingress et egress

  • Du point de vue d’un fournisseur cloud, le transfert de données se divise en deux catégories
    • Ingress : données qui entrent dans le réseau, généralement gratuites
    • Egress : données qui quittent le réseau, généralement facturées
  • Lorsqu’un utilisateur téléverse un fichier vers un stockage cloud, il s’agit d’ingress pour le fournisseur cloud
  • Lorsqu’il télécharge ce même fichier, les données sortent du réseau du fournisseur vers l’utilisateur ou vers une couche intermédiaire comme un CDN, ce qui peut entraîner des frais d’egress

Pourquoi les fournisseurs facturent l’egress

  • Les fournisseurs cloud supportent des coûts d’infrastructure et de bande passante pour envoyer des données hors de leur réseau
  • La qualité du réseau et la structure de coûts peuvent varier d’un fournisseur à l’autre
    • Certains fournisseurs peuvent disposer de meilleurs accords de peering avec les FAI ou d’une infrastructure réseau plus stable
  • Les frais d’egress peuvent aussi servir de mécanisme pour décourager les usages susceptibles de saturer le réseau, ou les transferts continus de très gros volumes de données entre fournisseurs cloud

Comparaison du coût d’egress au-delà de 1 To

  • Le coût de 1 To d’egress au-delà du quota gratuit varie fortement selon les fournisseurs
  • Certains fournisseurs sont gratuits ou presque gratuits
    • Runpod, GPUhub : gratuit et illimité
    • Civo, Lambda Labs : gratuit et illimité
    • Cloudflare : gratuit pour la plupart des services
    • Gcore : egress serveur gratuit ; CDN avec 1 To inclus puis 0,030 €/Go
    • Scaleway : gratuit pour la plupart des services, avec des limites de bande passante selon la taille de l’instance
  • Certains fournisseurs sont classés parmi les moins chers
    • Hetzner : 1 à 60 To gratuits par instance et par mois ; 1 To supplémentaire coûte environ 1,14 $ ou 1 €/To
    • Akamai Cloud : 1 à 20 To gratuits par instance et par mois ; 1 To supplémentaire coûte 5,00 $
    • Oracle Cloud : 10 To gratuits par mois ; 1 To supplémentaire coûte 8,50 $
    • Backblaze, DigitalOcean, Vultr : 1 To supplémentaire coûte 10,00 $
  • Les coûts au-delà de 1 To sont plus élevés chez les grands clouds et plateformes
    • Azure : 100 Go gratuits par mois ; 87,00 $ sur le réseau Premium en Amérique du Nord
    • AWS : 100 Go gratuits par mois ; 90,00 $ en Amérique du Nord
    • Google Cloud : varie selon le service ; 120,00 $ sur le réseau Premium
    • Vercel : 100 Go à 1 To gratuits selon le plan ; 150,00 $ sur Edge
    • Firebase : 10 Go gratuits par mois ; 200,00 $
    • Render : 100 Go à 1 To gratuits selon le plan ; facturé 30 $ par tranche de 100 Go, soit 300,00 $ pour 1 To
    • Netlify : 100 Go à 1 To gratuits selon le plan ; facturé 55 $ par tranche de 100 Go, soit 550,00 $ pour 1 To
  • Les prix peuvent varier selon la région et d’autres conditions
    • La comparaison prend pour référence des régions proches de North Virginia ou de Frankfurt
    • Il s’agit d’estimations fondées sur plusieurs hypothèses ; il faut vérifier les informations les plus récentes sur les pages tarifaires de chaque fournisseur

Comment réduire les coûts d’egress

  • La plupart des fournisseurs cloud offrent chaque mois un certain volume d’egress gratuit
    • Il peut être fourni comme quota global au niveau du compte
    • Selon le nombre de serveurs, le trafic mensuel par serveur peut aussi être mutualisé
  • Selon les profils d’usage et le choix du fournisseur, il est possible d’éviter complètement les frais d’egress ou de les minimiser
  • Utiliser un CDN permet de mettre en cache et de servir les ressources statiques au plus près des utilisateurs, afin de réduire le volume de données transféré directement du fournisseur cloud vers les utilisateurs
  • La compression consiste à réduire la taille des données avant transfert afin de diminuer le volume transmis
    • Gzip et Brotli sont des algorithmes de compression courants
  • Choisir un cloud qui propose une mutualisation du volume de transfert permet de combiner les quotas de plusieurs services au sein d’un même compte
  • Configurer des alertes d’usage et de facturation permet d’être averti lorsque l’on approche du quota gratuit ou d’un seuil donné
  • Lorsqu’un réseau privé est utilisé au sein d’un même datacenter ou d’une même région, les transferts entre services peuvent être exempts de frais d’egress
    • Il faut toutefois vérifier, car des frais de NAT gateway ou d’autres coûts supplémentaires peuvent s’appliquer

1 commentaires

 
GN⁺ 2024-02-11
Avis sur Hacker News
  • Les frais de trafic sortant sont une bonne raison pour de nombreuses organisations de ne pas migrer entièrement vers les fournisseurs cloud pour le moment
    Contrairement aux coûts de stockage, il ne semble pas y avoir de raison évidente liée au coût réel, et cela paraît surtout avoir pour effet de rendre, dans certains cas, difficilement supportable le coût d’un passage à un concurrent, ce qui est étrange
    Par exemple, une entreprise où je travaille a pour activité de livrer des assets créatifs à des distributeurs ; elle envoie environ 180 To par mois, soit en moyenne autour de 500 Mb/s
    Cette entreprise exploite deux racks dans des datacenters commerciaux, reliés en Ethernet-over-DWDM à 10 Gb/s, avec dans chaque datacenter 2x512 Mb/s et 1x1 Gb/s d’uplinks Internet
    Chaque rack contient deux serveurs OEM généralistes avec environ 64 cœurs AMD Zen, 1/2 To de RAM, environ 8 To de NVMe et environ 100 To de stockage SAS RAID6
    Les seules économies sur les frais de sortie AWS suffisent à justifier cette configuration, même en incluant le coût des ingénieurs de maintenance. L’effort d’exploitation réel s’avère lui aussi minimal
    Je me demande donc si les fournisseurs cloud passent à côté d’un gros marché, ou si les marges qu’ils appliquent aux clients actuels sont suffisamment rentables

    • À mon avis, l’effet le plus important n’est pas tant de « rendre difficilement supportable le coût d’une migration vers un concurrent » que de pousser les services tiers à rester dans le même cloud
      Si l’on utilise AWS et que l’on veut recourir à un SaaS échangeant des volumes de données moyens à importants, on tombe par exemple sur des options comme https://www.snowflake.com/en/data-cloud/pricing-options/
      Étonnamment, on peut choisir entre AWS, Azure et GCP. Snowflake paie très cher pour être hébergé sur ces clouds, et répercute ce coût sur ses clients
      Snowflake est gros, dispose de nombreux ingénieurs et prend déjà en charge les trois clouds : il est donc clairement neutre vis-à-vis du cloud. En exploitant ses propres installations physiques, ce serait beaucoup moins cher, les performances pourraient même être meilleures grâce au NVMe, et il pourrait partager les économies avec ses clients
      S’il ne le fait pas, c’est à mon avis parce que les frais de sortie du client vers Snowflake annuleraient les économies, et que la variabilité des coûts ferait peur aux clients
      Au final, la façon même dont les clients cherchent à éviter les frais de sortie rapporte énormément d’argent aux grands clouds. Les régulateurs devraient l’examiner très attentivement, mais du point de vue des clouds, c’est une excellente décision commerciale
    • Il y a quelques mois, j’ai vu un incident à la fois drôle et triste. Une entreprise a créé une solution de VPN permanent hébergée sur AWS, y a connecté 1 000 employés, puis s’est félicitée d’avoir économisé 50 000 dollars sur la solution VPN
      Mais la première facture AWS comportait à elle seule 25 000 dollars de frais de trafic sortant, et il s’est avéré que les données sortaient d’AWS trois fois
    • Si vous voulez continuer à utiliser une partie des services AWS, vous pouvez ajouter une interconnexion optique AWS Direct Connect entre votre rack de datacenter et AWS
      Cela se fait comme pour raccorder une ligne Internet, et AWS exploite Direct Connect dans de nombreux datacenters tiers neutres vis-à-vis des opérateurs
      La sortie AWS via Direct Connect coûte 0,02 $/Go au lieu de 0,09 $/Go sur l’Internet public
      Vous pouvez servir vos clients via une ligne Internet non facturée, et accéder en backend à des services comme S3 via Direct Connect
    • Cela dépend vraiment de la qualité de peering attendue. Quand il n’y a pas de problème, peu importe, mais quand il y en a, cela se voit fortement
      Les FAI grand public font parfois tout leur possible pour ne pas faire de peering avec les points d’échange Internet ouverts, et les choses deviennent beaucoup plus complexes dans les régions où la bande passante est plus chère, par exemple en Océanie
      Ce n’est pas pour rien que le graphique que les commerciaux de Cloudflare aiment montrer pour expliquer la valeur est celui d’Argo Smart Routing, et c’est aussi pour cela que cela coûte environ 100 dollars par To chez AWS ou GCP
    • C’est suffisamment rentable. Le cas d’usage décrit n’est pas particulièrement rare, mais beaucoup d’entreprises paient simplement les frais de sortie
      Le problème est que plusieurs générations d’ingénieurs logiciels ne savent pas comment les prix de bande passante sont établis
      Ils n’ont utilisé que des fournisseurs managés qui facturent l’entrée/la sortie à quelques centimes par Go
  • L’article dit que « les fournisseurs cloud facturent la sortie parce qu’envoyer des données hors de leur réseau leur coûte de l’argent. Ils doivent payer l’infrastructure et la bande passante nécessaires pour envoyer les données aux utilisateurs », mais pour les grands acteurs, les tarifs ne sont pas fondés sur les coûts
    S’ils facturent des montants absurdes, c’est parce qu’ils veulent garder les clients et les données captifs sur leur plateforme. Déplacer les données, c’est partir ; ils découragent donc ce comportement par des coûts élevés

    • Dire qu’ils facturent cher « pour garder les clients et les données captifs sur leur plateforme » n’est pas du tout exact
      Il existe la Bandwidth Alliance, et de nombreuses entreprises cloud figurent dans la liste : https://www.cloudflare.com/en-gb/bandwidth-alliance/
      La vraie réponse est bien plus complexe. Par exemple, Google Cloud propose deux niveaux de bande passante : premium et standard
      Le calcul de l’article original semble supposer l’option par défaut, premium, qui est évidemment beaucoup plus chère
      La bande passante « premium » de Google Cloud ressemble beaucoup à AWS Global Accelerator en ce qu’elle utilise le backbone propre de Google aussi longtemps que possible, puis sort au point de peering le plus proche entre Google et le FAI de l’utilisateur final
      AWS Global Accelerator a aussi d’autres options, ce qui en fait fondamentalement un produit différent, mais ses caractéristiques de routage ressemblent davantage à la bande passante premium de GCP qu’à n’importe quelle autre offre d’AWS
    • Cette structure force les fournisseurs en aval qui collectent beaucoup de données, comme Datadog ou Snowflake, à maintenir une présence dans le cloud
      Parce que les clients ne veulent pas payer les frais de sortie
  • Si vous payiez très cher un fournisseur cloud et que vous avez découvert que votre application tournait mieux, et pour moins cher, chez un vieil hébergeur web classique, mieux vaut laisser votre argent et vos données chez un hébergeur web indépendant.
    Au moins en Europe, on observe une tendance où de petits hébergeurs web sont consolidés au sein de grands groupes, probablement sous la houlette de fonds de private equity. Ils augmentent aussitôt les prix de plusieurs centaines de pourcents.
    Ces 3 ou 4 dernières années, j’ai vu cela se produire plusieurs fois chez divers hébergeurs néerlandais, et tout récemment la facture mensuelle de l’un d’eux est passée d’environ 3 € à environ 18 €.
    Chaque fois que je lis des discussions sur les « frais de sortie », ça me fait généralement rire. Mes données sont mes données ; je ne comprends pas pourquoi je devrais payer pour les retirer de mon disque dur.
    Mais des nuages commencent aussi à s’accumuler sur mon cas d’usage. Avec les hébergeurs web qui se consolident les uns après les autres, imitent AWS en augmentant fortement leurs prix, il n’est plus difficile de croire qu’ils finiront par créer eux aussi des frais de sortie.

    • C’est exactement ça. J’hébergeais le WordPress du blog culinaire de ma femme chez le néerlandais Neostrada ; au début, c’était autour de 50 € par an.
      Après leur rachat, ils ont envoyé un e-mail avec une formule mielleuse du genre « nous mettons votre forfait à niveau pour l’aligner sur la nouvelle grille tarifaire », et en deux ans environ, on en est arrivé à devoir payer 450 € par an.
      Une hausse de 9x en quelques années, c’est le mouvement de private equity le plus indécent que j’aie vu aux Pays-Bas, et je suis d’accord pour dire que l’ajout de frais de sortie absurdes n’est qu’une question de temps.
    • Si vous pensez que les prix de sortie sont fictifs et constituent du pur profit, je vous conseille d’exploiter vous-même un service d’hébergement web indépendant.
      Vous découvrirez que la bande passante réseau est une ressource finie, qu’elle se paie et qu’il faut la répartir entre les clients.
      Le moyen le plus simple de rendre finie et de répartir une ressource que les clients supposent à tort infinie, c’est de la facturer, et de fixer justement le prix qui permet de limiter la demande.
  • Il y a une astuce à laquelle il faut faire attention. Même si un fournisseur cloud propose une sortie bon marché, il peut rendre les charges à fort trafic sortant coûteuses en limitant le débit réseau des instances.
    Plusieurs fournisseurs vous obligent à agrandir toute l’instance dès qu’un seul composant est saturé. Par exemple, même si vous n’avez pas besoin de plus de CPU, vous devez passer d’une instance 2 CPU à une instance 4 CPU pour augmenter le débit réseau.
    En surface, la sortie est bon marché et les instances semblent bien tarifées par rapport au matériel, mais si votre charge de travail n’a pas besoin d’une instance équilibrée — par exemple un ratio 1 CPU / 1 Go de RAM / autres ressources — le prix peut devenir étrange.

    • Intéressant. À quel fournisseur cloud pensez-vous ?
    • Des fournisseurs comme Scaleway.
  • Oracle Cloud ne facture qu’une fraction de ce que demandent Google, Microsoft et Amazon.
    Je me demande comment Oracle parvient à maintenir des coûts aussi bas. Ou bien les autres gonflent-ils les prix pour empêcher leurs clients de partir chez la concurrence ?
    Si c’est le cas, Oracle mérite des éloges pour ne pas appliquer ce genre de pratique de verrouillage fournisseur.

    • Les grands fournisseurs surfacturent la sortie de 10 à 100 fois. Il y avait un article à ce sujet sur le blog de Cloudflare.
    • Hetzner facture 1 $/To, Oracle 7 $/To et AWS 90 $/To.
      Il est très probable qu’Oracle ait déjà une marge confortable sur les frais de sortie.
      Si les coûts d’AWS/GCP/Azure sont absurdes, c’est parce que, pour beaucoup de clients, ce n’est pas un gros coût en exploitation courante, mais cela rend prohibitif le déplacement des données vers l’extérieur.
      Pour eux, c’est simplement un mécanisme de verrouillage fournisseur.
    • Les marges sur la sortie sont délirantes. Oracle est arrivé tard sur le marché du cloud et a perdu beaucoup de capital sympathie dans le bas du marché ; pour rattraper son retard, il doit sacrifier cette marge.
    • Les frais de sortie sont un coût artificiel. Ce n’est pas de l’argent que le fournisseur cloud paie réellement.
    • Les autres facturent autant parce qu’ils estiment que les gens n’y connaissent pas grand-chose, ne protesteront pas et paieront simplement.
  • OVHCloud est gratuit : https://us.ovhcloud.com/public-cloud/faq/
    En tant que société de données, nous profitons beaucoup de Scaleway, Hetzner et OVH.
    Cela dit, Scaleway ne prévoit pas d’ajouter d’infrastructure aux États-Unis, et je ne sais pas si Hetzner y a une présence.

    • Hetzner a une présence limitée aux États-Unis uniquement pour ses offres de machines virtuelles, mais pas de solutions bare metal / serveurs dédiés.
    • Les fournisseurs européens bénéficient de coûts de cross-connect en datacenter plus faibles et de davantage de points d’échange Internet facilitant le peering.
      Il n’est pas surprenant qu’ils offrent plus de bande passante pour le même prix.
  • L’offre ARM de Hetzner propose 2 xvCPU, 4 Go de RAM, 40 Go de stockage et 20 To de sortie pour 3,79 € par mois ; pour les petits et moyens sites web, c’est imbattable.

    • Le problème, ce n’est pas que Hetzner ne permet pas de définir une limite pour contrôler les coûts de trafic sortant ?
      Il faut pouvoir se protéger contre les soi-disant attaques par déni de portefeuille.
  • Je ne savais pas que c’était aussi délirant comme tarif. Je peux mettre un dossier de films de 1 To sur le site web de mon NAS Synology relié à Google Fiber et laisser un ami le télécharger gratuitement.
    Mais si j’hébergeais le même site sur Google Cloud, on me facturerait 111,60 $ ? Je ne comprends pas comment une telle tarification est possible.

    • Vous dites « laisser un ami le télécharger gratuitement », mais vous avez déjà payé la fibre.
      Et dans un datacenter cloud, il y a un 9 de plus en matière de fiabilité.
    • Une IP Google Fiber fait partie d’un réseau résidentiel, avec un contrat de service totalement différent et des contraintes bien plus importantes que Google Cloud.
    • Les lignes résidentielles ont généralement une sorte de plafond de données strict. Par exemple, si vous transférez plus de 10 To, ils peuvent simplement vous couper.
      En général, il est aussi interdit d’exploiter des applications commerciales.
    • Ils semblent partir du principe que la plupart des sites web ne font que quelques Mo, et calculer qu’il faut facturer à ce niveau pour en extraire des frais de sortie.
    • Un petit NAS n’est pas directement connecté à des centaines de grandes métropoles dans le monde.
      Même si Google Fiber est un excellent réseau, ses points d’échange ne sont présents que dans quelques dizaines d’endroits aux États-Unis.
      Si vous êtes client de Google Cloud, votre trafic sortant emprunte le réseau de Google jusqu’aux frontières du monde entier, en utilisant des centaines de points d’interconnexion et d’échanges.
      Le trafic restera probablement sur un réseau privé jusqu’à quelques kilomètres de l’utilisateur final.
      C’est presque comme comparer des pommes et des diamants.
  • Je me demande si le calcul côté Google Cloud correspond à l’option Premium Networking ou au réseau standard.
    Les deux sont très différents. Le réseau standard se rapproche davantage du trafic sortant d’AWS, tandis que l’option Premium de GCP, qui est celle par défaut, utilise le PoP local et la fibre noire du backbone de Google pour se connecter jusqu’à l’origine.

  • Dans le cas de Google Cloud, il faut aussi garder à l’esprit que si vous voulez partir, vous pouvez effectivement migrer sans frais de trafic sortant : https://cloud.google.com/blog/products/networking/eliminatin...
    Cela ne change pas les frais de trafic sortant habituels, mais il s’agit probablement d’un pis-aller pour éviter d’être accusé de pratiques anticoncurrentielles.

    • Pour être précis, sous réserve d’approbation, vous pouvez demander une sortie de Google Cloud et, si elle est approuvée, partir sans frais de trafic sortant.
    • Backblaze n’envoie-t-il pas aussi des disques durs contenant les données sous condition de « paiement anticipé », puis ne rembourse-t-il pas si on les renvoie ?