La facture AWS estimée s’affiche à 1,7 milliard de dollars, alors que l’usage habituel est inférieur à 5 dollars

• Pour un compte AWS dont les frais habituels sont inférieurs à 5 dollars, la facture estimée de ce mois-ci s’affiche à 1,7 milliard de dollars
• L’écart entre l’usage réel et le montant facturé étant excessivement important, il est considéré que les données de facturation estimée sont inexactes
• L’auteur a créé un ticket de support AWS urgent afin de vérifier le problème et d’y répondre
• L’état des services AWS peut être consulté sur AWS Health Dashboard
• Il a demandé si d’autres utilisateurs rencontraient le même phénomène, puis a ajouté un post Reddit associé

---

Montant de facturation estimé anormal

• La facture AWS estimée de ce mois-ci s’affichait à 1,7 milliard de dollars, alors que les frais habituels de ce compte sont inférieurs à 5 dollars
• L’auteur estime qu’un tel écart ne provient pas de l’usage réel, mais de données de facturation estimée inexactes

Vérification et réponse

• Un ticket de support AWS urgent a été créé pour vérifier le problème
• L’état des services peut être consulté sur AWS Health Dashboard
• Il a demandé si d’autres utilisateurs avaient rencontré le même phénomène, puis a partagé un post Reddit associé

[GN⁺]

Commentaires sur Hacker News

• J’ai déjà géré la même erreur chez AWS, et la cause était une erreur de configuration d’unité. Ils voulaient facturer environ 5 centimes par Go, mais comme le Go avait été omis dans la grille tarifaire, le système l’a interprété avec l’unité par défaut, l’octet, ce qui a donné 5 centimes par octet ; en quelques heures, certains clients se sont vu afficher des factures de plusieurs millions de dollars
  J’ai été appelé par le support vers 2 h du matin, et tout était corrigé avec rectification de la facturation vers 3–4 h, suivi immédiatement d’un e-mail d’excuses. Les valeurs d’usage émises par le service ne sont pas directement liées au prix ; chaque SKU ou ligne de facturation est défini par une grille tarifaire incluant le type d’unité, la région et le prix par unité. Les enregistrements d’usage sont rapprochés de la grille tarifaire selon l’ID de compte, la région, le SKU, etc. ; si le type d’unité est mal spécifié, la conversion casse et on obtient des montants absurdes

  • Il n’y avait pas de tests ? Une simple erreur de configuration sur un détail en apparence banal peut donc provoquer des alertes nocturnes et des crises cardiaques chez des centaines de milliers d’administrateurs ?
    Évidemment, on me dira « ce n’est pas un détail banal, Michael ! » : https://www.youtube.com/watch?v=3fGHaVn5rGo
  • Je me demande si le système de facturation d’AWS utilise encore des fichiers CSV pour l’échange de données. Il y a plus de dix ans, lors de ma première astreinte chez AWS, un ingénieur “malin” avait mis dans le champ de description des données de prod un enregistrement de test du genre « que se passe-t-il si je mets une virgule dans ce champ », ce qui a cassé le traitement de facturation
    J’ai ensuite regardé cet enregistrement se propager, avec les régions qui tombaient les unes après les autres de la même manière, et une seule personne a ruiné la soirée de beaucoup de monde. Il aurait pu utiliser un endpoint de test, mais il a quand même testé en production
  • Ce n’est pas quelque chose à balayer d’une plaisanterie. Si quelqu’un a une pathologie sous-jacente, comme une maladie cardiovasculaire, voir soudain un tel montant peut réellement provoquer la mort à cause de l’anxiété, du choc et du sentiment d’impuissance
  • Voilà pourquoi il faut toujours faire en sorte que ça échoue bruyamment (fail loud), plutôt que de choisir des valeurs par défaut stupides
  • Je me demande si c’est arrivé le jour du lancement des volumes EBS gp3

• J’ai reçu trois e-mails d’alerte d’affilée indiquant que mon budget avait dépassé la limite de 18 dollars, et quand j’ai vérifié, le coût était de 78 millions de dollars. J’ai cru à du phishing, je me suis donc connecté directement à mon vrai compte, mais c’était toujours 78 millions de dollars, et le choc psychologique a été assez violent

  • J’aimerais parier que la description de cette offre d’emploi sera modifiée avant la fin de la journée : « Software Development Engineer II, AWS Invoicing »
    https://www.amazon.jobs/de/jobs/10428480/software-developmen...
    Avec une description de poste flamboyante expliquant qu’il faut préparer des lancements avec l’IA générative, les grands modèles de langage, les graphes de connaissances et les architectures agentiques, orchestrer des services cloud-native et automatiser la validation continue
  • Ma facture dépassait 1 milliard de dollars. Au début, j’ai failli l’ignorer en pensant à du phishing, mais cela semblait trop réel, alors je me suis connecté directement à AWS et j’ai failli faire une crise cardiaque en voyant le montant estimé
    J’ai ensuite trouvé une bannière d’incident sur la page de support, mais je me demande pourquoi il n’y avait aucune bannière sur la page de facturation elle-même, celle qui affichait pourtant « vous devez 1 milliard de dollars »
  • Moi aussi, l’URL awstrack.me me paraissait extrêmement suspecte, et comme je n’avais jamais reçu ce type d’alerte, j’étais convaincu qu’il s’agissait de phishing. Je n’ai pas cliqué sur le lien et je suis allé dans la console, où j’ai vu qu’il y avait bien un incident d’affichage erroné des montants, mais aucune mention des alertes par e-mail ; j’ai donc craint qu’un attaquant ne profite de l’incident pour éviter la détection
    Après avoir vérifié les logs, j’ai compris que l’avis d’incident ne décrivait simplement pas de façon exhaustive l’étendue de l’impact, puis je suis retourné boire un café. La prochaine fois, je saurai qu’il faut commencer par vérifier ici
  • Pour reprendre une vieille blague : si ma facture AWS est de 78 000 dollars, c’est mon problème, mais si elle est de 78 millions de dollars, c’est le problème d’Amazon
  • Les comptes entreprise affichaient des factures de plus de 3 000 milliards de dollars

• Cette erreur est tellement absurde qu’elle sera vite corrigée, mais au début des années 2010, j’ai trouvé une erreur bien réelle cachée dans une vraie facture. Le rabais de réservation EC2 de certains serveurs était mal calculé, et même en analysant régulièrement le détail d’usage dans un tableur de 18 onglets, les montants ne collaient pas ; j’ai passé plusieurs mois à traquer l’écart
  Même après avoir trouvé la cause, il a fallu un temps considérable pour convaincre AWS que leur système se trompait, et pendant ce temps la différence continuait de s’accumuler. Quatorze mois plus tard, j’ai obtenu un remboursement de 7 000 dollars ; on m’a dit qu’il avait fallu l’approbation d’un responsable AWS, et depuis, je n’ai plus revu d’erreur de calcul côté AWS

  • Le crédit de 7 000 dollars en lui-même pouvait à l’époque être accordé sans grande supervision par un chef de produit ou un directeur proche du sujet. Le vrai problème, c’est la durée de 14 mois : corriger le cycle de facturation en cours est facile, celui d’avant est pénible mais courant, alors que corriger jusqu’aux exercices comptables précédents oblige à passer par la finance, ce qui est bien plus douloureux
  • Mes collègues pensent que j’examine Cost Explorer avec trop de minutie, mais le temps passé à repérer les coûts bizarres a généralement plus que rentabilisé l’effort. Je n’aurais probablement pas passé l’équivalent de 7 000 dollars de temps à traquer cette erreur, et j’ai sans doute aussi identifié au passage des opportunités d’optimisation des coûts bien plus importantes
    Et je n’aime pas non plus l’idée de gaspiller de l’argent pour rendre le yacht de Jeff Bezos encore plus grand
  • Dire que « ce sera vite corrigé » me paraît généreux : cela dure déjà depuis 12 heures. On dirait que personne ne comprend le code qu’un agent a écrit puis déployé

• Il semble que l’unité qui aurait dû être GB of storage consumed ait été mélangée avec Bytes of storage consumed, provoquant une erreur d’un facteur 2^30
  « Le calcul mérite d’être remis en question. J’ai essayé de consulter la définition des champs, mais la connexion au serveur MCP a échoué, donc j’ai spéculé au lieu de vérifier. C’est ma faute. Mais regardez cette hausse du chiffre d’affaires ! »

  • On lui a donné 0.45, 1.67 et 2.50 pour calculer le montant à facturer au client, donc la somme fait 4.62, mais cela pourrait aussi être un autre nombre. Il fallait peut-être les concaténer, et si le point signifie une multiplication, alors 0 . 45 . 1 . 67 . 2 . 50 donne 3,015,000
    Multiplier par 0 devrait donner 0, mais on ne peut pas ne rien facturer, donc la bonne réponse est 3,015,000 milliers de dollars
  • Il devient désormais difficile de distinguer si « le calcul mérite d’être remis en question » est une parodie ou une vraie réponse. Même si on demandait d’écrire une phrase plus stupide que ce qu’un LLM pourrait jamais produire, il ne semble pas y avoir de limite à la stupidité
  • Aujourd’hui, j’ai donné à un agent local un CSV contenant des unités de taille lisibles par un humain et je lui ai demandé de compter les lignes par tranche de GB, mais il a bizarrement interprété les MB comme des GB et s’est complètement trompé. Avec le recul, il aurait probablement été plus rapide de faire le calcul directement dans Excel
  • Si c’est 2*30, cela fait 60, donc il suffit de payer 28,3 millions de dollars, mais ce qui était sans doute voulu, c’était 2^30, et dans ce cas cela fait 1,5 dollar
  • Le système de facturation a été codé en vibe coding, ce qui a permis d’augmenter le chiffre d’affaires de 9,000 %, excellent matériau pour une promotion

• En voyant l’e-mail d’alerte de facturation ce matin, j’ai cru avoir divulgué par erreur mes clés AWS et dépensé 437 milliards de dollars. Heureusement, je n’ai pas autant d’argent, et cela m’a donné une poussée d’adrénaline comme jamais auparavant, même sans café, donc merci AWS

  • Si je devais 437 000 dollars à AWS, ce serait mon gros problème, mais si je devais 437 milliards de dollars, ce serait le gros problème d’AWS
  • Il est possible que quelqu’un ait réellement subi un infarctus ou soit mort à cause de ça. Le fait qu’Amazon ait affiché une telle valeur telle quelle à l’utilisateur relève d’un traitement irresponsable
  • J’étais sur le point de m’endormir quand j’ai reçu l’alerte, et c’était un montant qui dépassait très clairement la limite de 16 dollars que j’avais définie
  • Je me suis battu avec AWS pendant deux mois à cause d’un compte compromis. Alors que ma facture mensuelle était d’environ 20 dollars au cours des trois années précédentes, j’ai perdu 20 000 dollars et reçu d’autres factures de plusieurs dizaines de milliers de dollars, et AWS ne m’a pas aidé tant que je n’avais pas moi-même bloqué l’intrusion
    Après le travail, j’ai passé des nuits blanches à apprendre à scripter l’infrastructure AWS pour contenir l’intrusion, mais ils ont refusé de fermer le compte et ont aussi refusé d’exiger une convention de responsabilité partagée pour examiner le dossier. Finalement, j’ai contacté le bureau du procureur général de l’État, qui a envoyé un e-mail directement à AWS, et moins de 24 heures plus tard un responsable AWS m’a appelé, a régularisé le compte et m’a remboursé les 20 000 dollars. Malgré cela, ils ont refusé jusqu’au bout de fermer le compte, si bien qu’il semble impossible de quitter complètement AWS, et cela ressemble à la pire manière de faire du business
  • Dans mon cas, c’était 500 millions de dollars, et mes mains tremblaient tellement qu’il m’était difficile de taper mon mot de passe

• Il suffit d’expliquer la situation budgétaire à votre chargé de compte et de lui demander, avec toute sa bienveillance, s’il accepterait un remboursement sincère de plusieurs milliards de dollars par mois jusqu’à ce que vos finances se redressent

  • Il ne faut pas montrer de faiblesse. Il faut affronter le problème de face et demander une carte de crédit avec une limite plus élevée

• Si je dois 100 dollars à la banque, c’est mon problème, mais si je dois 1,7 milliard de dollars, c’est le problème de la banque

  • Quand ma femme s’occupait d’événements d’entreprise de taille intermédiaire dans son précédent poste, le solde de l’Amex de la société dépassait habituellement 300 000 dollars après les événements. Quand elle est revenue de congé maternité, son remplaçant n’avait pas payé les factures et l’impayé dépassait 500 000 dollars, avec une montagne d’e-mails et de messages vocaux d’Amex qui l’attendaient
    Les messages étaient polis au début, puis de plus en plus pressants, mais ils ne sont jamais devenus menaçants ni hostiles
  • Cette blague ne fonctionne vraiment que si l’on a effectivement coûté 1,7 milliard de dollars à AWS. S’il s’agit seulement d’une facture émise sans raison, cela reste le problème de l’utilisateur
  • La question suivante est donc ce qui se passe si l’on doit 1 700 milliards de dollars à la banque
  • Cela ne s’applique peut-être pas à Elon Musk

• Après avoir vu qu’AWS avait facturé 16 millions de dollars à quelqu’un avec une utilisation nulle d’Anthropic, ils ont apparemment estimé qu’il n’y avait aucune raison de s’arrêter à quelques millions
  https://www.techtimes.com/articles/320266/20260712/anthropic...

  • Si la startup d’audit de facturation IA Vaudit a examiné pour 34 millions de dollars de factures de 60 clients entreprises et découvert environ 1,7 million de dollars de surfacturation, soit un taux d’erreur d’environ 5 %, c’est assez grave

• Récemment, en payant chez Whole Foods, j’ai découvert que la carte Chase Amazon Prime n’était plus automatiquement reconnue de manière fiable, de sorte que la remise ne s’appliquait plus automatiquement. Je me demande combien de clients paient le prix fort en continuant à régler comme avant, alors que cela fonctionnait très bien depuis des années
  Selon le personnel du service client du magasin, cela a changé au cours de l’année écoulée, probablement comme effet de bord involontaire de la suppression du paiement par paume. Ce n’est pas directement lié, mais cela fait se demander ce qu’Amazon n’arrive plus à calculer correctement

  • Il est temps de lancer une action collective ou des milliers de procédures de petites créances. Même s’il existe une clause d’arbitrage, la charge de traitement serait énorme, donc espérons que quelqu’un prendra la bonne décision et procédera à des remboursements automatiques
  • Ce genre de petits problèmes se multiplie dans des systèmes qui étaient autrefois simples et stables. Tout n’est sans doute pas dû au vibe coding, mais on finit par se demander combien de ces problèmes sont le résultat du vibe coding

• Une fois, 2000 dollars de frais ont effectivement e9te9 pre9leve9s sur un compte bancaire, et il a fallu plusieurs mois ainsi que lintervention du bureau du procureur ge9ne9ral de lc9tat pour re9gler le proble8me et re9cupe9rer largent. Depuis, plus aucun produit AWS nest utilise9, et meame les petites te2ches ont e9te9 migre9es vers Azure
  Les proble8mes de facturation AWS durent depuis des anne9es ; on trouve facilement en ligne des cas of9 des serveurs de minage de cryptomonnaie ont tourne9 pendant des mois sur des comptes compromis, avec e0 la cle9 une facture de 6000 dollars pour un e9tudiant, sans quAWS ne les de9tecte ni ne les bloque

  • AWS est en pratique proche dun ope9rateur de service public ; sil continue e0 traiter la facturation avec ne9gligence, il finira ine9vitablement par eatre soumis e0 une re9glementation correspondante
  • Pour les services e0 cofbt variable, il faut toujours utiliser une carte avec plafond de de9penses
  • Il est peu probable que la de9tection des comptes compromis puisse eatre exacte e0 100 %. Meame si cela paraeet e9vident pour un humain, personne ne peut examiner de manie8re proactive et manuelle lusage de tous les comptes
  • La premie8re lee7on quand on utilise un prestataire de services, cest de ne jamais activer le paiement automatique. Le risque quun fournisseur vide librement tout largent du compte est bien plus grand que le gain en commodite9 ou les remises
  • Jai garde9 une partie de mon homelab sur AWS pendant un temps. Jenseignais le cloud e0 des e9tudiants et, comme le formateur encourageait chacun e0 monter son environnement de TP, jai moi aussi installe9 MediaWiki avec une pile LAMP sur une instance EC2 du niveau gratuit ; la configuration initiale ne9tait pas difficile, mais jai fini par partir pour toujours pour deux raisons
    Dabord, il e9tait de9je0 impossible, ou excessivement laborieux, de se9curiser correctement un syste8me Linux ordinaire expose9 e0 Internet, et cela reste vrai aujourdhui. Meame avec fail2ban installe9 et de nombreux ports bloque9s, les attaques de spam arrivaient au niveau applicatif. Ensuite, il e9tait en pratique impossible dimposer un plafond de de9penses cloud e0 chaque cycle de facturation. Meame si lon restait le plus souvent dans les limites du gratuit, une seule erreur de configuration ou une ressource qui semballe pouvait produire une grosse facture difficile e0 contester, notamment e0 cause de facteurs hors de contrf4le comme des utilisateurs externes consommant des ressources VPC et du trafic sortant. Jai donc ferme9 le compte, et jai de9veloppe9 une profonde empathie pour les entreprises force9es dutiliser le cloud plutf4t que leur propre infrastructure, tout en restant incapables den maeetriser les cofbts