Cloudflare accusé d’avoir bloqué un site après avoir exigé 120 000 dollars sous 24 heures
(robindev.substack.com)- Un casino en ligne qui utilisait depuis 2018 l’offre Cloudflare Business à 250 dollars par mois a subi des pannes de services critiques et de systèmes internes après s’être vu demander un paiement annuel anticipé de 120 000 dollars pour Enterprise, puis avoir vu ses domaines supprimés
- L’entreprise affirme compter environ 4 millions d’utilisateurs actifs mensuels et utiliser Cloudflare pour le CDN, la mise en cache de contenus statiques et la protection DDoS, l’essentiel du trafic provenant de son domaine principal
- Cloudflare a évoqué une « rotation » de plusieurs domaines et des questions liées aux conditions d’utilisation, mais n’a pas précisé les domaines concernés ni les conditions de résolution, se contentant de proposer un contrat Enterprise à 10 000 dollars par mois
- Quelques heures après que l’entreprise a indiqué discuter aussi avec Fastly, les paramètres de domaine, dont les enregistrements DNS, la configuration du cache, les rate limits, les whitelists et la configuration d’authentification Cloudflare Access, ont été supprimés
- L’entreprise a ensuite migré en urgence vers Fastly, mais la propagation du changement de NS pouvant prendre de 1 à 48 heures, les indisponibilités côté utilisateurs et la reconstruction de l’infrastructure d’authentification interne se sont poursuivies
Du forfait Business à la pression vers Enterprise
- L’entreprise utilisait depuis 2018 le forfait Cloudflare Business à 250 dollars par mois
- Ses principaux usages étaient le CDN, la mise en cache de contenu statique et la protection DDoS
- L’entreprise se décrit comme un casino en ligne comptant environ 4 millions d’utilisateurs actifs mensuels
- Le premier e-mail de Cloudflare donnait l’impression qu’il y avait un grave problème avec le site web, mais l’appel réel a eu lieu avec l’équipe Sales, et non avec le « Business Development »
- L’équipe Sales n’a pas précisé de problème grave et a demandé si l’entreprise envisageait de passer à Enterprise
- L’entreprise, déconcertée par le ton de l’e-mail, a poliment refusé la migration
- Deux semaines plus tard, Cloudflare a soulevé un problème selon lequel plusieurs domaines fonctionnaient comme des miroirs du domaine principal
- L’entreprise exploite plusieurs domaines pour répondre à des exigences réglementaires dans différents pays, couvrir l’offre de jeux, les fonctions sociales, le sportsbook et le suivi d’affiliation
- Dans certains pays, le domaine principal peut être bloqué au niveau DNS, et des domaines secondaires peuvent alors servir de voie d’accès
- L’entreprise a considéré que cette configuration pouvait être interprétée comme une violation des conditions d’utilisation de Cloudflare
- Plus de 95 % du trafic total provenait du domaine principal, et l’entreprise estimait qu’il était aussi possible de retirer de Cloudflare les domaines secondaires problématiques
Un sujet Trust and Safety transformé en demande de contrat Sales
- L’entreprise a envoyé à Cloudflare les informations sur les domaines et demandé le périmètre du problème ainsi que les interlocuteurs internes à impliquer, mais n’a reçu aucune réponse précise en dehors d’une date d’appel
- La réunion qu’elle pensait avoir planifiée avec l’équipe « Trust and Safety » s’est en réalité de nouveau tenue avec l’équipe Sales
- L’équipe Sales a proposé un contrat Enterprise à 10 000 dollars par mois
- L’entreprise a demandé quel était le lien entre le problème de conditions d’utilisation et l’exigence d’un contrat Enterprise
- Elle a demandé quels domaines étaient concernés par la crainte de « rotation », sans obtenir de réponse
- Les fonctionnalités Enterprise indispensables n’étaient pas non plus clairement identifiées
- Cloudflare n’a montré aucun intérêt pour une solution autre que le contrat à 10 000 dollars par mois et a indiqué qu’il fallait signer sous 24 heures pour pouvoir répondre à « Trust & Safety »
- L’entreprise a demandé une facturation mensuelle, mais Cloudflare a exigé un engagement d’un an avec paiement intégral à l’avance
- L’e-mail laissait entendre qu’un paiement mensuel pourrait être possible, mais après demande de confirmation, Cloudflare a répondu qu’il fallait payer l’année d’avance
- L’entreprise pouvait comprendre que BYOIP réduise la responsabilité liée aux domaines, mais estimait que la plupart des autres fonctionnalités étaient inutiles ou simplement agréables à avoir
Suppression des domaines juste après l’examen de Fastly
- Avec l’implication du CEO et du CTO dans la négociation, l’entreprise a pu discuter directement avec Cloudflare et gagner environ une semaine
- Cloudflare n’a proposé ni autre option contractuelle ni solution simple au problème
- L’entreprise n’a pas non plus pu vérifier l’exactitude du chiffre de 80 To de trafic avancé par l’équipe Sales
- Elle explique que Cloudflare avait supprimé l’accès aux analyses historiques
- En se référant à des publications Hacker News, l’entreprise estimait que le prix raisonnable pour 80 To de trafic pouvait être de 150 à 2 000 dollars par mois, mais il s’agissait d’une estimation par comparaison avec des publications externes
- En alternative, elle a configuré un domaine de test chez Fastly et planifié un appel à ce sujet
- Quelques heures après que le CEO a dit à l’équipe Cloudflare Sales, lors d’un appel de négociation, qu’ils discutaient aussi avec un concurrent, Cloudflare a supprimé tous les domaines de l’entreprise
- Les enregistrements DNS, la configuration du cache, les rate limits et les whitelists ont disparu
- Le site web public et les e-mails entrants, y compris ceux du support client, ont été interrompus
- L’infrastructure interne et la configuration d’authentification Cloudflare Access ont également été mises hors service
- L’e-mail de Cloudflare indiquait que « le service actuel n’est pas affecté », mais une panne s’est effectivement produite et les tickets de support n’ont pas reçu de réponse immédiate
Migration d’urgence vers Fastly et charge de rétablissement
- L’entreprise a mobilisé son équipe SysOps pour effectuer une migration d’urgence du site principal vers Fastly
- Le fonctionnement de base a été rétabli en quelques heures, mais la propagation des changements d’entrées DNS NS était imprévisible
- Le délai de propagation pouvait aller de 1 à 48 heures
- L’entreprise affirme que la plupart des utilisateurs ont subi environ 3 à 24 heures d’indisponibilité
- Cloudflare a fini par répondre au ticket, mais selon l’entreprise, « Trust and Safety » ne l’a pas contactée directement et le compte est resté verrouillé
- L’impact de la suppression ne s’est pas limité aux services publics et s’est étendu aux systèmes internes
- La configuration d’authentification interne basée sur Cloudflare Access a été interrompue
- L’entreprise a dû reconstruire de zéro l’infrastructure d’authentification de ses produits internes, entraînant une indisponibilité importante
Le risque opérationnel créé par la dépendance à Cloudflare
- Le fait que Cloudflare ne publie pas de critères indiquant quand un client Business peut être poussé vers une tarification Enterprise sur mesure reste un risque majeur
- L’entreprise estime qu’il est difficile de trouver des critères publics sur les limites de trafic ou les prix Enterprise
- Des éléments comme l’usage de plusieurs domaines peuvent servir de justification à une pression pour passer à Enterprise
- Selon l’entreprise, le prix semblait déterminé moins par des métriques mesurables ou un ensemble de fonctionnalités que par le montant que le client semblait capable de payer
- Elle a demandé comment le prix évoluerait si le trafic diminuait, mais Cloudflare n’a répondu que par le fait que 80 To étaient inclus
- Elle a indiqué que beaucoup des 14 fonctionnalités incluses ne lui étaient pas nécessaires, mais Cloudflare a seulement répondu que les fonctionnalités étaient incluses
- Elle a dit que tous les domaines internes n’avaient pas besoin d’Enterprise, mais Cloudflare a répondu que tout le compte était Enterprise
- L’entreprise conclut qu’il faut être prêt à migrer hors de Cloudflare en 24 heures
- Elle recommande de ne pas enregistrer ses domaines directement chez Cloudflare
- Elle estime que si un compte Cloudflare est bloqué, il est difficile de savoir comment récupérer ses domaines dans un délai raisonnable
- L’entreprise a pu migrer parce que seuls ses NS pointaient vers Cloudflare
- Les fonctionnalités spécifiques à Cloudflare augmentent le coût de migration
- Elle recommande d’utiliser « Cache: Always » et « Respect Origin Headers » plutôt que des règles de cache personnalisées, afin que cela fonctionne aussi avec d’autres proxys de cache
- Elle estime qu’il est plus sûr d’éviter les produits propriétaires comme Zero Access ou Workers et d’utiliser des technologies compatibles avec des standards tiers
- Les sauvegardes de configuration sont également nécessaires séparément
- Les paramètres DNS liés à l’envoi d’e-mails, comme SPF et DKIM
- Les entrées DNS de vérification de site
- Les listes d’IP
- Les règles de rate limiting
- L’entreprise explique que la protection DDoS de Cloudflare s’est montrée efficace contre les attaques à grande échelle, mais que des surfaces d’attaque vulnérables, comme des requêtes API non authentifiées et non mises en cache consommant 100 ms de CPU, peuvent épuiser les cœurs avec seulement 10 à 100 rps
- Elle ajoute que certains groupes de « DDoS attack as a service » semblent spécialisés dans les services basés sur Cloudflare et le contournement du « Under Attack Mode »
2 commentaires
J’utilise Cloudflare parce qu’il permet de contourner le blocage de domaines imposé par le gouvernement coréen, mais est-ce qu’une entreprise comme Fastly propose aussi ce type de contournement du blocage de domaines ?
Avis sur Hacker News
Ce problème semble venir du fait que l’OP exploite un site de casino/jeux d’argent.
Les jeux d’argent sont un domaine où la réglementation est chaotique : il faut prouver sa conformité dans chaque juridiction, et comme l’application parfaite est difficile sur Internet, certains pays ou FAI bloquent directement. Les IP qui hébergent des sites de jeux d’argent ou de gaming peuvent être bloquées selon les régions, ou signalées comme hébergeant du contenu illégal, ce qui affecte leur réputation IP ; pour un agrégateur de trafic comme Cloudflare, cela peut se transformer en problème pour d’autres clients. Les États-Unis, en particulier, ont une réglementation agressive et complexe sur les jeux d’argent, et il est très probable que Cloudflare se soit retrouvé en difficulté à cause de règles au niveau des États américains.
Cloudflare voulait sans doute les faire passer au BYOIP du plan Enterprise, et ne voulait pas les laisser sur ses propres IP. Le bon message aurait dû être : « Enterprise + BYOIP, sinon blocage ; le prix est négociable ». Mais dans les faits, cela a été présenté comme « le plan Enterprise devrait vous plaire », ce qui est un désastre de communication d’entreprise.
Comme à peu près la moitié des entreprises Internet utilisent Cloudflare ou une autre infrastructure multi-tenant, tout le monde sait qu’on ne peut pas bloquer une seule IP pour viser uniquement une cible précise. Ce que j’ai vu, c’est seulement du blocage DNS ou du blocage fondé sur le TLS SNI. Nous aussi, nous bloquons complètement les utilisateurs américains pour des raisons réglementaires. Le problème central, c’est la communication non professionnelle qui mélange « conformité » et vente sans donner d’informations ni d’options claires, ainsi que la suppression sans avertissement du compte avec lequel la discussion était en cours.
Le BYOIP n’est pas seulement coûteux : si le contenu nuit à la réputation IP, il peut être signalé beaucoup plus vite avec du BYOIP qu’avec une IP partagée, car l’effet de dilution est moindre. Si l’on ajoute à cela la question de faire tourner ou de louer continuellement des IP, cela devient encore plus compliqué. Cela dit, si tout se résumait aux e-mails commerciaux, la communication de Cloudflare était clairement maladroite et non professionnelle.
Ils avaient appris qu’il leur fallait du BYOIP via le plan Enterprise ; ils ne voulaient simplement pas en payer le coût, semble-t-il.
Je pensais que random.org avait tout verrouillé.
La manière dont Cloudflare gère ce type de situation n’est idéale pour personne.
Quand on commence à utiliser le service, le coût n’est pas élevé, donc on planifie à ce niveau-là ; puis soudain un commercial envoie un e-mail « urgent » et l’on se retrouve à devoir passer de 20 ou 250 dollars par mois à plusieurs milliers. Du point de vue de Cloudflare, il n’y a sans doute pas de raison de garder des clients qui ne paient pas assez, mais si l’on lâche une bombe sur un client en lui donnant l’impression qu’il va être expulsé, on perd sa confiance. Ils auraient probablement pu s’aligner sur les prix de Fastly ; avec une autre approche, ils auraient gardé le client, encaissé davantage, préservé la confiance et évité une mauvaise PR. Comme les dirigeants de Cloudflare qui écrivent sur HN disent généralement que « ce genre de chose ne devrait pas arriver », il faudrait sans doute examiner les incitations des commerciaux.
Quand on parle à Cloudflare, il ne semble même pas prudent de mentionner un concurrent ou de laisser entendre qu’on pourrait partir.
Cloudflare n’est-il pas l’entreprise qui avait déjà fait fuiter des données sensibles via des fichiers en cache, ensuite indexés par Google ?
Je me souviens que, lorsque la communauté tech s’était indignée d’une fuite massive d’informations sensibles, le CEO était venu ici reprocher à Google de ne pas avoir désindexé assez vite. Quand on paie peu, on obtient ce qui va avec.
Une erreur aussi grave est difficile à oublier, et elle ressemble au signe d’une culture du « move fast and break things ». Ce n’est pas une culture adaptée à une entreprise chargée d’infrastructures critiques.
Cela dit, si un grand fournisseur propose des versions en cache de pages, il devrait exister un moyen de supprimer ces fichiers quand un problème du type malware survient.
Il est certes difficile de trouver un meilleur fournisseur d’atténuation DDoS que Cloudflare, mais je ne leur fais pas confiance au point de tout leur confier. Surtout parce qu’ils sont très probablement en mesure d’observer les connexions HTTPS déchiffrées.
Au moment où le compte a été bloqué, l’équipe commerciale de Cloudflare devait probablement considérer ce dossier comme ayant « 60 % de chances de se conclure dans les 6 semaines ».
À ce moment-là, ils n’avaient aucune raison de penser qu’ils allaient le perdre au profit de Fastly, et Cloudflare était le vainqueur par défaut. Que ce soit de l’extorsion ou non, il est difficile de croire qu’ils aient renoncé, par colère, à une vente qu’ils étaient presque sûrs de gagner. Il me semble donc plus probable qu’en examinant le dossier, ils aient conclu qu’il s’agissait d’un secteur d’activité contraire aux conditions d’utilisation, ou que les déclencheurs d’intervention des équipes d’application des règles et des équipes commerciales se soient chevauchés. Le comportement de Cloudflare a été exécrable, ce genre de signalement n’est pas nouveau, et ils ont une réputation de « niveau gratuit très généreux et expérience payante catastrophique ». Mais qui abandonnerait une vente gagnante par simple colère ? Il est possible qu’en s’y intéressant, ils aient regardé de plus près et réalisé qu’ils ne voulaient pas soutenir une activité ressemblant à un casino douteux ou à une tentative de contourner la législation américaine.
De plus, il semble qu’ils aient tout un département chargé du marché du gaming.
Un cas d’usage de niche passe les contrôles automatiques des conditions d’utilisation, puis un problème de support sans rapport est escaladé et déclenche une revue manuelle des conditions. Même ainsi, une entreprise de la taille de Cloudflare, qui gère des factures de 120 000 dollars, devrait empêcher que cela arrive. Cela fait très amateur.
L’OP est un casino et on dirait qu’il joue avec les domaines pour éviter l’attention des régulateurs
Je recommande de lire le billet attentivement avant de réagir uniquement au titre. Ce serait bien d’avoir aussi le point de vue de Cloudflare.
On dirait que le casino a structuré son activité non pas pour contourner la réglementation, mais pour s’y conformer. Je ne vois pas non plus pourquoi Cloudflare prendrait le risque d’aider un client à échapper à la surveillance juste pour obtenir plus d’argent. Cela ressemble plutôt au fait qu’ils ont compris que c’était une activité où l’argent circulait bien et qu’ils ont voulu leur part.
Soit l’activité est acceptable, soit elle ne l’est pas ; dans un cas comme dans l’autre, ça ne donne pas une bonne image de Cloudflare.
Si elle peut interrompre son service à un casino, ne peut-elle pas aussi le faire pour un site de propagande de guerre ou un site vendant des services illégaux ? Cela signifie qu’elle ne se contente pas d’être un simple fournisseur technique ou un « tuyau Internet » neutre, mais qu’elle fait des choix éditoriaux. Au bout du compte, l’autocensure pourrait ne pas être dans l’intérêt de Cloudflare, et elle pourrait aussi risquer de perdre le bénéfice du safe harbor du DMCA.
Le point essentiel est qu’ils étaient prêts à supprimer tous les domaines sauf le domaine principal, et que celui-ci représentait plus de 95 % du trafic. Mais Cloudflare ne leur a donné ni cette option ni le moindre détail sur le problème.
S’il y avait eu un problème juridique, c’est l’équipe juridique de Cloudflare qui aurait dû intervenir, pas l’équipe commerciale.
Cloudflare est aussi l’entreprise dont la vidéo du licenciement d’une responsable de compte qui n’avait pas atteint ses objectifs est devenue virale
Cela peut être le signe d’une culture globalement malsaine dans la gestion des relations avec les clients Enterprise
https://m.youtube.com/watch?v=7LuwPdp-_4c
Les commerciaux sont souvent licenciés quand ils n’atteignent pas leurs objectifs, et les ingénieurs aussi quand ils n’atteignent pas leurs objectifs de productivité. Il ne faut pas s’attendre à rester en poste si on ne fait pas bien son travail. Si je me souviens bien, cette employée était une nouvelle recrue qui n’avait encore conclu aucune vente. Est-ce qu’on garderait une recrue non éprouvée plutôt qu’un commercial expérimenté aux résultats démontrés ?
J’ai déjà hébergé sur un plan Cloudflare Business un site qui consommait pas mal de bande passante
C’était un site parfaitement légal, avec beaucoup de médias. Cloudflare nous a proposé un plan Enterprise, mais nous n’avions pas le budget ; nous leur avons demandé un peu de temps, et ils ont accepté. Nous avons ensuite déplacé une part importante de l’utilisation de bande passante vers quelques serveurs dédiés OVH, et nous n’avons plus jamais eu de nouvelles.
Quelqu’un peut-il expliquer, du point de vue de l’algorithme de HN, pourquoi cet article, qui au moment de la rédaction a atteint 355 points et 180 commentaires en une heure, n’est même pas en première page mais 31e ?
Le genre « support client de dernier recours » est fréquent et, en général, ne correspond pas très bien à HN [1]. Si vous trouvez cette histoire exceptionnellement pertinente et intéressante, je ne suis pas d’accord, mais je peux céder dans certains cas précis, donc j’ai annulé la pénalité de ce fil. De notre point de vue, le problème n’est pas tel billet X ou telle entreprise Y, mais un problème systémique. Les genres de soumissions les plus populaires, en particulier celles qui suscitent l’indignation, sont par défaut suréchantillonnés ; pour préserver de la place pour les articles centrés sur la curiosité intellectuelle que le site vise, il faut des mécanismes de contrepoids [2]
[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&query=by%3Adang%20%22last%20resort%22%20support&sort=byDate&type=comment
[2] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&query=by%3Adang%20countervail&sort=byDate&type=comment
https://hnrankings.info/40481808/
C’est clairement un abus du système de flags.
[flagged]ne sont pas visibles, mais ils ont quand même pour effet de réduire le poids du post.C’est ironique : sur un article qui parle d’opacité, nous nous retrouvons à réclamer de la transparence.
Le secteur des jeux d’argent est, qu’on le veuille ou non, structurellement une activité de l’ombre
Cloudflare a peut-être estimé que le risque était supérieur à ce qu’il en retirait. 300 dollars par mois, c’est très peu par rapport aux problèmes potentiels liés au fait de traiter avec ce type d’activité. Et je trouve très déplacé de révéler le nom de l’interlocuteur de l’autre entreprise tout en dissimulant soigneusement ses propres informations et le nom de sa société. Au final, Cloudflare peut aussi choisir avec qui elle fait affaire, et a probablement fixé son prix en tenant compte de la rentabilité de votre activité et du niveau de bruit et de douleur que cela représenterait de vous gérer. Ce n’est pas idéal, mais c’est l’inconvénient du SaaS/PaaS
Rien ne garantit qu’ils ne feront pas la même chose à des milliers d’autres clients
Je suis d’accord pour dire que 300 dollars par mois, c’est peu, mais 10 000 dollars par mois, c’est très cher, et Fastly semble l’avoir vu ainsi aussi. Je n’ai pas considéré la publication du nom comme du doxxing et je ne pensais pas que cela poserait un gros problème, mais j’ai mis à jour les captures d’écran pour masquer le nom de l’interlocuteur. Cloudflare peut bien sûr choisir ses partenaires commerciaux, mais dans le même temps, l’entreprise met elle-même en avant sa neutralité
Le fait que Cloudflare ait même donné 24 heures a été une chance pour l’OP. Je ne vais pas éplucher les conditions d’utilisation, mais certains secteurs comme la banque, les cryptomonnaies, le contenu pour adultes ou les jeux d’argent nécessitent probablement un contrat Enterprise, ce qui expliquerait le passage par l’équipe commerciale. L’OP parle de perte de confiance de ses clients, mais Cloudflare ne veut ni n’a besoin de la confiance de l’OP. 250 dollars par mois ne suffisent pas pour assumer ce type d’activité
Le CEO et cofondateur de Cloudflare est assez actif sur Twitter[0] et l’est aussi dans une certaine mesure sur HN[1] ; il serait donc intéressant d’entendre son point de vue sur cette affaire
[0] https://x.com/eastdakota/
[1] https://news.ycombinator.com/user?id=eastdakota
Le client peut dire ce qu’il veut, mais si un employé de Cloudflare ou son CEO répond, pourront-ils donner leur version des faits ? Révéler des détails du compte irait à l’encontre des règles de confidentialité et ne ferait sans doute qu’aggraver les problèmes juridiques. L’auteur semble avoir soigneusement masqué le domaine dans toutes les captures d’écran
https://x.com/ArtemR/status/1795074047539068991