1 points par GN⁺ 2025-06-13 | 1 commentaires | Partager sur WhatsApp
  • Le 12 juin 2025, des échecs d’authentification Access et des problèmes de connexion Zero Trust WARP ont commencé chez Cloudflare, puis la panne s’est étendue à plusieurs services clés avant d’être résolue à 21:31 UTC
  • En raison d’une panne d’un service tiers, dépendance majeure, Workers KV est passé hors ligne, entraînant des effets en cascade sur les produits qui s’appuyaient dessus pour stocker et distribuer des informations
  • L’impact s’est étendu à Access, WARP, Browser Isolation, Browser Rendering, Workers KV, Workers AI, Stream, Turnstile, AI Gateway, AutoRAG et à une partie du Dashboard
  • À 20:32 UTC, les services se rétablissaient rapidement à l’échelle mondiale, et WARP et Turnstile étaient opérationnels, bien que certains effets résiduels subsistent
  • À 20:57 UTC, tous les services Cloudflare étaient revenus à un état pleinement opérationnel, et Cloudflare est passé à une phase de vérification de la stabilité en surveillant les métriques de la plateforme

Déroulement de l’incident et reprise

  • À 18:19 UTC, l’équipe d’ingénierie de Cloudflare a commencé à enquêter sur le problème des échecs d’authentification Access
    • Les connexions Cloudflare Zero Trust WARP étaient également affectées
  • Par la suite, des échecs intermittents sont apparus sur plusieurs services, et Cloudflare a mis à jour la liste en évaluant le périmètre d’impact service par service
  • À 19:12 UTC, certains services ont commencé à se rétablir, mais des erreurs intermittentes pouvaient encore persister sur l’ensemble des services touchés en raison des tentatives de reprise et du remplissage des caches
  • À 20:32 UTC, la reprise des services progressait rapidement dans le monde entier
    • WARP et Turnstile étaient opérationnels, mais de légers effets résiduels subsistaient
    • Le service central Workers KV ayant été restauré, les produits qui en dépendaient sont repassés en ligne
  • À 20:57 UTC, tous les services Cloudflare étaient pleinement opérationnels, et la situation est passée à une phase de surveillance pour confirmer la stabilité durable
  • À 21:31 UTC, l’incident a été clôturé avec le statut résolu

Services touchés et cause

  • Le service critique Workers KV de Cloudflare est passé hors ligne en raison de la panne d’un service tiers, dépendance essentielle
  • Certains produits Cloudflare utilisant le service KV pour stocker et distribuer des informations sont devenus indisponibles
    • Access
    • WARP
    • Browser Isolation
    • Browser Rendering
    • Les Durable Objects basés sur SQLite parmi les Durable Objects
    • Workers KV
    • Realtime
    • Workers AI
    • Stream
    • Une partie du Cloudflare Dashboard
    • Turnstile
    • AI Gateway
    • AutoRAG
  • La liste des services affectés comprenait, dans Cloudflare Sites and Services, Access, Dashboard, Durable Objects, Realtime SFU, Realtime TURN Service, RealtimeKit, Stream, Waiting Room, Cloudflare One Client, Workers AI et Workers KV

1 commentaires

 
GN⁺ 2025-06-13
Avis sur Hacker News
  • Si Workers KV, un service central de Cloudflare, est tombé à cause de la panne d’un service tiers dont il dépend fortement, alors certains services dépendent de GCP
  • Sur https://downdetector.com/, on voit des pannes chez plusieurs grandes entreprises comme Google, Cloudflare, AWS, etc.
    La rumeur dit qu’il y aurait un gros problème de routage BGP derrière tout ça
    • Ça se tient. Quand j’ai vu un incident similaire par le passé, il me semble que c’était à cause de BGP, avec du trafic routé vers l’Iran ou la Chine
    • Internet Health Report affiche aucune donnée à afficher
      [1] https://www.ihr.live/
    • Anthropic est aussi hors service ou dégradé. C’est le moment d’aller se promener
  • GCP est aussi en panne https://news.ycombinator.com/item?id=44260810
    • Drôle de coïncidence. Je me demande si Cloudflare utilise GCP
  • Ça risque d’être problématique. Ça faisait un moment que je n’avais pas vu une panne aussi étendue toucher autant de services
    • Maintenant que tout le monde met ses œufs dans seulement quelques paniers, ce genre de chose semble arriver assez régulièrement
  • Quelqu’un a déployé une mauvaise configuration BGP ?
    • Pour une panne aussi vaste et généralisée, il faudrait presque que ce soit le coupable
  • On va bientôt avoir droit à un énorme billet de blog expliquant comment ils ont sauvé Internet ;)
    Lien de référence, même s’il est hors service pour l’instant : https://blog.cloudflare.com/the-ddos-that-almost-broke-the-i...
  • Il semble que cela n’affecte pas seulement Workers, mais aussi la fonctionnalité de boîte de dialogue « Verify you are human »
    • Oui, KV est aussi cassé. Tous les Workers qui dépendent de KV lèvent des exceptions
      J’ai pu accéder au tableau de bord, mais il est très lent. Le taux d’erreur a commencé à fortement augmenter vers 18:00 UTC
      Mise à jour : la page de statut de CF reconnaît également une panne étendue sur plusieurs services : https://www.cloudflarestatus.com/incidents/25r9t0vz99rp
    • C’est bien le cas. Une autre question est pourquoi on voit toujours ce genre de boîte de dialogue chez Cloudflare plutôt que chez Akamai dès le départ
  • Le titre a été changé en « Broad Cloudflare service outages »
  • Est-ce une coïncidence si une maintenance programmée à Tokyo était en cours à 18:00 UTC et que les problèmes ont commencé à 18:19 UTC ?
    • Aucun rapport. Cloudflare a quelques services qui dépendent de GCP, qui est tombé
      Cela dit, les personnes qui travaillaient sur la maintenance de Tokyo ont sûrement dû pâlir en se demandant si elles en étaient responsables
    • On le saura dans le post-mortem. Le seul avantage de ce genre de panne, c’est qu’on peut apprendre et se divertir avec un bon article
    • Cette page affiche toujours des maintenances programmées, donc d’après mon expérience ce n’est pas vraiment un signal