Panne des services cellulaires aux États-Unis : des utilisateurs d’AT&T, T-Mobile et Verizon touchés

 (cnbc.com)
1 points par GN⁺ 2024-02-23 | 1 commentaires | Partager sur WhatsApp
  • Jeudi, une panne du réseau mobile d’AT&T aux États-Unis a perturbé les appels, les SMS et certains appels d’urgence au 911, et AT&T a indiqué que le service avait été rétabli pour tous les clients affectés peu après 15 h, heure de l’Est
  • Selon l’examen préliminaire, la cause n’était pas une cyberattaque, mais l’application et l’exécution incorrectes d’un processus lors de l’extension du réseau ; AT&T prévoit de poursuivre son évaluation
  • Les signalements sur Downdetector ont commencé à augmenter vers 4 h, heure de l’Est, atteignant un pic d’environ 74 000 vers 8 h 30, puis environ 58 000 étaient encore recensés vers midi
  • Sur les appareils touchés, les barres de signal disparaissaient ou l’indication SOS s’affichait, et les clients pouvaient passer des appels en activant le Wi-Fi calling
  • Verizon et T-Mobile ont aussi enregistré plusieurs milliers de signalements chacun, mais les deux opérateurs estiment qu’ils reflètent probablement des difficultés lors de tentatives de connexion avec des utilisateurs d’autres réseaux

Panne d’AT&T et rétablissement du service

  • Jeudi, des milliers d’utilisateurs d’AT&T aux États-Unis ont subi une panne cellulaire qui a perturbé les appels et les messages texte
  • AT&T a indiqué que le service avait été rétabli pour tous les clients affectés peu après 15 h, heure de l’Est
  • L’entreprise a déclaré que le maintien de la connectivité de ses clients était sa priorité absolue et qu’elle prenait des mesures pour éviter qu’une telle situation ne se reproduise
  • AT&T a mis en place un site de mises à jour du système, sans divulguer le nombre de clients affectés par la panne de jeudi

Cause de la panne et réaction des autorités de régulation

  • Lors d’un examen préliminaire tard jeudi, AT&T a indiqué que la panne provenait de l’application et de l’exécution incorrectes d’un processus utilisé dans le cadre de l’extension du réseau
  • Dans la même explication, l’entreprise a confirmé que cette panne n’était pas une cyberattaque
  • La FCC a déclaré sur X qu’elle enquêtait sur l’incident et qu’elle était en contact avec AT&T ainsi qu’avec les autorités de sécurité
  • AT&T a indiqué qu’elle poursuivrait son évaluation de la panne

Évolution des signalements sur Downdetector et cours de l’action

  • D’après Downdetector.com, les signalements ont commencé à augmenter vers 4 h, heure de l’Est
  • Le nombre de signalements a culminé à environ 74 000 vers 8 h 30
  • Vers midi, environ 58 000 signalements de panne étaient encore recensés
  • L’action AT&T a terminé la séance de jeudi en baisse de 2,41 %

Indications affichées sur les appareils et impact sur le 911

  • Sur les téléphones touchés, les barres de signal disparaissaient en haut à droite de l’écran ou le texte SOS s’affichait
  • Les clients pouvaient passer des appels en activant le Wi-Fi calling
  • Le San Francisco Fire Department a indiqué dans un message sur X que les clients mobile d’AT&T ne pouvaient ni émettre ni recevoir d’appels, y compris les appels au 911
  • Le maire d’Atlanta, Andre Dickens, a déclaré que la ville pouvait recevoir et passer des appels au 911, mais que des clients AT&T locaux signalaient que leur téléphone était en mode SOS
  • La police de l’État du Massachusetts a demandé de ne pas appeler les centres 911 pour vérifier si le service mobile 911 fonctionnait, en raison de l’afflux d’appels
    • Elle a précisé que si un appel non urgent vers un numéro ordinaire aboutissait, alors le service 911 fonctionnait également

Signalements chez Verizon et T-Mobile

  • Selon Downdetector, à 10 h, heure de l’Est, des utilisateurs de Verizon et T-Mobile signalaient eux aussi plusieurs milliers de pannes chacun
  • Les deux entreprises estiment que ces signalements reflètent probablement des difficultés rencontrées lors de tentatives de connexion avec des utilisateurs d’autres réseaux
  • Dans une déclaration envoyée par e-mail, T-Mobile a expliqué que Downdetector reflétait probablement les problèmes rencontrés par des clients lorsqu’ils tentaient de se connecter à des utilisateurs d’autres réseaux

À lire aussi

1 commentaires

 
GN⁺ 2024-02-23
Réactions sur Hacker News

  • C'est un défaut d'architecture grave
    Même en regardant toute l'histoire des commutateurs électromécaniques du Bell System, aucun central n'a connu d'interruption de service de plus de 30 minutes, sauf en cas de catastrophe naturelle ou lors d'un grand incendie à New York
    Dans les années 1960-70, le système AT&T Long Lines reposait sur 10 centres régionaux tous indépendants et densément interconnectés, et le centre de contrôle de Bedminster, dans le New Jersey, ne s'occupait que de la supervision et des mises à jour de routage toutes les 15 minutes
    Si nécessaire, tous les commutateurs pouvaient revenir au routage par défaut, et même en cas de forte charge, certains appels échouaient mais la plupart continuaient de fonctionner

    • Il y avait eu la panne de la fête des Mères en 1990
      Elle avait été provoquée par le remplacement d'une instruction break par continue dans du code C chargé du routage, ce qui avait déclenché un effet en chaîne
      Cela n'avait toutefois affecté que le service d'appels longue distance
    • J'ai l'impression depuis un moment que presque toute l'infrastructure américaine est moins fiable qu'à la fin du XXe siècle
      Je me demande si c'est juste une impression ou si c'est réel, et dans ce cas ce que cela signifie
    • Je suis surpris que personne n'ait remarqué le 502 en essayant d'activer le WiFi calling
      Le 502 venait d'Azure, ce qui donne l'impression d'un problème d'architecture cloud
    • Ça pourrait en avoir été la cause : https://www.webwire.com/ViewPressRel.asp?aId=318230
    • Dans ce contexte, je me demande quelle est l'échelle physique d'un central office, au niveau régional

  • Il y a quelque chose dont on parle peu ici : les effets en chaîne de cette panne, notamment sur les conducteurs
    Beaucoup de gens à l'intérieur des bâtiments ont sans doute pu contourner le problème via le Wi-Fi, mais l'impact a probablement été assez large pour les conducteurs
    Je pense par exemple aux retards de livraison pour UPS, FedEx, Amazon et les chauffeurs routiers qui dépendent d'applications de cartographie sur téléphone, à l'impossibilité pour les chauffeurs Uber/Lyft/taxis d'être guidés vers les lieux de prise en charge et de dépose, ou encore à l'aggravation du trafic faute d'optimisation d'itinéraire et de guidage vers la destination
    Les grandes entreprises avaient peut-être de la redondance via leur propre infrastructure ou des appareils GPS dédiés, mais je me demande si ces effets ont réellement eu lieu ou s'il existait des solutions de contournement
    Indépendamment des conducteurs, le risque de ne pas pouvoir être soigné en urgence faute de pouvoir appeler a aussi dû augmenter, et on ne sait pas vraiment comment les appels d'urgence ont été affectés

    • Lors de la panne de Rogers au Canada en 2022, il y avait aussi une dépendance côté circulation
      À Toronto, un quart de tous les feux de circulation dépendaient du réseau cellulaire Rogers pour modifier la temporisation des feux, et le réseau GSM de Rogers servait aussi à la surveillance à distance des alarmes incendie et des sprinklers dans les bâtiments municipaux
      Le paiement du stationnement public et le service de vélos en libre-service étaient également indisponibles
      https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
      Si je me souviens bien, certains programmes estivaux dans les parcs pour les enfants avaient aussi été annulés. Le personnel devait disposer d'un téléphone capable d'appeler le 9-1-1, mais au moins cet appel-là semblait fonctionner dans ce cas
    • C'était peut-être pour ça que je me suis retrouvé ce matin dans un embouteillage énorme en plein milieu du quartier
      J'essaie volontairement de moins dépendre du téléphone, donc je ne savais même pas qu'il y avait une panne. Avant, j'ouvrais automatiquement Google Maps même pour des trajets très courts, mais j'ai réalisé qu'en dépendant entièrement d'une entreprise qui suit ma position et me dit où aller, on finit par perdre sa capacité à s'orienter soi-même, et dans le cadre de ma déGoogleisation je suis passé à Organic Maps
      Malgré tout, j'essaie de me repérer sans aide GPS quand c'est possible, parce que l'orientation me semble être une compétence qu'on peut réellement perdre si on ne la pratique pas
      Ce matin, après avoir traversé le centre-ville pour faire une course, j'ai voulu revenir vers la plus grande artère que je connaisse, et je suis immédiatement tombé sur un bouchon total qui s'étendait sur au moins 1 mile vers l'ouest
      J'ai pensé à un accident, mais je ne voyais rien ; tout le monde était simplement à l'arrêt
      J'ai aussitôt fait demi-tour et pris une autre route vers l'ouest située 0,75 mile plus au nord, où il n'y avait absolument personne, et j'ai pu rentrer chez moi à la vitesse autorisée
      Les applis de navigation courantes proposent normalement des itinéraires alternatifs en cas de bouchons ; alors pourquoi tout le monde restait-il bloqué là alors qu'une route parallèle à moins d'un mile était vide ? C'était peut-être un effet en chaîne causé par le fait que trop de gens, habitués à suivre les instructions de leur téléphone, n'avaient plus de téléphone pour leur dire de prendre un autre chemin
    • Avec Google Maps, il est automatiquement proposé de télécharger les cartes d'une zone quand la connectivité y est connue pour être mauvaise
      Il semble aussi exister une fonction de cartes locales automatiques
    • Il vaut la peine de rappeler que le GPS ne dépend pas du service cellulaire
    • Je ne suis pas convaincu que le trafic se soit aggravé parce que les conducteurs ne pouvaient plus optimiser leurs itinéraires
      La plupart des conducteurs empruntent des trajets familiers et ne sont pas guidés électroniquement
      La meilleure question est plutôt de savoir ce qu'il est arrivé aux voitures autonomes. Se sont-elles retrouvées garées sur le bord de la route, incapables de se repérer sans couverture cellulaire ?

  • Pour ceux qui veulent deviner la cause profonde, les informations sorties jusqu’ici dans les commentaires ne suffisent pas pour tirer une conclusion
    Quand je travaillais chez un opérateur, j’ai géré plusieurs incidents cellulaires à l’échelle du Canada, et un impact national peut vraiment venir de causes très diverses
    Il est déjà arrivé qu’une nouvelle route soit injectée dans le réseau et que le moteur de routage de certains équipements cellulaires plante à l’échelle nationale, avec pour conséquence l’interruption du seul accès Internet des appareils cellulaires dans tout le pays. Heureusement, c’était pendant la fenêtre de maintenance de 2 h du matin, on l’a détecté avant les heures de bureau et on a fait un rollback, donc la plupart des gens ne s’en sont pas aperçus
    Il est aussi arrivé qu’un technicien branche un nouveau routeur, ce qui a fait planter puis redémarrer les routeurs de cœur de réseau existants. L’impact médiatique a été une panne régionale d’environ 20 minutes, mais ensuite on a découvert des bugs et effets de bord pendant 12 heures, de la côte Pacifique à la côte Atlantique
    Donc les données du type « affecté à l’endroit x » permettent difficilement de distinguer entre une panne générale dans cette zone, un problème touchant beaucoup de personnes, ou un problème ne concernant qu’une ou deux personnes mais propagé depuis une autre région ; la valeur des infos du type ça marche / ça ne marche pas à un endroit donné reste limitée
    Il est aussi arrivé qu’un relais de messagerie atteigne la limite de débit configurée, puis que les nouvelles tentatives du protocole augmentent encore le volume de messages, provoquant au final un véritable effondrement par congestion sur un protocole donné. Comme il s’agissait d’un problème de congestion dans la propagation d’état, l’impact a été national, mais avec quand même une probabilité de x % que les flux de messages aboutissent et que le service fonctionne
    Je ne me souviens plus si la célèbre panne de Rogers a donné lieu à une reconnaissance complète de la cause profonde. Il y avait eu des spéculations selon lesquelles, pendant une modification ou une mise à niveau du réseau de routage, les effets de bord du problème avaient fini par expulser les techniciens eux-mêmes du réseau. Quand le réseau national tombe et que les employés utilisent ce même réseau, la coordination devient difficile et la restauration aussi
    Les documents transmis au CRTC que j’ai consultés avaient toutes les informations utiles caviardées, donc on n’avait presque rien à en apprendre. Les spéculations sont amusantes, mais j’espère que cette fois AT&T sera plus transparent que les opérateurs canadiens pour que le secteur puisse en tirer des leçons

    • Rogers a bien sûr rejeté la faute sur le fournisseur, probablement Ericsson. Parce que Rogers ne peut évidemment jamais se tromper
      C’était aussi intéressant de voir une autre énorme organisation ne pas avoir prévu de plan de rollback ou d’échec pour un changement capable de mettre une entreprise à genoux. Même l’IT 101 de base était absent ou très limité
      Le point positif à retenir, c’est que les trois grands, enfin en pratique les deux opérateurs, ont conclu qu’il valait mieux se fournir mutuellement des SIM de secours d’urgence sur le réseau concurrent pour les employés clés quand leur propre réseau tombe. Ils ne l’ont fait qu’en 2015, mais mieux vaut tard que jamais
      Rogers utilisait le même cœur pour les connexions sans fil et filaires, si bien que même les gens passant par des fournisseurs Internet tiers fonctionnant au-dessus de Rogers ont subi un blackout complet. Le site web, les liaisons d’entreprise, presque tout était hors service, et la communication de Rogers était pratiquement inexistante
      Heureusement, notre organisation avait une configuration multi-liens, donc nous avons basculé la ligne à 6 h du matin et le terrain a pu continuer presque sans problème
      Un autre point intéressant est que les stations de base semblaient juste assez allumées pour que les téléphones puissent s’y attacher, mais sans pouvoir rien faire ; du coup, les appels au 9-1-1 n’étaient pas basculés vers un autre réseau et échouaient simplement. Cela ressemble à un défaut de la spécification GSM ou de la programmation des SIM Rogers, mais je ne sais pas si cela a été corrigé
      https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
    • Les spéculations sont intéressantes parce qu’elles reflètent surtout celui qui les formule. Je me demande s’il existe un terme pour ça
      En généralisant très grossièrement, les gens portés sur la science imaginent une éruption solaire, mon ami de droite a imaginé des hackers internationaux, moi j’ai imaginé un déploiement logiciel raté, et quelqu’un dans ce fil a écrit que son ami militaire lui avait conseillé de faire le plein
      Mais comme tout le monde, j’ai aussi sincèrement l’impression que ma propre hypothèse est probablement la bonne
    • À voir les commentaires sur DownDetector, ça ne ressemble pas à un problème de routage
      Il y a beaucoup de témoignages disant que, dans une même maison où six personnes sont toutes chez AT&T, une seule rencontre un problème
      On dirait soit une mise à niveau appliquée à moitié, soit, vu l’heure de l’incident, un rollback appliqué à moitié
    • Je me demande si le fait que toutes les informations utiles aient été caviardées dans les documents transmis au CRTC est courant dans le secteur
    • Je pense que l’une des principales raisons pour lesquelles certaines personnes ont encore du service est probablement le roaming

  • Verizon et T-Mobile ont tous deux déclaré ne pas avoir de panne de leur côté, mais seulement un problème empêchant leurs clients d’appeler les clients AT&T
    Cela dit, il semble que la majeure partie du réseau AT&T aux États-Unis soit tombée

    • Une théorie à propos des problèmes signalés chez Verizon/T-Mobile est que, quand AT&T est passé hors ligne, tous les téléphones AT&T sont passés en mode SOS et ont tenté de s’enregistrer sur les réseaux restants, Verizon et T-Mobile, pour les appels au 911
      L’explosion simultanée du nombre d’appareils essayant de s’enregistrer a pu surcharger une partie de ces réseaux
    • Point de données AT&T via un MVNO à Atlanta : connecté jusqu’à environ 11 h, heure de l’Est, puis coupé, sans reconnexion ensuite
    • Ma femme utilise google-fi et mon collègue verizon, et tous deux disent qu’ils ne peuvent pas passer d’appels

  • C’est probablement sans rapport, mais le timing est mauvais alors qu’AT&T vient de demander l’arrêt du service de téléphonie fixe dans certaines parties de la Californie
    https://www.wired.com/story/att-landline-california-complain...

  • Fin de la panne
    Statut : rétabli
    AT&T FINAL, Service Degradation, Global Smart Messaging Suite
    AT&T Global Smart Messaging Suite
    Description de l’événement : FINAL, Service Degradation
    Services affectés : MMS MT
    Début : 2024-02-21 22:00 heure de l’Est, 21:00 heure du Centre, 19:00 heure du Pacifique
    Fin : 2024-02-22 11:00 heure de l’Est, 10:00 heure du Centre, 08:00 heure du Pacifique
    Durée de l’interruption : 780 minutes
    Cher client, nous vous informons que Global Smart Messaging Suite est désormais disponible. Le service MMS MT a été rétabli et notre équipe poursuit la surveillance
    AT&T Business Solutions
    Kind Regards,
    The AT&T SMS Service Administrator

    • Je pense que ce genre d’annonce devrait inclure si une enquête sur la cause profonde est en cours et, si oui, si les résultats seront partagés et où
      Je surinterprète peut-être, mais cette absence me gêne
    • Je me demande si cela inclut aussi la voix cellulaire

  • La récente discussion sur les pages d’état refait surface : https://news.ycombinator.com/item?id=39099980
    Une page d’état est censée être exacte, mais l’état AT&T affirme que tout fonctionne normalement
    Mon service mobile est tombé en panne et il y a des dizaines de milliers de signalements sur DownDetector, donc clairement tout ne va pas bien

    • Les pages d’état publiques sont fondamentalement presque inutiles
      Soit elles sont mises à jour par des tests automatisés, soit elles sont mises à jour manuellement
      Si c’est automatisé, c’est presque toujours pour un usage interne et non public, et si c’est manuel, c’est presque toujours en retard et de toute façon mis à jour seulement après que la panne a déjà été postée sur HN
    • J’aimerais que le fait d’avoir des pages d’état exactes soit rendu obligatoire par la FTC
      C’est vraiment pénible quand le service marketing prend le contrôle de la page d’état et affiche le fameux check vert avec un petit « i »
    • La page AT&T des pannes affiche actuellement cette bannière :
      “Service Alert: Some of our customers are experiencing wireless service interruptions this morning. We are working urgently to restore service to them. We will provide updates as they are available.”
      https://www.att.com/outages/
    • Je me demande de quelle page d’état il est question

  • Il n’y a encore rien sur NANOG, mais je pense que quelque chose sera posté dans ce fil dans les prochaines heures : https://mailman.nanog.org/pipermail/nanog/2024-February/2250...

  • Même avec l’app myATT, mon compte mobile n’apparaît pas du tout
    L’ensemble du compte familial n’est même pas affiché comme ayant un service. On dirait un piratage ou un problème interne qui aurait supprimé le compte
    Est-ce que d’autres peuvent vérifier si leur compte apparaît

    • On dirait que plusieurs API renvoient des 502 par intermittence, ce qui provoquerait des comportements bizarres dans les apps web/mobile
    • D’après ce que j’ai lu il y a un instant, le problème viendrait essentiellement de la base de données des numéros SIM
      Les SIM auraient perdu leur authentification réseau et seraient toutes tombées hors du réseau. Si c’est le cas, cela ressemble fortement à un déploiement logiciel raté
      Les comptes en ligne doivent probablement récupérer ces informations d’une manière ou d’une autre, ce qui pourrait aussi expliquer pourquoi le portail est cassé
      Les hotspots prépayés fonctionnent bien, mais aucun des téléphones sous contrat mensuel en « forfait familial » ne fonctionne
      Je me demande aussi si la différence entre SIM physique et eSIM pourrait expliquer pourquoi les modèles « récents » fonctionnent
    • La page d’état des pannes est elle aussi complètement cassée. Elle n’affiche rien
    • Mon compte, lui, apparaît bien
      La toute première chose que j’ai faite en voyant que mon téléphone ne marchait pas, ça a été de me demander si je n’avais pas oublié de payer, puis de me connecter pour régler la facture
    • Les outils de gestion de compte et d’état étaient déjà lents et instables en temps normal
      Je n’exclurais pas qu’un léger surplus de trafic ait suffi à les faire tomber. Une corrélation n’est pas forcément une causalité

  • Il y a bien une carte des pannes[1]. Mais elle est inutile
    C’est juste une carte qui montre où beaucoup de gens vivent aux États-Unis
    [1] https://www.cbsnews.com/news/outage-map-att-where-cell-phone...