L’impact de la panne de CrowdStrike sur le secteur aérien
(heavymeta.org)- La mise à jour de configuration du capteur de CrowdStrike pour Windows, déployée le 19 juillet 2024 à 04:09 UTC, a provoqué des écrans bleus sur environ 8,5 millions d’ordinateurs, avec un impact également sur les opérations des compagnies aériennes
- Sur l’ensemble du trafic aérien américain, en incluant les pompiers, la police, l’armée et l’aviation générale, le nombre cumulé de décollages après 04:00 le 19 juillet était supérieur de 2,6 % à celui du vendredi précédent, mais entre 08:00 et 09:00 il a diminué de 31 %, passant de 378 vols à 261
- L’impact sur les quatre plus grandes compagnies aériennes américaines a fortement divergé : Delta à -1 087 vols (-46 %), United à -596 vols (-36 %), American à -376 vols (-16 %), et Southwest à +101 vols (+3 %)
- Delta a annulé des milliers de vols pendant plusieurs jours, allongeant la reprise, tandis qu’ABC News explique que Southwest n’a pas été affectée car elle n’utilisait pas CrowdStrike
- L’analyse a détecté les décollages à partir des données ADS-B brutes d’ADS-B Exchange et les a considérés comme une approximation des vols ; les volumes absolus peuvent être sous-estimés, mais la comparaison des ratios entre périodes reste valable
Point de départ de la panne de CrowdStrike du 19 juillet 2024
- Le 19 juillet 2024 à 04:09 UTC, CrowdStrike a déployé une mise à jour de configuration du capteur sur les systèmes Windows
- Environ 8,5 millions d’ordinateurs ont ensuite subi un écran bleu, affectant aussi des hôpitaux, des banques et des systèmes d’appel d’urgence 911
- Linux, Mac et les téléphones mobiles ne sont pas mentionnés comme directement touchés par cette panne
- Des services comme Gmail, Facebook et Twitter ont continué à fonctionner, mais les machines Windows qui gèrent des opérations réelles comme les réservations, l’ouverture de comptes ou les interventions de police ont subi des pannes, illustrant le contraste
- Les systèmes des compagnies aériennes faisaient également partie de cette sphère opérationnelle basée sur Windows
Se concentrer sur la comparaison du trafic aérien réel plutôt que sur les annulations
- Plutôt que de regarder uniquement le nombre d’annulations des compagnies, l’approche retenue consiste à comparer le nombre réel d’avions en l’air avec le nombre d’avions qui auraient normalement dû l’être
- Une vidéo time-lapse de 12 heures basée sur FlightRadar24 pour American Airlines, Delta et United a été partagée, mais sans référence de comparaison, il est difficile d’en évaluer l’ampleur de l’impact
- La baisse du nombre d’avions pendant la nuit est un phénomène quotidien ; il faut donc la comparer au schéma normal du même jour de la semaine
- Ce cas correspond au problème de « manque de contexte sur le phénomène observé » évoqué par Bellingcat dans “OSHIT: Seven Deadly Sins of Bad Open Source Research”
Évolution horaire du nombre total de décollages aux États-Unis
- Le nombre de décollages par tranche horaire aux États-Unis a été comparé entre le 19 juillet, jour de la panne de CrowdStrike, et le vendredi précédent, le 12 juillet
- La comparaison inclut non seulement l’aviation commerciale, mais aussi les avions de lutte contre les incendies, la police, l’armée et l’aviation générale
- Le 18 juillet a également été examiné, mais comme il ressemblait beaucoup au vendredi précédent, le 12 juillet a été conservé comme référence principale
- Entre 06:00 et 13:00 environ, le nombre de vols a légèrement diminué, puis a légèrement augmenté ensuite
- En cumul après 04:00, le nombre de vols du 19 juillet était en hausse de 2,6 % par rapport à la même période du vendredi précédent
- La plus forte baisse a été observée entre 08:00 et 09:00, avec 31 % de décollages en moins, de 378 à 261, par rapport au vendredi précédent
Un impact très contrasté selon les compagnies aériennes
- Les évolutions des quatre plus grandes compagnies aériennes américaines ont fortement divergé
- Delta Air Lines : -1 087 vols, -46 %
- United Airlines : -596 vols, -36 %
- American Airlines : -376 vols, -16 %
- Southwest Airlines : +101 vols, +3 %
- Delta a été la plus touchée, suivie par United, tandis que la baisse chez American a été plus limitée
- Southwest apparaît comme n’ayant pas été affectée dans les chiffres
- L’explication selon laquelle Southwest aurait évité l’impact en utilisant encore Windows 3.1 a été publiée dans un article de TechRadar, mais OSNews la qualifie de fausse
- Un article d’ABC News rapporte que Southwest n’a pas été affectée parce qu’elle n’utilisait pas CrowdStrike
Explications et limites autour de la reprise retardée de Delta
- Delta Air Lines a mis longtemps à se rétablir, annulant des milliers de vols pendant plusieurs jours après la mise à jour de CrowdStrike
- Un article d’ABC News indique que la réponse à l’incident a nécessité une correction manuelle de chaque système informatique ; la correction elle-même pouvait être faite en moins de 10 minutes, mais Delta disposait d’un grand nombre de terminaux numériques, ce qui demandait beaucoup de personnel
- Cette seule explication suffit difficilement à rendre compte de l’écart entre Delta et les autres compagnies
- Un commentaire Reddit avance, sans confirmation, que Delta ne disposait pas d’un plan adéquat de reprise après sinistre ni de continuité d’activité IT, tandis que United, American et Frontier auraient exécuté immédiatement leurs plans et récupéré rapidement
- Ce commentaire affirme aussi que United et American dépendaient autant que Delta de Windows
- Il indique également qu’American avait récupéré à la fin de la journée de vendredi et repris des opérations normales le samedi, tandis que United aurait résolu la situation samedi matin puis repris un planning normal samedi après-midi
- Il s’agit d’un commentaire Reddit sans source, accompagné de la réserve qu’il peut être erroné
Méthode d’analyse fondée sur les données ADS-B
- L’analyse s’appuie sur les données ADS-B brutes de ADS-B Exchange
- Un code personnalisé a servi à détecter les décollages, chacun étant considéré comme correspondant approximativement à un vol
- Le nombre de décollages n’est pas exactement identique au nombre de vols, mais l’hypothèse est qu’il en est suffisamment proche pour cet usage
- Certains cas peuvent être sous-comptés, par exemple les avions ayant décollé d’aérodromes hors de la couverture d’ADS-B Exchange
- Cette sous-estimation étant systématique, elle peut servir à comparer des périodes entre elles ; le nombre absolu de vols peut être sous-évalué, mais les variations en pourcentage sont jugées exactes
- Comme le code de détection des décollages existait déjà, l’analyse a utilisé le nombre de décollages plutôt que de recompter les avions en vol
1 commentaires
Avis sur Hacker News
J’ai lu que Delta avait mis du temps à se rétablir parce que son logiciel de suivi des équipages avait été fortement touché.
Source : https://news.delta.com/update-delta-customers-ceo-ed-bastian
On y lit notamment : « un outil en particulier, lié au suivi des équipages, a été affecté et n’a pas pu traiter efficacement le nombre sans précédent de changements déclenchés par l’interruption des systèmes ».
Les systèmes n’étaient pas prêts au moment où ils devenaient nécessaires pour le rush matinal, et il est donc probable qu’ils soient passés au traitement manuel, leur stratégie de continuité d’activité. Cette méthode pénalise le débit et le temps de reprise, et plus cet état dure, plus la situation empire évidemment.
Ce que montrent l’incident de Southwest et celui de Delta, c’est que les grandes compagnies aériennes semblent ne pas disposer d’assez de personnel ni de marge dans les plannings pour tenir lorsqu’elles basculent en mode continuité d’activité. Cela mérite une enquête, et j’espère que des sanctions financières inciteront à changer les comportements, mais seul le temps le dira.
Pour le dire plus simplement, le logiciel de planification était hors service pendant 4 heures le vendredi matin, ce qui oblige à « emprunter » des renforts un peu partout pour remplacer les employés en retard ou malades. Cela compromet alors la disponibilité du personnel pour les vols suivants ; on espère que le système sera revenu d’ici là, mais si ce n’est pas le cas, il faut encore emprunter du personnel pour les vols du soir.
Pendant ce temps, les vols retardés ou annulés affectent aussi les heures de service restantes des employés qui auraient normalement été disponibles. Après cette réaction en chaîne, une fois le week-end arrivé, il faut déjà établir combien d’heures chaque membre d’équipage a réellement effectuées, et il devient aussi incertain de savoir comment les remettre à leur poste d’origine à temps.
Les autres compagnies ont retardé des vols, tandis que Delta les a annulés directement ; résultat, davantage de personnes et d’avions se sont retrouvés au mauvais endroit, ce qui a rendu la reprise plus difficile.
Je me demande si un plan de reprise après sinistre solide, à jour et suffisamment répété a réellement sauvé quelqu’un. Ou si tout le monde fonctionne simplement à découvert, que l’IT dépense ou non de l’argent dans les sauvegardes et la reprise.
Nous avons des systèmes de reprise qui fonctionneraient aussi dans d’autres scénarios, par exemple si la Thames Barrier échouait et que les Docklands disparaissaient. Malheureusement, certains prestataires externalisés n’avaient pas cette culture.
Il y a bien eu une panne momentanée, avec environ 10 minutes de timeouts de pages ou de redémarrages de processus, mais globalement les sites ont basculé en failover et ont pu continuer à tourner en mode dégradé pendant qu’on cherchait la cause.
Le datacenter nous a accordé un crédit de service de 19 ou 21 dollars, je ne sais plus, avec des excuses. Le CEO a piqué une grosse colère en disant qu’il allait poursuivre, mais ça n’a jamais été plus loin ; le directeur de l’infrastructure IT, lui, nous a discrètement remerciés d’avoir préparé un failover qui avait fonctionné dans l’ensemble.
Donc la raison pour laquelle Delta s’est autant effondrée semble bien être un manque de reprise après sinistre.
Ce que je ne comprends pas dans ces graphiques, c’est pourquoi le nombre de décollages a augmenté relativement un peu avant le déploiement de la mise à jour CrowdStrike.
On le voit sur le graphique global, ainsi que sur ceux de United, American, et surtout Delta. Je ne vois pas d’explication ; c’est peut-être juste du bruit aléatoire, ou il s’est peut-être passé quelque chose de particulier à la même heure la semaine précédente.
Donc une hausse de 25 % pouvait ne représenter qu’une douzaine de décollages supplémentaires en une heure sur l’ensemble des États-Unis. Il y a clairement beaucoup de bruit, et regarder à la fois les valeurs absolues et les variations en pourcentage aide à se faire une idée de ce qui s’est passé.
Deux jours de données suffisent probablement à voir les grandes lignes de l’impact de CrowdStrike, mais pas à expliquer toutes les fluctuations.
Le plus intéressant sera sans doute de voir comment évoluera le procès que Delta envisage contre Microsoft et CrowdStrike.
https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a
Contenu du lien inclus : https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
Il y est dit, pour donner une idée de l’ancienneté de ce système d’exploitation, que « Windows 3.1 est sorti à l’origine en 1992, Microsoft a mis fin au support le 31 décembre 2001, à l’exception de la version embarquée, et cette version embarquée a elle aussi été officiellement arrêtée en 2008 ».
J’entends sans arrêt revenir cette histoire de Windows 3.1. Comme ça vient de TechRadar et qu’il y a même “Pro” dans le nom, ils n’auraient quand même pas inventé ça, non ? Pourtant, je n’arrive pas à y croire complètement. Quelqu’un qui travaille chez Southwest peut-il confirmer que le principal système de planification des équipages tourne sous Windows 3.1 ?
L’affirmation selon laquelle « SkySolver et Crew Web Access, développés en interne par Southwest, ont historiquement l’air d’avoir été conçus sous Windows 95 » a été déformée en « ils tournent sous Windows 3.1 ».
[1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
Pas un tweet de Southwest, ni même de quelqu’un disant avoir travaillé chez Southwest. Juste un tweet.
https://x.com/ArtemR/status/1815408553131426179
https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
Certains clients faisaient encore tourner Windows 3.11 sur de vieux systèmes AT dans leurs datacenters, et achetaient de vieux ordinateurs sur craigslist et eBay pour avoir du matériel de rechange en cas de panne. Je ne serais pas surpris que certains de ces systèmes soient encore utilisés aujourd’hui.
Berlin Brandenburg a été durement touché. En tant qu’usager qui a beaucoup à reprocher à BER, ça ne me surprend pas du tout qu’il ait fait partie de ceux qui ont subi les pires conséquences.
Au moins, ils ont immédiatement prévenu avec une bannière tout en haut du site web. Le système de prise de rendez-vous du service de l’immigration est resté en panne pendant plus d’un mois, et il leur a fallu trois semaines rien que pour reconnaître le problème.
Il va probablement y avoir des procès. Delta semble déjà s’y préparer.
https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html
Quel rapport Microsoft a-t-il avec un pilote tiers installé par leur propre service IT ?
Quelqu’un sait-il pourquoi Minneapolis-St Paul a commencé à subir des annulations bien plus tôt que les autres aéroports américains ?
Comment ne pas tomber en panne : Southwest n’a pas été touchée parce qu’elle n’utilisait pas CrowdStrike.
Mes réseaux sociaux disposent de meilleures sauvegardes et d’une meilleure infrastructure ; je ne comprends vraiment pas pourquoi ce n’est pas le cas du côté du système d’exploitation utilisé dans le monde entier
À l’inverse, le cœur de métier des compagnies aériennes est de faire voler des avions, et elles le font très bien. Mais l’IT est plutôt un outil acheté à l’extérieur, et elles ne le comprennent pas de la même manière qu’une entreprise de réseaux sociaux
Elles s’en remettent donc à des prestataires externes censés faire le travail correctement, mais ces prestataires remportent souvent les contrats parce qu’ils sont les moins chers ou parce qu’ils convainquent l’acheteur que leur service relève des « meilleures pratiques du secteur »
https://news.ycombinator.com/item?id=28750894
Et concernant l’expression « l’infrastructure comparée au système d’exploitation », je pense que la qualité de l’infrastructure de Microsoft n’est pas pertinente ici
Dans les premières, la rémunération est bonne et il existe un certain statut et un certain capital politique. Dans les secondes, les salaires sont bas, et le statut ou le capital politique sont souvent comparables à ceux du personnel de nettoyage
Son bénéfice de l’an dernier était aussi de 39 milliards de dollars, contre 7,8 milliards pour l’ensemble des compagnies aériennes américaines. Il est donc logique qu’elle ait de meilleurs systèmes