Mon erreur à 500 millions de dollars sur un rover martien

Mon erreur à 500 millions de dollars sur un rover martien : récit d’un échec

• En février 2003, une soirée ordinaire commençait au Jet Propulsion Laboratory (JPL) de la NASA.

• C’était deux semaines avant l’expédition du rover martien Spirit vers Cap Canaveral, en Floride, pour son lancement.

• Spirit et Opportunity faisaient alors partie des engins spatiaux les plus complexes jamais construits, et la NASA y avait investi près d’un milliard de dollars.

• Les rovers martiens embarquaient 62 moteurs pour la propulsion et l’orientation des roues, le contrôle du bras robotique, le pointage des caméras, l’orientation de l’antenne vers la Terre, etc.

• Le rover a subi une vaste série de tests simulant l’environnement hostile de Mars.

• Les événements pyrotechniques étaient particulièrement critiques, car des ondes de choc explosives pouvaient endommager des composants en carbone fragiles à l’intérieur des moteurs.

• L’état interne des moteurs pouvait être vérifié en inspectant leurs performances électriques.

• Le test avait été effectué à plusieurs reprises, et Chris, expérimenté, était la personne idéale pour cette campagne d’essais puisqu’il était responsable du câblage des moteurs et de la rédaction des procédures de contrôle.

• Pendant le test, Chris a commis l’erreur d’envoyer par accident une surtension électrique vers l’engin spatial au lieu du rover.

• Cette erreur a créé une situation où un engin spatial de 500 millions de dollars pouvait devoir être mis au rebut.

• Chris a immédiatement signalé la situation, mais toute la télémétrie de l’engin spatial semblait perdue.

• Chris s’est dit qu’à cause de son erreur, un seul rover serait peut-être lancé durant cette fenêtre de tir.

• Il s’est confié à sa femme ce soir-là, persuadé qu’il perdrait son emploi le lendemain.

• Le lendemain, l’équipe a examiné l’incident de près et a estimé que la surtension avait probablement atteint le circuit de pilotage moteur en pont en H.

• Il a été décidé de rallumer l’engin spatial et de reprendre les tests.

• La télémétrie de l’engin spatial est revenue, révélant que Spirit n’était pas mort.

Leçon

• En partageant cette histoire, Chris transmet une leçon précieuse à lui-même comme aux autres.

• Son récit d’échec a aussi joué un rôle important dans la culture d’équipe et dans le processus de recrutement.

• Chris résume ainsi la leçon tirée de son expérience : "Laissez vos cicatrices vous servir ; ce sont de précieuses expériences d’apprentissage et un investissement dans vos compétences comme dans votre résilience."

• Dans ce moment de crise, un collègue s’est approché de Chris pour le réconforter et lui a conseillé de se souvenir de ce sentiment la prochaine fois qu’il donnerait son feu vert en disant que quelque chose allait bien.

• Après cet incident, Chris est devenu directeur de vol pour Spirit et Opportunity et a reçu la NASA Exceptional Achievement Medal.

• Le chef de projet a décidé que Chris continuerait à diriger les essais, convaincu qu’il ne referait jamais la même erreur.

• Chris a ensuite mené de nombreux autres tests, en ajustant soigneusement les procédures pour éviter de répéter la même erreur.

• Chaque fois qu’il doit prendre une décision importante, il se remémore cet instant et s’efforce d’aider les autres à traverser leurs propres moments difficiles.

• Dans l’exploration spatiale, l’échec n’est pas une option : il est intégré d’emblée, et chaque erreur constitue un tremplin vers un succès plus grand.

• Chris veut entendre et apprendre d’autres "récits d’échec" venus d’entrepreneurs du spatial, d’ingénieurs, de scientifiques, de techniciens et d’autres encore.

L’avis de GN⁺

Le point le plus important dans ce texte est la valeur de l’apprentissage et de la progression par l’échec. L’histoire de Chris montre combien il est important de reconnaître que l’échec fait inévitablement partie du parcours, et combien les leçons et la confiance gagnées en le surmontant comptent. Ce texte peut particulièrement inspirer les ingénieurs logiciel débutants à ne pas craindre l’échec et à en faire une occasion de progresser. L’expérience de Chris souligne aussi l’importance du travail d’équipe et du leadership, ainsi que la nécessité d’une culture où l’on se soutient et se fait confiance, même dans les situations difficiles. Ce type d’histoire est utile, positif, intéressant, divertissant et engageant, et devrait susciter l’intérêt de nombreuses personnes.

[GN⁺]

Avis Hacker News

• Expérience d’un ingénieur en mécanique/aérospatial

  En tant qu’examinateur de sécurité responsable de vies humaines, il ressent la peur, en examinant des photos de pièces endommagées lors d’un accident, que ses erreurs de calcul ou des procédures de test inadaptées aient pu en être la cause. Ce type d’expérience impose à certains une charge psychologique comparable à un PTSD.

• Récit d’une erreur d’un ingénieur logiciel

  Il y a 10 ans, le jour du lancement d’une nouvelle version du service web d’un client, il a supprimé par erreur la base de données de production au cours d’un processus de déploiement manuel et complexe. Heureusement, les sauvegardes ont permis de récupérer l’essentiel des données. Depuis, il fait preuve d’une prudence extrême lorsqu’il manipule des bases de données et des systèmes de production.

• Erreur d’un stagiaire et problème de processus

  Si un stagiaire a supprimé la base de données de production, alors le problème ne vient pas du stagiaire mais du processus. Même si l’on attend davantage d’un employé à temps plein (FTE), cela rappelle l’importance de l’espoir de pouvoir se relever après une erreur.

• Sécurité des bases de données et menace des hackers

  Si une seule erreur humaine peut faire s’effondrer tout le système, alors le même risque existe aussi face à un hacker. Des mesures de sécurité comme des identifiants distincts, la séparation des accès et l’interdiction des commandes dangereuses sont essentielles.

• Expérience d’un opérateur de bandes dans une chaîne de télévision

  Il a appris la prudence grâce à la manière dont son formateur attirait son attention pour éviter l’erreur consistant à retirer la mauvaise bande pendant une diffusion. Les sanctions en cas d’erreur étaient sévères, mais cela lui a permis de faire carrière sans commettre de faute.

• Citation de Thomas J. Watson

  Au lieu de licencier un employé ayant causé une lourde perte à l’entreprise, il considérait comme précieuse la leçon tirée de cette expérience.

• Importance de la corrélation entre les événements

  Lorsqu’un incident survient, comparer précisément les horodatages permet d’éviter des inquiétudes inutiles. Cela souligne l’importance d’un langage précis et de la vérification des liens entre les événements.

• Accident du satellite NOAA-N Prime

  Un satellite est tombé parce que des boulons coûteux avaient été « empruntés » pour un autre projet sans jamais être remis en place. Le coût des réparations après l’accident s’est élevé à 135 millions de dollars.

• Surmenage et risque d’erreur

  Autoriser des journées de 12 heures pour des tâches critiques est une erreur. Il faut reconnaître la possibilité d’erreur et il est dangereux de s’en remettre uniquement aux capacités humaines.

• Conception des connecteurs électriques et complexité des contrôleurs de moteur

  Cela rappelle l’importance de concevoir des connecteurs de tailles et de formes différentes pour éviter les mauvais branchements, ainsi que la nécessité de reconnaître les chaînes de défaillance complexes et les refontes qu’elles peuvent imposer.