Tesla affirmait ne pas disposer de données clés sur un accident mortel, mais un hacker les a retrouvées

• Tesla a affirmé ne pas disposer des données clés liées à un accident impliquant la conduite automatisée
• Mais un hacker a retrouvé des données internes, ce qui a déclenché la controverse
• Cela soulève des doutes sur la fiabilité du témoignage de Tesla et la réalité de sa conservation des données
• La responsabilité juridique de Tesla et son attitude vis-à-vis de la production de preuves se retrouvent à nouveau sous les projecteurs
• Les risques de la technologie de conduite autonome et les enjeux de transparence sont une nouvelle fois mis en avant

---

Aperçu de la controverse sur la dissimulation des données d'accident chez Tesla

• Tesla a affirmé, au sujet d'un accident mortel impliquant la conduite autonome, que l'entreprise n'avait pas accès aux données clés de cette affaire
• Mais un hacker a retrouvé les données concernées dans les systèmes internes de Tesla, prouvant que les données auparavant déclarées inexistantes existaient en réalité
• Cela soulève la question de savoir si Tesla a dissimulé la vérité dans son témoignage devant la justice ou, à tout le moins, si l'entreprise comprend mal son propre système interne de gestion des données
• Cette affaire relance plusieurs sujets, dont la responsabilité juridique, l'obligation de produire des preuves, ainsi que la transparence de la gestion des données des véhicules autonomes
• Elle alimente aussi l'attention portée à la fiabilité de la technologie de conduite autonome et à l'attitude des entreprises technologiques dans la gestion des accidents à venir

[GN⁺]

Avis sur Hacker News

• Partage du lien d’archive

• Je me demande si j’ai bien compris. Les données de l’accident sont automatiquement envoyées à Tesla, puis marquées pour suppression immédiatement après la transmission ? Avec une telle architecture, Tesla détient l’exclusivité de l’accès aux données et peut décider à sa guise de leur utilisation. Il semble peu probable qu’une telle pratique tienne au tribunal, mais jusqu’ici, on dirait bien que si. Et on s’attendrait évidemment à ce qu’il existe sur les serveurs Tesla une trace d’audit de la suppression des données d’accident, mais personne n’a réellement vérifié si elle existe

  • Les données du véhicule sont gérées de manière exclusive non seulement par Tesla, mais par tous les constructeurs. Il n’existe pas de méthode standardisée pour l’enregistrement ou la consultation des données, et même les logs par composant ne peuvent être interprétés que par chaque fournisseur
  • En essayant d’être plus positif, après un accident, des tiers peuvent accéder au véhicule et à sa mémoire, avec un risque d’exposition des données personnelles du propriétaire ou du conducteur. De plus, si les données d’état du véhicule sont rendues publiques, elles peuvent être déformées selon la partie qui les présente ; il peut donc être préférable que seuls des experts officiels y aient accès. C’est une logique similaire au traitement sur site des boîtes noires dans l’aviation
  • Une autre raison possible est qu’il peut y avoir des interactions avec le code d’upload d’autres types de données envoyées à Tesla. Pour les premières données (des données arbitraires), une fois la confirmation reçue qu’elles ont bien été stockées sur les serveurs Tesla, il est logique de les effacer du véhicule pour libérer de l’espace de stockage. Ce n’est pas idéal en cas d’accident, mais je ne pense pas qu’on puisse conclure automatiquement à une suppression malveillante
  • Je vois ça comme les « enregistrements destinés à améliorer la qualité des appels ». Les régulateurs exigent qu’on en informe les clients, mais en pratique, s’ils sont défavorables, on dit qu’il n’y a pas d’enregistrement, et s’ils sont utiles, on les divulgue. Tesla a déjà montré à de nombreuses reprises qu’elle traitait avec légèreté d’immenses quantités de données clients, et récemment encore, des vidéos prises à l’intérieur des véhicules ont circulé dans les bureaux. Une actrice porno a un jour tourné une vidéo dans une Tesla en conduite autonome ; j’imagine que cette vidéo a probablement circulé partout au nom de « l’amélioration de la qualité »
  • Il y a déjà eu de nombreux cas où il fallait poursuivre Tesla en justice pour obtenir des données de télémétrie du véhicule. Même lorsqu’elles devaient servir à un procès après accident et non à nuire à Tesla, l’entreprise refusait de les divulguer. En revanche, Tesla a publié des données de télémétrie dans la presse sans consentement, pour se défendre, voire pour tromper. Par exemple, ils disent que « le véhicule avait averti le conducteur de faire attention », alors qu’en examinant les faits, on découvre qu’il n’y avait eu qu’une seule alerte, 18 minutes avant la collision

• J’ai déjà acheté sur eBay une unité d’infodivertissement de Model 3 et je l’ai hackée. La quantité de données stockées à l’intérieur est énorme. Une fois l’accès au système obtenu, j’ai pu récupérer le VIN du véhicule et même retrouver la vente aux enchères de casse d’où il provenait. Les données de localisation enregistrées révélaient clairement les habitudes de vie du propriétaire : lieu de résidence, travail, commerces fréquentés, etc. La dernière position GPS enregistrée correspondait à un carrefour en T en Caroline du Nord, et avec Street View, on pouvait même voir l’arbre que la voiture semblait avoir percuté

  • Le matériel m’intéresse. Je me demande si c’est structuré autour d’un ordinateur sous Linux avec carte SD ou SSD, et quel système de fichiers est utilisé
  • Le commentaire sur « un aperçu de la vie du propriétaire »… avec une blague se demandant si cela incluait peut-être aussi sa mort

• D’après la vidéo annotée diffusée au tribunal, Tesla a détecté un véhicule à 170 pieds, puis un piéton à 116 pieds. Mais Tesla a quand même planifié une trajectoire passant exactement à l’endroit où ils se trouvaient, juste au bout de la route avec les feux et la signalisation. Autrement dit, le système a détecté le véhicule et le piéton, puis a quand même essayé de passer entre eux. Je me demande à quel point l’état de ce logiciel est grave

  • Une vidéo illustrant exactement ce niveau de défaillance est jointe : vimeo.com/1093113127/e1fb6c359c. Non seulement le système détecte un piéton et essaie quand même de passer par là, mais il poursuit même sa trajectoire après l’avoir effectivement percuté
  • On nous dit que l’IA va révolutionner le monde et devenir Skynet, mais en pratique, son pathfinding est au niveau d’un bot de Counter-Strike
  • Je pense qu’il s’agit du « dog/pig problem ». Le problème de ce type de système, c’est l’absence de « object permanence ». Même s’il détecte un véhicule à 170 pieds, la détection n’est pas maintenue en s’approchant ; idem pour le piéton. Le système Tesla filtre les objets fixes (véhicules à l’arrêt / panneaux), ce qui est aussi courant chez d’autres marques dans les systèmes d’aide à la conduite (hors mode assistance au stationnement). La différence, c’est que la plupart des conducteurs des autres marques ne font pas une confiance excessive au système, alors que les conducteurs Tesla ont tendance à trop se fier aux fonctions d’assistance. Lien vidéo connexe : scène de The Mitchells vs. the Machines
  • J’imagine plutôt que le véhicule et le piéton effectivement détectés étaient d’autres entités que les victimes. (Si c’étaient les victimes, la formulation n’aurait probablement pas été « a vehicle » ou « a pedestrian »)

• « Immédiatement après l’accident du 25 avril 2019 à 21 h 14, des données cruciales ont été automatiquement téléversées vers les serveurs Tesla et stockées dans la base de données centrale. Le siège a envoyé au véhicule un message automatisé confirmant la réception du snapshot de collision. Peu après, les mêmes données ont été “unlinkées” sur place, c’est-à-dire que la copie interne au véhicule a été marquée pour suppression. Tesla a expliqué au tribunal que cette procédure était habituelle en cas d’accident. » L’ensemble du processus est sidérant

  • Ce qui me surprend, c’est à quel point les gens accordent facilement une confiance immense à cette entreprise. Qu’elle soit restée leader de l’EV ou devenue une nouvelle puissance en IA/robotique, ce comportement d’entreprise dépasse franchement l’imagination. Ce niveau d’immoralité fait penser à Aperture Science
  • Je n’arrive pas à imaginer un cas où cette procédure pourrait être défendue légitimement sans poser problème. Cela soulève de grosses questions sur la conformité, les obligations légales et la conservation des données, sans parler de qui a validé l’inclusion de ce code dans une mise en production. Ce n’est pas l’erreur d’une seule personne, mais une décision d’équipe
  • Le problème encore plus grave, c’est que Tesla a aussi « activement supprimé » les données du serveur central
  • La partie que j’ai citée (la suppression des données dans le véhicule) ne me paraît pas si étrange ; ce qui est bien plus choquant, c’est la suppression côté serveur
  • Le commentaire le mieux classé sur le précédent post HN à propos de cette affaire disait que les dommages-intérêts étaient excessifs. Je me demande si la discussion prendra un autre tour dans ce fil

• Lorsque Volkswagen a été pris à tricher sur les émissions, son CEO a été licencié puis inculpé. La question est posée : ne devrait-il pas en aller de même pour Tesla ?

  • La particularité du Dieselgate, c’est que quelqu’un a effectivement été puni. À mon avis, il est très rare que des entreprises, surtout pénalement, soient réellement sanctionnées
  • Le juge a estimé dans sa décision qu’« il n’y avait pas suffisamment de preuves pour conclure que Tesla avait délibérément omis de produire les données au départ », et a plutôt ordonné à Tesla de rembourser les frais engagés par le plaignant pour collecter lui-même les données
  • Il faudrait, à mon sens, une coalition de procureurs généraux démocrates des États, comme dans les procès contre Big Tobacco
  • Le licenciement du CEO relève du conseil d’administration. Le board de Tesla pense que la valorisation de l’entreprise est anormalement élevée et directement liée au CEO
  • Cette affaire n’a rien à voir avec celle de VW ; leur seul point commun est d’être toutes deux des constructeurs automobiles. Le CEO de Tesla devrait peut-être être licencié ou inculpé, mais pas parce que l’affaire VW ferait jurisprudence

• Si Tesla met en place le secure boot, plus personne ne pourra facilement découvrir leurs failles à l’avenir. Cela augmentera encore le risque de « perte » des données d’accident, comme lorsque la police « perd » des images de bodycam

  • Je suis extrêmement d’accord avec ce commentaire. Si des hackers ont pu mettre ces problèmes au jour, c’est précisément parce qu’il n’y avait ni secure boot ni image chiffrée. Les développeurs embarqué connaissent tous des choses comme MCUboot. Les managers rechignent à les adopter parce que c’est plus complexe, mais une fois validé, tous les firmwares deviendront aussi inaccessibles qu’une discussion Signal, lisible uniquement par le constructeur. Le matériel conforme au standard PSA doit même résister aux attaques par glitch multi-bit ; à partir de là, les hackers n’ont plus aucun accès

• En citant le revirement du témoignage d’un employé Tesla au tribunal, un commentaire y voit « pratiquement un faux témoignage »

  • Ma plus grande question est de savoir quelles sanctions s’appliqueront réellement aux employés qui ont menti de cette façon. Je me demande si, dans le système actuel, ils ne seront pas au contraire protégés au motif qu’ils agissaient comme représentants de l’entreprise

• Après avoir lu cet article, quelqu’un affirme avoir définitivement décidé de ne jamais acheter de Tesla. Éloge de greenthehacker pour sa tentative de piratage, et souhait qu’il puisse profiter longtemps et heureux de son Starbucks venti chocolat chaud

  • Je me demande si cette personne envisageait déjà d’acheter une Tesla avant aujourd’hui. Il y a eu auparavant plusieurs accidents mortels liés à la conduite autonome ; qu’est-ce qui rend cette affaire particulièrement différente à ses yeux ? Pour moi, c’est l’accident en Floride où une Tesla est passée sous un poids lourd, tuant son conducteur, qui a servi de déclic
  • Réponse amusée : souhaiter à quelqu’un de boire longtemps des venti chocolats chauds Starbucks, n’est-ce pas en fait lui souhaiter le diabète ?
  • Une autre plaisanterie demande si le fait que Musk ait autrefois plaisanté en invoquant la Luftwaffe n’avait vraiment eu aucun impact sur l’intention d’achat d’une Tesla

• Je pense que rien de ce qui se passe actuellement ne peut surprendre quelqu’un qui a correctement cerné la personnalité d’Elon. Les fonctionnalités, les calendriers, jusqu’aux classements dans les jeux vidéo : tout relève de la fanfaronnade… et le rachat de Twitter aussi apparaît comme un moyen d’étendre sa propre tromperie