Arrêt de la circulation des trains dû à une fausse image d’effondrement de pont

• Une image supposée avoir été générée par l’IA s’est propagée sur les réseaux sociaux, donnant l’impression qu’un pont s’était effondré, ce qui a provoqué une interruption temporaire de la circulation des trains
• Network Rail a arrêté, dès la diffusion de la photo, tous les trains traversant le Carlisle Bridge pour procéder à des contrôles de sécurité
• Un contrôle n’a révélé aucune anomalie et les voies ont été rouvertes environ une heure et demie plus tard, alors que 32 trains de passagers et de fret étaient retardés
• Les autorités ferroviaires ont averti que la création et le partage d’images trompeuses provoquent un désordre inutile et un gaspillage d’argent public
• Les experts estiment que, si le préjudice réel a été limité, l’affaire illustre le risque que la désinformation fondée sur l’IA fait peser sur l’exploitation des infrastructures de la société

---

Interruption de la circulation ferroviaire par une image trompeuse

• Juste après un séisme, une image faisant paraître un pont gravement endommagé a été publiée sur les réseaux sociaux
  • Cette image était suspectée d’avoir été générée par l’IA et montrait le Carlisle Bridge de Lancaster comme effondré
• Network Rail a pris connaissance de l’image à 00:30 GMT et a interrompu la circulation de tous les trains passant par le pont pour vérifier la sécurité
• Après analyse de l’image par un journaliste de la BBC avec un chatbot IA, des empreintes de manipulation ont été détectées

Réponse des autorités ferroviaires et impacts

• Les voies ont été pleinement rouvertes vers 02:00 GMT, tandis que Network Rail a mis en garde contre les conséquences graves que peut entraîner une image trompeuse
• Les autorités ont déclaré que ce type d’image provoque des retards de passagers et du gaspillage des fonds publics, et alourdit la charge de travail du personnel sur le terrain
• La British Transport Police a été informée de l’incident, mais aucune enquête officielle n’a été lancée

Retard dans l’exploitation

• Selon Network Rail, 32 trains de voyageurs et de marchandises ont été retardés au total
  • Certains ont été arrêtés ou ralentis directement, d’autres ont été affectés par les retards des trains en tête de ligne
  • En raison de la longueur de la West Coast Main Line, les retards se sont propagés jusqu’au nord de l’Écosse

Analyse d’experts

• L’expert ferroviaire Tony Miles a expliqué qu’au moment de l’incident, en pleine soirée, la plupart des trains étaient des trains de fret ou des trains-couchettes
  • Ces trains roulent généralement à une vitesse réduite ; ils peuvent donc compenser le retard en augmentant la vitesse s’il survient
• Il a indiqué que l’envoi en urgence des équipes d’inspection sur place par Network Rail pourrait avoir des répercussions sur son travail dans les prochains jours

Impact sociétal de la désinformation

• Miles a souligné que ce type d’images trompeuses peut affecter les plans et horaires réels des gens
  • Cela peut perturber des rendez-vous médicaux, des vols, des funérailles, et d’autres rendez-vous importants
• Il a averti : « ce genre d’acte n’est pas une simple plaisanterie, mais une action qui nuit à la vie réelle des gens ».

[roxie]

Pourquoi ne cherchent-ils pas la personne qui l’a diffusée en premier ?

[shakespeares]

Avec l’IA, les manipulateurs de cours pourraient passer d’organisations à des individus, non ?

[crawler]

Dans ce genre de cas, je me demande vraiment quelle serait la sanction.

[GN⁺]

Commentaires sur Hacker News

• Nous entrons tout juste dans l’ère des fausses images et vidéos
  Même avant, sans IA, des gens mettaient déjà en scène de fausses scènes avec des cadavres, comme dans le cas des fausses attaques à la bombe dans le Donbass
  À l’avenir, on verra des vidéos de minorités ou de responsables politiques en train de faire des choses qu’ils n’ont jamais faites, ainsi que des pièces totalement fictives présentées comme preuves devant les tribunaux. On dirait qu’un monde vraiment horrible nous attend

  • Il n’y a même pas besoin de fausse vidéo. Il suffit d’ajouter une légende mensongère à la photo d’une personne issue d’une minorité pour que des foules de gens accourent, furieux
  • Les réactions varient selon les générations. Ceux qui ont connu l’époque où l’édition numérique commençait tout juste à se démocratiser restent assez calmes, mais la génération intermédiaire (20-40 ans) est la plus agacée. On a l’impression d’être au cœur d’un chaos cyberpunk où le sens du réel s’effondre
  • Il y a 10 à 20 ans déjà, on pouvait produire des faux sophistiqués avec des outils de base. Le récit actuel selon lequel « l’IA détruit tout » ressemble plutôt à une manœuvre politique visant à réglementer l’IA open source
  • J’ai entendu pour la première fois le terme Cheap Fakes dans une étude indienne. L’IA générative a rendu les attaques de phishing plus efficaces, au point de viser des personnes vulnérables qui n’étaient pas des cibles auparavant. L’écosystème de l’information se pollue, et une forêt sombre se forme, où le désir de contrôle des gouvernements entre en collision avec la liberté d’expression
  • Il y a bien beaucoup d’images truquées, mais on voit aussi souvent des cas où des événements réels sont déformés ou ignorés. Le problème, c’est précisément l’endroit où réalité et fiction se mélangent

• Cette affaire montre l’écart entre le coût de production d’une alerte et le coût de sa vérification
  Les outils génératifs rendent la manipulation quasiment gratuite et en multiplient massivement le volume
  L’opérateur ferroviaire n’a rien fait de mal. Si une image crédible circule juste après un séisme, il est normal de devoir vérifier sur place
  Nous allons vers un monde où une seule personne pourra déclencher à faible coût une réponse très coûteuse. Au lieu d’ignorer les réseaux sociaux, les systèmes devront renforcer leur vitesse et leur résilience pour distinguer le signal du bruit

  • Un simple appel disant « le pont s’est effondré » aurait aussi provoqué des retards. Le mensonge au téléphone est un vieux problème
  • Dans un pays comme le Royaume-Uni, où les CCTV sont nombreuses, je m’attendais à ce qu’on puisse vérifier directement l’état du pont. C’est surprenant. Les technologies de détection automatique doivent encore progresser
  • Comme l’illustre la loi de Brandolini, il faut beaucoup plus d’énergie pour réfuter un mensonge
  • D’ici 2030, des images falsifiées bien plus sophistiquées pourront être produites instantanément. C’est proche du dilemme attaquant-défenseur en cybersécurité
  • Ce genre d’affaire pourrait aussi accélérer les investissements dans la surveillance des infrastructures en temps réel

• De 1950 à 2005, les barrières d’entrée dans la diffusion étaient élevées, donc il y avait peu de sources d’information. De 2005 à 2021, la confiance dans la vidéo était forte, mais désormais le coût des fausses vidéos approche de zéro
  On reviendra sans doute à un modèle centré sur un petit nombre de sources fiables

  • Mais même ce petit nombre de sources a déjà déformé la réalité. Si l’IA fait encore baisser la confiance, la valeur du vrai journalisme pourrait aussi diminuer
  • En ce moment, il y a tellement de publicités avec des animaux qui parlent via l’IA que ça en devient lassant
  • Certains paient pour avoir des informations exactes, mais la majorité cherche surtout à confirmer ses propres biais. Les algorithmes des réseaux sociaux privilégient le taux d’engagement et les revenus publicitaires plutôt que la vérité

• Network Rail a déclaré qu’il fallait « réfléchir aux conséquences graves avant de créer ou partager de fausses images »,
  mais ce qu’il faut surtout, c’est un système de vérification qui ne dépende pas des réseaux sociaux. N’aurait-il pas mieux valu vérifier directement par téléphone ?

  • Malgré tout, s’il existe une possibilité que le pont se soit effondré, arrêter les trains était la bonne décision
  • Comme c’était au milieu de la nuit, il a probablement fallu du temps pour trouver du personnel capable de vérifier. On ne peut pas garantir l’absence totale de danger, mais réduire le risque doit passer en premier
  • Il est impossible d’avoir du personnel en permanence 24 h/24 sur tous les tronçons. Network Rail a bien appliqué une réponse priorisant la sécurité

• En réalité, il n’y a même pas besoin d’IA pour ce genre de chose
  Un simple appel disant « le pont est cassé » aurait probablement produit le même résultat. Les canulars téléphoniques et fausses alertes existent depuis longtemps

  • Mais la différence, c’est la viralités des réseaux sociaux. Quand une image se diffuse, plusieurs détenteurs de pouvoir réagissent en même temps. Un appel ne se propage pas, mais une image se propage d’elle-même. C’est ce qui a rendu cette affaire possible
  • La logique consistant à dire « il y avait déjà de mauvaises choses avant, donc inutile de s’inquiéter » est dangereuse. Il ne faut pas faire passer le problème du niveau X au niveau X²
  • Les canulars téléphoniques entraînent des sanctions légales, mais les fausses photos ne franchissent pas ce seuil
  • Avant l’invention de la poudre, on pouvait déjà tuer des gens avec des projectiles, mais la poudre a changé le monde. L’IA aussi
  • Pour empêcher les comportements malveillants, il faut des sanctions sévères. Le problème, c’est que le coût est supporté par la société plutôt que par les criminels

• Fait intéressant, il n’existe en réalité aucune preuve que cette image ait circulé sur les réseaux sociaux
  Je n’ai trouvé aucune trace en dehors de l’article de la BBC. Elle a peut-être plutôt été envoyée directement par e-mail à Network Rail

  • Si c’est une farce aussi sophistiquée, c’en serait presque admirable

• Cette affaire m’a rappelé l’intrigue de Moab dans Fall; or, Dodge in Hell

  • Le début du livre était vraiment passionnant. La partie sur l’anonymat et la présence en ligne m’a particulièrement marqué

• Le journaliste de la BBC aurait analysé l’image avec un chatbot IA pour y chercher des signes de manipulation
  Mais cette méthode semble inadaptée comme procédé de vérification

  • En réalité, le journaliste s’est rendu sur place et a confirmé que le pont était intact. L’analyse par IA n’était probablement qu’un outil d’appoint
  • Un enseignant a aussi vérifié des devoirs d’élèves avec ChatGPT, mais la fiabilité de ce type de détection par IA est faible. Si un élève retourne le modèle contre lui, il est facile de le tromper
  • Les réponses de ChatGPT du style « on le voit en regardant les pixels » sonnent comme une blague
  • Cela peut être une méthode rapide, mais pas assez fiable pour être citée dans un article

• L’avertissement de Network Rail a plutôt eu pour effet de révéler sa propre vulnérabilité
  Ce type de méthode permettrait de lancer à tout moment une attaque capable de paralyser des infrastructures publiques

  • En réalité, ce genre de vulnérabilité est connu depuis longtemps

• Ce qui m’inquiète davantage, c’est l’idée que « l’inspection du pont a perturbé le travail pendant plusieurs jours »
  Il est surprenant de voir qu’une simple vérification visuelle peut entraîner un coût social aussi important

  • Mais les équipes mobilisées en urgence reçoivent du TOIL (temps de récupération), ce qui perturbe ensuite le planning.
    Maintenir des équipes d’astreinte 24 h/24 coûte encore plus cher. Au final, tout est une question d’équilibre entre coût et sécurité