La catastrophe sécuritaire d’une application de gestion des patients créée en vibe coding

• Un employé d’un établissement de santé a développé lui-même un système de gestion des patients avec un agent de codage IA, exposant des données patients sur Internet sans chiffrement
• Des enregistrements de conversations médicales ont été envoyés à deux services d’IA pour être résumés automatiquement, et toutes les données étaient ouvertes en lecture et écriture
• Les données étaient stockées sur des serveurs américains, exploitées sans accord de traitement des données (DPA), et les patients n’en avaient pas été informés à l’avance
• De tels agissements pourraient violer la loi suisse sur la protection des données nDSG ainsi que le secret professionnel
• L’auteur avertit que si le codage par IA reste au simple niveau du vibe, cela mènera à un avenir peu sûr

---

La catastrophe sécuritaire d’une application de gestion des patients créée avec l’IA

• Cas d’un employé d’un établissement de santé ayant lui-même créé un système de gestion des patients à l’aide d’un agent de codage IA
  • Importation de l’ensemble des données patients existantes, puis diffusion publique sur Internet
  • Ajout d’une fonction d’enregistrement des conversations pendant les consultations, avec envoi à deux services d’IA pour mettre en place une fonctionnalité de résumé automatique
• Au final, toutes les données patients se retrouvaient exposées sur Internet sans chiffrement
  • L’auteur a obtenu en 30 minutes des droits de lecture et d’écriture sur l’ensemble des données
  • Le problème a été signalé, mais la seule réponse reçue fut un message de remerciement généré automatiquement par IA
• Les données étaient stockées sur des serveurs américains, sans accord de traitement des données (DPA)
  • Les fichiers d’enregistrement audio étaient eux aussi envoyés à une entreprise d’IA basée aux États-Unis
  • Les patients n’étaient pas informés à l’avance de ce traitement de leurs données
• Ces pratiques pourraient constituer une violation de la nDSG (loi sur la protection des données) suisse ainsi que du secret professionnel (Berufsgeheimnis)
  • Sans être juriste, l’auteur estime que plusieurs dispositions ont probablement été enfreintes
• Avertissement : si le codage par IA reste au simple niveau de la « vibe », cela mènera à un avenir peu sûr

Contexte technique

• L’application se composait d’un unique fichier HTML
  • Tout le JavaScript, le CSS et le code de structure étaient intégrés en inline
  • Le back-end utilisait un service de base de données managé sans aucun contrôle d’accès
• La logique de contrôle d’accès n’existait que dans le JavaScript côté client
  • Une simple commande curl suffisait pour accéder aux données
• Tous les fichiers d’enregistrement audio étaient envoyés directement à une API d’IA externe pour transcription et résumé
• Rien que cela suffit déjà à montrer de graves défaillances de sécurité

Perspectives

• Lorsqu’on utilise des outils de codage par IA, il est indispensable de comprendre la structure du code et l’architecture
• Une approche consistant simplement à « profiter de l’ambiance du codage avec l’IA » (vibing) entraîne des conséquences dangereuses
• Avec la diffusion rapide des outils de développement IA, une sensibilisation élémentaire à la sécurité et une compréhension technique sont indispensables