La catastrophe sécuritaire d’une application de gestion des patients créée en vibe coding

• Un employé d’un établissement de santé a développé lui-même un système de gestion des patients avec un agent de codage IA, exposant des données patients sur Internet sans chiffrement
• Des enregistrements de conversations médicales ont été envoyés à deux services d’IA pour être résumés automatiquement, et toutes les données étaient ouvertes en lecture et écriture
• Les données étaient stockées sur des serveurs américains, exploitées sans accord de traitement des données (DPA), et les patients n’en avaient pas été informés à l’avance
• De tels agissements pourraient violer la loi suisse sur la protection des données nDSG ainsi que le secret professionnel
• L’auteur avertit que si le codage par IA reste au simple niveau du vibe, cela mènera à un avenir peu sûr

---

La catastrophe sécuritaire d’une application de gestion des patients créée avec l’IA

• Cas d’un employé d’un établissement de santé ayant lui-même créé un système de gestion des patients à l’aide d’un agent de codage IA
  • Importation de l’ensemble des données patients existantes, puis diffusion publique sur Internet
  • Ajout d’une fonction d’enregistrement des conversations pendant les consultations, avec envoi à deux services d’IA pour mettre en place une fonctionnalité de résumé automatique
• Au final, toutes les données patients se retrouvaient exposées sur Internet sans chiffrement
  • L’auteur a obtenu en 30 minutes des droits de lecture et d’écriture sur l’ensemble des données
  • Le problème a été signalé, mais la seule réponse reçue fut un message de remerciement généré automatiquement par IA
• Les données étaient stockées sur des serveurs américains, sans accord de traitement des données (DPA)
  • Les fichiers d’enregistrement audio étaient eux aussi envoyés à une entreprise d’IA basée aux États-Unis
  • Les patients n’étaient pas informés à l’avance de ce traitement de leurs données
• Ces pratiques pourraient constituer une violation de la nDSG (loi sur la protection des données) suisse ainsi que du secret professionnel (Berufsgeheimnis)
  • Sans être juriste, l’auteur estime que plusieurs dispositions ont probablement été enfreintes
• Avertissement : si le codage par IA reste au simple niveau de la « vibe », cela mènera à un avenir peu sûr

Contexte technique

• L’application se composait d’un unique fichier HTML
  • Tout le JavaScript, le CSS et le code de structure étaient intégrés en inline
  • Le back-end utilisait un service de base de données managé sans aucun contrôle d’accès
• La logique de contrôle d’accès n’existait que dans le JavaScript côté client
  • Une simple commande curl suffisait pour accéder aux données
• Tous les fichiers d’enregistrement audio étaient envoyés directement à une API d’IA externe pour transcription et résumé
• Rien que cela suffit déjà à montrer de graves défaillances de sécurité

Perspectives

• Lorsqu’on utilise des outils de codage par IA, il est indispensable de comprendre la structure du code et l’architecture
• Une approche consistant simplement à « profiter de l’ambiance du codage avec l’IA » (vibing) entraîne des conséquences dangereuses
• Avec la diffusion rapide des outils de développement IA, une sensibilisation élémentaire à la sécurité et une compréhension technique sont indispensables

[xguru]

Oui, bon… rien qu’en cherchant OPENAI_API_KEY sur GitHub, on tombe déjà sur un paquet de cas du même genre…

[tangokorea]

À ce rythme, on pourrait bien finir par vivre à une époque où il faudra décrocher une certification en vibe coding..

[claudemd]

Avec l’IA, de plus en plus de gens se font passer pour des experts, et à mesure qu’ils commencent à débiter leurs discours, le monde devient vraiment de plus en plus chaotique.
...

[click]

En Corée aussi, conformément à la loi sur la protection de l’information et à l’article 21, alinéa 2 de la loi médicale, il est prévu que les personnels des établissements de santé ne doivent pas permettre à des tiers de consulter le dossier d’un patient en dehors de motifs exceptionnels.
https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%98%EB%A3%8C%EB%B2%95/…

Grâce au retard de l’environnement coréen en matière de protection de l’information, tout le monde voue un culte à la séparation des réseaux, donc heureusement ce genre d’incidents semble rare dans les grands hôpitaux.
Comme l’environnement dans lequel on consulte les dossiers des patients est sur un réseau interne, il est difficile pour des utilisateurs peu au fait de la sécurité d’y brancher directement des services d’IA commerciaux.
Je me demande bien ce qui se passe dans les cabinets de premier recours qui connectent directement leurs ordinateurs de consultation à Internet haha

[antegral]

Les PHI exigent toujours la plus grande prudence... et encore plus de prudence...

[parkindani]

J’en ai parlé à un ami et je lui ai montré Claude Code ; une à deux semaines plus tard, il m’a dit « Regarde ce que j’ai fait !! », et exactement la même situation s’était produite.

[kiga183]

On dit aussi que les technologies permettant de découvrir des vulnérabilités de sécurité ont fait des progrès révolutionnaires.
Le fait d’avoir découvert ces vulnérabilités signifie aussi qu’il devient nécessaire de trouver des moyens de les sécuriser,
il semble donc que les méthodes de sécurité vont elles aussi s’améliorer.

[woung717]

Pour commencer, les non-spécialistes ne sauront probablement même pas que ces choses existent, ni pourquoi elles sont nécessaires.

[carnoxen]

Voilà qui renforce encore l’idée qu’il faut apprendre l’informatique.

[ryj0902]

Je pense que c’est vraiment une expression qui va droit à l’essentiel.

[GN⁺]

Réactions sur Hacker News

• J’ai déjà vu quelque chose de similaire en Espagne. Ce n’était pas dans la santé mais dans une petite compagnie d’assurance et, aussi incroyable que cela paraisse, eux aussi avaient créé leur CRM en vibe-coding
  Quand je leur ai signalé le problème par e-mail, ils m’ont menacé de poursuites. C’était absurde, mais j’ai fini par déposer un signalement auprès de l’AEPD (autorité espagnole de protection des données). Cet organisme est réputé pour être assez puissant
  Vendredi dernier, je leur ai aussi envoyé un burofax pour exiger la suppression de mes données personnelles

  • J’ai vécu quelque chose de semblable à l’époque où le Wi‑Fi commençait à se démocratiser. Je me suis connecté à un réseau ouvert et je me suis rendu compte que c’était un cabinet d’avocats. Tous les ordinateurs étaient reliés via Samba et l’intégralité du lecteur C: était partagée
    J’ai signalé le problème avec un README.txt, mais rien n’a changé. J’ai envisagé d’aller les voir pour corriger ça et peut-être en faire mon premier job, mais ils se sont au contraire mis en colère. Ils ont affirmé qu’ils travaillaient déjà avec un prestataire coûteux et que j’avais fait intrusion. Je suis donc parti immédiatement
  • Je les envie d’avoir une AEPD aussi puissante. J’aimerais que d’autres pays aient des organismes de ce type
  • Ce serait bien de continuer à poster les mises à jour ici dans ce fil
  • Une personne apprend après s’être brûlée une fois, mais une entreprise n’apprend jamais
  • Les gens qui fabriquent ce genre d’apps ne connaissent souvent absolument rien aux règles de confidentialité des données
    Sur un forum de petites entreprises que je fréquente, quelqu’un se vantait aussi d’avoir créé lui-même son app avec l’IA. Mais il n’avait aucune idée de sa responsabilité juridique et, quand des développeurs sur Reddit lui ont dit « embauche un vrai développeur », il s’est vexé. Il est désormais persuadé que les développeurs sont une espèce en voie d’extinction

• Sur LinkedIn, des commerciaux qui ne comprennent rien à la technique racontent partout que l’IA est la solution à tous les problèmes
  Dans cette ambiance, j’ai l’angoisse qu’un très gros incident finisse par arriver

  • Certains parlent déjà du Hindenburg du code
  • Des choses graves se produisent déjà, et il faudra voir comment la prochaine génération de modèles fera évoluer la situation

• Le vibe-coding est séduisant, mais ses limites apparaissent vite
  Au-delà de quelques milliers de lignes, la structure s’effondre et les systèmes réels sont bien plus complexes. Au bout du compte, il faut toujours les fondamentaux de l’ingénierie logicielle
  Pour des prototypes ou des outils internes, ça va, mais en vraie production c’est dangereux. Je n’ai pas envie de confier mes données à ce type de système

  • Il existe toutes sortes d’astuces de gestion de mémoire et d’outils d’indexation du code, mais au final le plus important restait des outils de gestion matures comme Jira
    J’utilise Jira Rovo MCP avec Claude Code pour produire l’architecture et la documentation, je relis manuellement, puis j’implémente dans une nouvelle session
    Comme les LLM deviennent plus bêtes à mesure que le contexte grossit, je recommande vraiment d’utiliser le réglage de la barre d’état du contexte
  • En pratique, cette approche s’écroule souvent. Elle produit même parfois de pires résultats, parce qu’elle accepte des modifications de code sans reconnaître la dette technique
    J’ai testé Gemma 4 en local : c’est lent, mais aussi puissant que les modèles cloud. L’avantage, c’est que les données ne sortent pas de chez soi
  • Si on construit soi-même une app avec Claude Code, on voit qu’elle peut fonctionner même sans maîtriser les bases. Jusqu’à 20 000 lignes, ça allait. En revanche, il faut quelqu’un pour donner du feedback

• Il y a quelques mois, j’ai vu une web app codée en vibe-coding par un chirurgien
  Ça fonctionnait, mais il n’y avait pas de index.html à la racine, et les fichiers de sauvegarde contenaient directement les identifiants de connexion à la base ainsi que des clés AWS
  Il suffisait simplement d’ajouter un index.html vide pour corriger le problème, mais ni le développeur ni l’IA ne comprenaient pourquoi
  L’app elle-même était impressionnante, mais il y avait beaucoup trop d’erreurs de sécurité élémentaires. Il aurait suffi qu’un DevOps expérimenté y jette un coup d’œil une seule fois

  • Le point intéressant, c’est que l’IA s’en est bien sortie sur les parties difficiles (hachage des mots de passe, conception du schéma), mais s’est trompée là où il faut du sens de l’exploitation
    Au fond, l’IA ne sait pas ce qu’on ne lui a pas demandé. Un développeur expérimenté se souvient des échecs passés, alors qu’un vibe-coder n’a que des prompts
  • La vraie solution n’est pas simplement de désactiver l’indexation, mais de concevoir une architecture dans laquelle le serveur ne peut pas accéder aux fichiers d’identifiants
  • Pour éviter ce genre de problème, il faut des outils DevOps natifs pour agents. Il faut des standards qui automatisent le déploiement et la facturation

• Le fait que « toute la logique de contrôle d’accès était dans le JavaScript côté client » est vraiment le pire scénario
  C’est un cas typique d’utilisation irresponsable de l’IA par un non-professionnel.
  Quand on utilise l’IA dans un contexte de production, il faut absolument comprendre les responsabilités et les risques

  • Des outils comme Claude ou opencode sont en pratique des harnais de codage par force brute
    Sans véritable contrôle du workflow ni validation des résultats, ce genre de problème va continuer à se produire. En ce moment, c’est le Far West des LLM
  • Le problème n’est pas l’IA, mais l’absence d’êtres humains intelligents. J’ai déjà vu par le passé une entreprise du secteur médical dont le front-end dictait directement des requêtes SQL au back-end

• Je pense que l’ingénierie logicielle a désormais besoin d’un système de qualification professionnelle
  De la même manière qu’il faut une certification pour concevoir un pont ou un bâtiment, les développeurs qui construisent des systèmes critiques devraient eux aussi répondre à un certain niveau d’exigence

  • Mais ce genre d’organisme finit souvent par ne servir que de gardien d’accès. Les lois et les dispositifs de certification existent déjà ; le problème, c’est l’application
  • Il existe déjà beaucoup de lois sur le traitement des données personnelles et sujets connexes. Le vrai problème, c’est le manque de conscience. Je pense qu’on verra bientôt des cas de sanctions au plus haut niveau
  • Je suis moi aussi favorable à la régulation. Le logiciel est un domaine sérieux, et l’actuelle frénésie autour de l’IA doit s’arrêter
  • Le problème n’est pas le diplôme, mais l’ignorance. Quelqu’un qui ne savait même pas gérer des données médicales construisait malgré tout le système
    Au final, je pense qu’avec le temps, une meilleure compréhension de l’IA et de la confidentialité finira par s’installer
  • En réalité, la plupart des pays ont déjà des lois et des normes. Ce cas-ci les ignorait complètement

• Ce texte est tellement vague qu’il paraît fictif

  • Je connais l’auteur, ce n’est pas quelqu’un qui mentirait. Le fait de cacher des détails concrets est raisonnable
  • Ne pas révéler le nom de l’entreprise est éthiquement justifié. Avant vérification, ce serait risqué
  • Certains ont même plaisanté en disant que c’était peut-être du clickbait généré par IA
  • Cela dit, le contenu ne ressemble pas vraiment à du code produit par une IA. La structure et le type d’erreurs de sécurité ressemblent davantage à du code de débutant. Il faudrait plus de preuves
  • On dirait surtout une histoire habilement mise en scène à un niveau où il est impossible de vérifier les faits

• Si l’IA était entraînée à masquer l’implémentation, par exemple en gardant le client léger et en utilisant une authentification OAuth, est-ce que ce serait mieux ?
  Ce genre d’erreur simple est tout à fait évitable. Mais l’objectif reste toujours le remplacement des développeurs
  Le pire, c’est que les gens commencent à croire qu’« apprendre des choses difficiles est inefficace »
  Je travaille dans la cryptographie, et certains étudiants pensent déjà que les techniques de sécurité vont bientôt disparaître à cause de l’IA. Je leur fais donc implémenter une authentification web simple pour les ramener à la réalité

• Un cabinet comptable que je connais est lui aussi en train de construire directement son CRM avec Lovable. Il n’a absolument aucun personnel technique
  La catastrophe à venir est déjà visible

  • Dans un CRM, la fiabilité est essentielle, donc je ne comprends pas pourquoi vouloir absolument le développer soi-même

• Toutes les autres industries à haut risque ont mis en place des systèmes de double vérification. Les pilotes ont des copilotes, les chirurgiens ont des checklists, les centrales nucléaires ont des vérifications indépendantes
  Mais le logiciel a toujours fait exception, et le vibe-coding supprime même la vérification fondée sur la compréhension qu’il restait encore

  • Il y a bien des revues de code, mais elles sont le plus souvent purement formelles. Les anciennes phases de QA étaient meilleures, mais elles ont disparu à cause des coûts et de la pression sur les délais