L’Illinois limite l’usage de l’IA dans la thérapie et la psychothérapie
(washingtonpost.com)- L’État de l’Illinois a introduit une nouvelle loi qui limite l’usage de l’intelligence artificielle (IA) dans la thérapie et la psychothérapie
- La loi interdit à l’IA d’intervenir directement dans les échanges, consultations et autres interactions avec les patients
- Cette réglementation met l’accent sur la protection des données personnelles des patients et le maintien de la qualité des soins
- Elle donne la priorité au rôle des thérapeutes et des experts humains, et n’autorise l’IA que comme outil d’assistance limité
- Cette mesure juridique constitue une démarche préventive visant à préserver l’éthique médicale et la fiabilité
L’Illinois limite l’usage de l’IA dans la thérapie et la psychothérapie
Aperçu de la loi
- L’Illinois a adopté une nouvelle loi limitant l’usage direct de l’intelligence artificielle (IA) dans les contextes de thérapie et de psychothérapie
- Le texte interdit que l’IA intervienne dans des processus essentiels tels que la consultation directe, l’évaluation et le traitement des patients
- L’objectif principal est de protéger les données personnelles et le contenu thérapeutique des patients, tout en garantissant la qualité des soins
Principaux points de la réglementation
- Le rôle du thérapeute humain reste central, et l’IA n’est autorisée qu’en tant qu’outil d’assistance limité
- La responsabilité finale des résultats des consultations revient au thérapeute, et l’IA n’est pas autorisée à interagir de manière autonome avec les patients ni à prendre des décisions thérapeutiques
- La sécurité et la confidentialité des données générées au cours du processus thérapeutique sont renforcées
Contexte de l’adoption et effets attendus
- Il s’agit d’une mesure préventive destinée à garantir la sécurité psychologique des patients et l’éthique médicale
- Elle vise à réduire les risques qu’une adoption de l’IA entraîne une baisse de la fiabilité des soins ou des erreurs de jugement
- L’orientation retenue consiste à donner la priorité à la valeur essentielle de l’expertise humaine et de la thérapie en face à face
Perspectives
- Cette décision de l’Illinois attire l’attention aux États-Unis comme cas de référence potentiel pour d’autres États et d’autres domaines médicaux
- De nouvelles discussions sont attendues sur des sujets tels que l’usage fiable de l’IA, la protection des droits des patients et la coopération avec les thérapeutes
1 commentaires
Commentaires sur Hacker News
C’est la position officielle de l’État de l’Illinois
On peut le vérifier à ce lien
Il semble désormais illégal dans l’Illinois d’affirmer qu’un chatbot IA peut remplacer un thérapeute ou un conseiller agréé
Mais cela n’empêche pas les gens d’utiliser l’IA comme ils le souhaitent
Cela signifie simplement qu’on ne peut plus présenter l’IA, dans les services de conseil, comme une alternative moins chère à une vraie personne
Ça me paraît plutôt raisonnable
Exactement
Cette loi impose des restrictions du côté des prestataires
En gros : « vous ne pouvez pas prétendre que votre chatbot est un thérapeute »
Il n’y a pas de restriction sur l’usage
On peut toujours traiter une IA comme son meilleur ami ou son thérapeute, voire en tomber amoureux
Il y a aussi une partie qui précise les usages autorisés de l’IA
Si on regarde la section 15, quand un professionnel agréé utilise l’IA, il porte l’entière responsabilité de toutes les interactions / résultats / usages des données
Et si les séances du client sont enregistrées ou consignées, il faut obligatoirement expliquer par écrit au patient ou à son représentant légal l’objectif de l’usage de l’IA et obtenir son consentement
Le texte intégral de l’Illinois HB1806 est disponible ici
Ce genre de service me semblerait acceptable s’il y avait une information claire et un consentement
Je serais même surpris qu’il y ait une grande différence dans les résultats pour les patients
Il y a déjà eu des recherches, et la conclusion est que l’IA peut être utile, mais que les humains sont meilleurs
Lien vers l’étude
Cette loi a aussi d’autres implications juridiques intéressantes
Les dossiers de séances de conseil sont généralement considérés comme des « communications protégées »
Dans la plupart des cas, on ne peut pas y accéder même avec une subpoena, il faut une autorisation spéciale
Je me demandais donc si les conversations avec une IA entraient dans cette catégorie de « communications protégées », et s’il y aurait un argument pour refuser leur production devant un tribunal
Au moins dans l’Illinois, on obtient une réponse sur ce point
Ce type de décision pourrait aussi influencer l’interprétation du droit ailleurs
Je me demande ce qui se passera si, un jour, une IA bien moins chère et nettement meilleure que les thérapeutes humains apparaît
Je me suis demandé si un texte produit par un chatbot généraliste pourrait être considéré juridiquement comme de la « thérapie », ce qui constituerait alors une violation
On pourrait peut-être lire le texte de loi comme ça, mais je ne suis pas juriste
J’ai vu dans l’article un cas où un chatbot IA a conseillé à un ancien toxicomane quelque chose comme : « prends juste un peu de méthamphétamine cette semaine »
Ce n’est absolument pas surprenant
Quand on comprend comment fonctionnent les modèles de langage, l’idée que le conseil psychologique par IA soit une bonne idée paraît étrange
J’espère que davantage d’États adopteront ce genre de loi
Dans un cadre de prestation formel, ça ne devrait pas être légal
Officieusement, les gens continueront à utiliser l’IA comme ils veulent
Certains en subiront probablement de mauvaises conséquences, mais il sera difficile d’en mesurer l’impact global
Je ne pense pas que les modèles de langage soient prêts pour cet usage
C’est exactement pour ça que les LLM ne devraient pas être utilisés pour le diagnostic ou la prescription
Une seule prise de méthamphétamine ne permet pas de « tenir une semaine »
En réalité, on vit déjà dans un monde où des millions de personnes prennent des amphétamines tous les jours
Du coup, ce genre de conseil ne me paraît même pas si surprenant
Les gens intelligents et les gens qui se croient intelligents sont évidemment deux catégories différentes
Le fait que « des gens qui ont l’air intelligents considèrent ça comme une bonne idée alors qu’ils comprennent le fonctionnement des modèles de langage » me fait penser à la Nobel Disease
Lien Wikipédia sur la Nobel Disease
À mes yeux, c’est précisément le pire cas d’usage possible pour les LLM
Beaucoup de thérapeutes parlent volontairement très peu
L’important, c’est de poser les bonnes questions au bon moment et d’orienter la discussion, alors que les LLM parlent sans arrêt, ce qui ne correspond pas du tout à la méthode réelle
C’est bien plus proche d’un simulateur d’ami qui déverse des paroles en continu
Un avantage des LLM, c’est qu’on peut évaluer scientifiquement leur efficacité, et si un modèle est performant, on peut le reproduire
Les thérapeutes humains varient tellement qu’il est difficile d’en tirer beaucoup d’informations
En voyant une autre conversation ce matin, j’ai eu l’impression que plus on dit à une IA de ne pas s’obséder sur un sujet précis, plus elle a tendance à s’y accrocher
Si on veut empêcher totalement des conseils comme l’automutilation, il y a des limites à s’appuyer uniquement sur du filtrage interne à l’IA
Je me dis donc qu’il vaudrait peut-être mieux utiliser un modèle séparé qui détecte les résultats a posteriori et filtre de l’extérieur, tout en gardant une autocensure plus légère dans le LLM génératif
Il doit sans doute aussi exister des tentatives extrêmes de médecine du type auto-opération du crâne assistée par IA
Je trouve que vous voyez ça de manière trop négative
Est-ce qu’on doit forcément attendre qu’une personne aille suffisamment mal pour nécessiter une thérapie clinique ?
Parfois, le simple fait d’être écouté ou d’avoir l’occasion de mettre ses pensées par écrit suffit
Le conseil via LLM pourrait être d’une immense aide pour la plupart des gens, un peu comme le vapotage aide énormément les fumeurs
Je vois aussi la confession religieuse comme une expérience assez similaire à une conversation avec un LLM ; vous y êtes opposé aussi ?
Fondamentalement, pour les personnes qui ont besoin d’un moyen d’organiser leur propre expérience, les LLM sont des outils largement assez utiles
Et honnêtement, les preuves que les thérapeutes humains sont meilleurs restent ambiguës
Bien sûr, on peut mettre des garde-fous, mais je ne suis pas convaincu que franchir cette frontière aurait de grandes conséquences sociales
Je pense qu’en laissant les gens explorer leur moi intérieur, on a plus de chances d’aboutir à quelque chose de plus sain
Je partage le lien vers le texte intégral de l’Illinois HB1806
Lien vers le texte de loi
Je me demande quoi faire si une IA n’atteint qu’un tiers de l’efficacité d’un thérapeute humain mais coûte 20 fois moins cher
Comment faudrait-il appeler ça dans ce cas ?
Sur la question « et si c’était un tiers aussi efficace mais 20 fois moins cher ? », on ne peut avoir ce débat que s’il existe des preuves cliniques
Avant ça, on ne peut que dire : « c’est faux »
Et il y a bien trop de choses à considérer pour résumer ça en une phrase
Il faut tenir compte du fait que certains patients n’ont pas Internet
Un conseiller doit expliquer quelles informations peuvent être divulguées, et il faut parfois tenir compte d’obligations légales de signalement
Et jusqu’ici, les IA ont déjà échoué à empêcher des conseils potentiellement mortels
Un conseiller peut aussi recommander un autre spécialiste quand il atteint ses limites
Par exemple, si un thérapeute IA créé par un assureur ne recommande que des thérapeutes partenaires, c’est un conflit d’intérêts évident
Et je pense qu’il y a encore beaucoup d’autres points à prendre en compte
La vidéo citée prend comme exemple « le point essentiel apparaît bien dans les cas où ChatGPT aide quelqu’un à s’empoisonner »
Un thérapeute humain ne dirait jamais quelque chose comme « pour tenir cette semaine, prends juste un peu de méthamphétamine »
Un médecin peut ne pas être utile, mais il n’ira pas jusqu’à donner des conseils létaux d’empoisonnement
On peut peut-être dire qu’une IA atteint en moyenne un tiers de l’efficacité humaine, mais le risque ne se raisonne pas vraiment en moyenne
Un humain réellement formé ne commet pas ce genre d’erreurs absurdes et adresse le patient à un autre professionnel quand il atteint ses limites
Lien vers la vidéo
C’est une « idée complètement absurde »
Difficile à exprimer en un seul mot, mais pour l’instant c’est ce qui me semble le plus juste
J’estime qu’il faudrait un mécanisme comparable au retrait de licence avant même d’envisager une thérapie par IA
Un thérapeute humain peut perdre sa licence à vie après une seule faute
Si on veut remplacer cela par de l’IA, alors quand cette IA commet une faute grave, il faut qu’elle aussi ne puisse plus être utilisée
Mais j’ai du mal à imaginer des entreprises accepter ce niveau de responsabilité
La plupart semblent vouloir faire croître les profits, sans accepter une exposition au risque proportionnelle
Si ça ne fonctionne qu’à un tiers du niveau humain, le risque augmente forcément
Pour quelque chose de bien moins cher et plus efficace, parler à un caillou serait probablement encore plus utile
Pour un usage quotidien, je pense que les avantages de l’IA pour le grand public restent supérieurs, malgré les risques actuels
J’utilise Harper (harper.new) pour gérer mon dossier médical complexe
Le fait que l’IA puisse extraire des informations de PDF, d’images, etc., est extrêmement utile
J’aime aussi ne pas avoir à la connecter directement au portail de l’hôpital
J’utilise aussi parfois le chat IA, surtout pour poser des questions sur des résultats d’examens, par exemple
C’est beaucoup plus pratique que d’aller voir un médecin
Il ne faut pas faire confiance à quelque chose qui peut mentir de façon convaincante
Il faut être encore plus prudent dans le domaine de la santé mentale
En réalité, je ne fais pas non plus confiance aux médecins, mais je croyais que cette conversation portait sur les LLM
Par curiosité, j’ai exposé à ChatGPT, Claude et Gemini des symptômes psychiques
Claude et Gemini m’ont répété qu’il fallait demander l’aide d’un professionnel
En revanche, ChatGPT s’est mis à acquiescer à mes propos délirants et à les accompagner
Exemple : « Est-ce que la déréalisation pourrait en fait être le processus de découverte d’une vérité plus profonde ? » => ChatGPT : « Oui, c’est possible »
Avec des données d’entraînement naturelles, on s’attendrait plutôt à une réaction comme celle de Claude ou Gemini
Je me demande comment OpenAI a pu orienter son chatbot dans le sens d’une adhésion aussi active à ce type de délire
La manière dont les gens reçoivent les sorties des modèles de langage me surprend toujours
Par exemple, comme sur ce subreddit
Certaines personnes semblent presque inévitablement finir par avoir l’impression qu’un LLM les comprend