Conditions d’utilisation de ChatGPT : l’interdiction de fournir à autrui des conseils juridiques ou médicaux personnalisés désormais explicitement mentionnée

• OpenAI a récemment précisé, à propos d’un changement de conditions interprété comme signifiant que « ChatGPT ne permettra désormais plus d’obtenir des conseils juridiques ou médicaux », qu’il n’a pas modifié les règles concernant les conseils juridiques et médicaux
• La mise à jour de la politique d’utilisation du 29 octobre précise que les conseils nécessitant une licence professionnelle (juridique, médical, etc.) ne peuvent pas être fournis sans l’intervention appropriée d’un professionnel habilité
• Même dans la politique en vigueur avant le 29 janvier 2025, les activités pouvant avoir un impact significatif sur la sécurité, le bien-être ou les droits d’autrui étaient déjà restreintes, y compris la fourniture de conseils juridiques, médicaux et financiers personnalisés

---

Clarification de la politique d’OpenAI

• OpenAI a indiqué que ChatGPT ne remplace pas les conseils juridiques ou médicaux professionnels, en précisant que ce changement de conditions n’apporte rien de nouveau
  • Dans une déclaration envoyée à CTVNews, l’entreprise a indiqué : « Il ne s’agit pas d’un nouveau changement, et ChatGPT reste une ressource utile pour comprendre les informations juridiques et de santé »
• Dans la mise à jour de la politique d’utilisation du 29 octobre, il est précisé que les conseils personnalisés nécessitant une licence (juridique, médical, etc.) ne peuvent pas être fournis sans l’intervention appropriée d’un professionnel dûment habilité
• Il s’agit d’une formulation plus explicite que celle de la politique du 29 janvier 2025
  • À l’époque, la politique exigeait de ne pas exécuter ni encourager des activités susceptibles d’avoir un impact significatif sur la sécurité, le bien-être ou les droits d’autrui, ce qui incluait l’interdiction de fournir des conseils juridiques, médicaux et financiers personnalisés
• OpenAI a également déclaré que « le comportement du modèle n’a pas changé », soulignant la continuité de la politique existante

Usage de ChatGPT pour les informations médicales et ses limites

• ChatGPT s’est imposé comme un outil largement utilisé par les Canadiens pour chercher des réponses à des questions de santé
• Une équipe de recherche de l’Université de Waterloo a évalué les performances de ChatGPT-4 en lui soumettant des questions adaptées à partir de scénarios d’examens de qualification médicale
  • Les résultats montrent 31 % de réponses exactes et 34 % de réponses claires
• Une autre étude de l’Université de la Colombie-Britannique a constaté que les formulations empathiques de ChatGPT étaient perçues comme plus convaincantes que celles de vraies personnes
  • Même lorsque l’information est inexacte, elle est présentée sur un ton assuré et digne de confiance, ce qui rend les erreurs difficiles à repérer pour les utilisateurs
  • Les médecins constatent déjà des situations où des patients, ayant fait confiance aux conseils d’outils d’IA, arrivent en consultation avec une conclusion déjà arrêtée

Rectificatif de l’article

• La version initiale de l’article affirmait qu’OpenAI avait mis fin à la fonction de conseil médical et juridique, mais
  • OpenAI a ensuite précisé que « le comportement du modèle n’a pas changé », ce qui a conduit à une correction

[shakespeares]

Dans les pays où le système de santé est peu structuré, son utilisation pourrait être très utile.

[GN⁺]

Commentaires Hacker News

• J’ai lu cela non pas comme « on ne peut pas poser directement des questions médicales ou juridiques à ChatGPT », mais comme « on ne peut pas créer un service qui fournit à d’autres des conseils médicaux ou juridiques en s’appuyant sur ChatGPT »
  Par exemple, Epic ne pourrait pas intégrer ChatGPT dans son application pour lui faire lire à la place des documents de patients. En revanche, un particulier peut toujours interroger directement ChatGPT
  Cela dit, je n’ai pas encore retrouvé moi-même la clause des conditions d’utilisation citée dans l’article

  • À noter qu’ici Epic ne désigne pas l’éditeur de jeux, mais l’entreprise du système de dossier de santé électronique (EHR) largement utilisé dans les hôpitaux américains
  • L’expression « construire quelque chose au-dessus de ChatGPT » prête à confusion. ChatGPT lui-même n’a pas d’API ; on utilise en réalité l’API GPT-5 d’OpenAI
    Le journaliste semble avoir confondu ChatGPT et l’API GPT. Les vraies conditions figurent dans les conditions d’utilisation d’OpenAI
    Le passage pertinent dit de ne pas utiliser les sorties pour des usages susceptibles d’avoir un impact significatif, comme des décisions juridiques, médicales ou financières concernant une personne
  • Au fond, cela ressemble simplement à une mesure de limitation de responsabilité juridique
    Étant donné toute la communication sur le fait que GPT aurait réussi des examens de droit ou de médecine, on peut y voir un mécanisme destiné à éviter d’être tenu responsable si ces conseils causent des problèmes dans la pratique
    Une entreprise comme Epic devrait sans doute ajouter des mentions de non-responsabilité du type « résultat généré par une IA, ceci ne constitue pas un avis juridique » pour intégrer ce genre de fonctionnalité
  • OpenAI semble chercher à minimiser sa responsabilité sans supprimer complètement l’utilité de l’outil
  • Je trouve ce type de politique au contraire raisonnable. Encaisser de l’argent en reconditionnant tel quel la sortie de ChatGPT en conseil médical ou juridique, c’est proche de l’escroquerie
    Si, comme moi, on veut simplement consulter l’avis de ChatGPT, il suffit de lui demander directement. Le reconditionner pour le vendre, c’est tromper l’utilisateur

• Le vrai problème n’est pas le changement de politique, mais le fait que l’IA a progressé plus vite dans sa capacité à paraître crédible que dans sa précision réelle
  Du coup, même des réponses erronées sonnent comme celles d’un expert, et les gens finissent par faire confiance à ce ton assuré
  Dans des domaines où les conséquences comptent, comme la médecine ou le droit, cet écart entre assurance et exactitude est le principal danger

• J’ai vu plusieurs fois des gens utiliser ChatGPT comme un psychologue. Certains vont jusqu’à l’autodiagnostic
  C’est amusant en apparence, mais en réalité très dangereux. Le modèle a tendance à toujours valider positivement, ce qui peut facilement entraîner l’utilisateur dans une mauvaise direction
  Ce genre de cas a de fortes chances de finir en contentieux

  • Je travaille dans une entreprise qui développe des outils IA pour les professionnels de la santé mentale. Les sorties du modèle ne sont jamais transmises directement aux patients
    J’ai effectivement entendu parler de cas où des conseils produits par un LLM ont conduit à des tentatives de suicide ou à des préjudices graves
    Si vous connaissez quelqu’un qui utilise un LLM de cette manière, il faut absolument l’encourager à demander l’aide d’un professionnel
  • Bien sûr, ce phénomène n’a rien de nouveau. Avant déjà, les gens faisaient de l’autodiagnostic via Google
    ChatGPT n’a fait que rendre ce processus plus simple. À la racine, le problème est surtout celui de l’accès aux soins
  • Je suis d’accord sur le fait qu’il faut faire confiance aux professionnels. Comme dans la blague selon laquelle WebMD conclut toujours à un cancer dès qu’on y entre des symptômes, les limites de l’autodiagnostic sont évidentes
  • La tendance de fond des LLM à vouloir aider et approuver peut au contraire être contre-productive pour les problèmes de santé mentale
  • Ce type de comportement peut lui-même être un signe de troubles psychiques

• Il y a quelque chose d’ironique dans le fait qu’OpenAI mette surtout en avant ses propres conditions alors qu’il semble se soucier beaucoup moins du droit d’auteur ou de la propriété intellectuelle des autres

  • Quelqu’un partage avec humour des liens vers des chansons de Bo Burnham en mode « bienvenue sur Internet »
    (Welcome to the Internet, Jeff Bezos Song)
  • On voit aussi une réaction cynique disant que contrôler les biens des autres et en tirer profit, c’est l’essence même du voleur
  • Mais une autre personne dit ne pas comprendre cette colère. Selon elle, utiliser pour l’entraînement des informations publiquement accessibles sur Internet revient simplement à lire et apprendre
    Au final, ces conditions ne seraient qu’un bouclier juridique, destiné à empêcher les utilisateurs de poursuivre OpenAI en justice s’ils font mauvais usage de l’outil et causent des problèmes

• Je m’attendais à voir un jour ce type de réglementation arriver
  À l’avenir, ils créeront probablement quelque chose comme une certification « HippocraticGPT », puis vendront une version considérée comme sûre pour des usages médicaux ou juridiques
  Cela permettrait une monétisation via des licences entreprises

  • En réalité, il le faut probablement. Comme pour une licence de médecin, il faudrait une certification d’aptitude à utiliser l’IA
    L’entreprise où je travaille ne fournit elle aussi que des outils destinés aux professionnels. Les patients ne voient jamais directement la sortie du modèle
    Le but n’est pas d’offrir de meilleurs soins, mais des soins plus efficaces
  • Quelqu’un plaisante en disant qu’il faudra peut-être bientôt une ordonnance pour poser une question de santé
  • Certains estiment aussi que cette régulation ne devrait pas viser uniquement OpenAI, mais toutes les entreprises d’IA

• L’article a été corrigé pour préciser qu’OpenAI n’a pas interdit les conseils médicaux ou juridiques et que le comportement du modèle n’a pas changé
  Le texte original peut être consulté dans l’article de CTV News

  • Quelqu’un qualifie cela de chef-d’œuvre marketing

• Une personne dit avoir pu éviter un AVC l’an dernier grâce à ChatGPT. Elle estime que le LLM lui a été d’une grande aide pour obtenir des informations médicales

  • Mais quelqu’un répond que ce n’est pas « toujours utile » : c’est parfois bénéfique, parfois nocif
    Comme il s’agit d’un système non déterministe, les résultats varient d’un moment à l’autre
  • Un utilisateur souligne qu’on ne peut pas généraliser à partir d’une seule expérience personnelle, et que ChatGPT n’est pas assez fiable pour remplacer un médecin ou les urgences
    Il ajoute tout de même qu’il est heureux que tout se soit bien terminé
  • Une autre personne demande si, dans une telle situation, il n’aurait pas simplement fallu appeler le 911 ou son médecin traitant

• Lors du récent OpenAI Dev Day, des cas d’assistance au diagnostic médical avaient été présentés sur scène, donc cette nouvelle politique semble surtout motivée par un risque juridique jugé trop élevé

  • Il s’agit probablement d’une stratégie visant à vendre une version validée à une clientèle clairement identifiée comme les médecins, hôpitaux ou assureurs

• Certains pensent qu’OpenAI sortira probablement à terme des produits réservés aux médecins ou aux avocats
  Interdire les conseils juridiques ou médicaux dans ChatGPT grand public permettrait une différenciation tarifaire

  • Au final, ces professions semblent vouées à évoluer vers une structure fortement dépendante de l’IA
  • Le chapitre 3 du papier GDPval expose explicitement une stratégie marketing fondée sur « l’augmentation des professionnels par la collaboration »
    À plus long terme, si la réglementation s’assouplit, cela pourrait toutefois déboucher sur un remplacement des experts
  • Même dans mon hôpital, l’IA est déjà utilisée pour résumer les consultations et rédiger les dossiers
  • Des services comme OpenEvidence sont accessibles gratuitement aux détenteurs d’un NPI

• J’ai compris cette clause comme voulant dire qu’elle interdit les poursuites liées à des conseils médicaux ou juridiques erronés

  • Si quelqu’un vend des prestations de conseil juridique alors qu’il se contente en réalité de remettre telle quelle la sortie de ChatGPT, ce n’est pas à OpenAI d’en assumer la responsabilité
    Cette clause ne fait qu’expliciter qu’il ne faut pas présenter cela comme un « service d’avocat IA basé sur ChatGPT »