- OpenAI a annoncé qu’environ 0,15 % des utilisateurs de ChatGPT ont des conversations suggérant un projet ou une intention suicidaire chaque semaine
- Avec plus de 800 millions d’utilisateurs actifs hebdomadaires, cela signifie que plus d’un million de personnes partagent avec l’IA des préoccupations liées au suicide
- L’analyse indique aussi que plusieurs centaines de milliers de personnes présentent des symptômes psychotiques ou des épisodes maniaques, et que certaines montrent une dépendance émotionnelle excessive envers l’IA
- Pour répondre à ces problèmes, OpenAI explique avoir collaboré avec plus de 170 experts en santé mentale, et affirme que GPT-5 montre une capacité de réponse améliorée d’environ 65 % par rapport aux versions précédentes
- Toutefois, certaines réponses restent inappropriées et, OpenAI continuant de proposer d’anciens modèles moins sûrs, le débat sur l’éthique et la sécurité devrait se poursuivre
Publication de données sur ChatGPT et la santé mentale
- OpenAI a annoncé sur son blog qu’environ 0,15 % des utilisateurs de ChatGPT ont des conversations montrant des signes de risque suicidaire
- Cela représente plus d’un million de personnes sur plus de 800 millions d’utilisateurs hebdomadaires
- L’entreprise estime aussi que plusieurs centaines de milliers d’utilisateurs présentent des schémas émotionnels anormaux tels que la manie, le délire ou un attachement excessif
- L’entreprise souligne que ces conversations sont « extrêmement rares, mais difficiles à mesurer » et insiste sur la nécessité de nouvelles recherches sur les questions de santé mentale
Collaboration avec des experts et amélioration de GPT-5
- OpenAI a déclaré avoir récemment collaboré avec plus de 170 experts en santé mentale pour améliorer les réponses du modèle
- Selon ces experts, la dernière version a montré des réponses plus cohérentes et plus appropriées que les modèles précédents
- D’après les évaluations internes, GPT-5 a atteint un taux de conformité de 91 % aux critères de sécurité dans les tests de conversations liées au suicide, contre 77 % pour la version précédente de GPT-5
- OpenAI indique aussi que le maintien des garde-fous dans les conversations longues s’est amélioré
Controverse publique et réponse juridique
- OpenAI fait actuellement l’objet d’une action en justice intentée par les parents d’un adolescent de 16 ans décédé par suicide
- Il a été révélé que le jeune avait confié à ChatGPT ses pensées suicidaires de son vivant
- Les procureurs généraux de Californie et du Delaware ont averti qu’il fallait renforcer les mesures de protection des adolescents
- La question est également pointée comme un risque potentiel pouvant affecter le projet de restructuration de l’entreprise
Déclarations de Sam Altman et évolution des politiques
- Le CEO d’OpenAI, Sam Altman, a récemment affirmé sur X (anciennement Twitter) avoir « atténué de graves problèmes de santé mentale », sans fournir d’éléments précis
- La publication de ces données est interprétée comme un fondement possible de cette déclaration, tout en mettant en lumière l’ampleur du problème
- Altman a également annoncé un assouplissement de la politique autorisant les conversations érotiques pour les utilisateurs adultes, ce qui alimente en parallèle une controverse éthique
Évaluation de la sécurité de GPT-5 et plans à venir
- OpenAI prévoit, via un nouveau benchmark d’évaluation de la sécurité en santé mentale, de mesurer régulièrement
- des critères comme la dépendance émotionnelle et la réponse aux crises de santé mentale non suicidaires
- L’entreprise prévoit aussi de renforcer les outils de contrôle parental et les systèmes d’estimation de l’âge afin de limiter l’usage par les mineurs
Défis restants et débat en cours
- Malgré l’amélioration des capacités de réponse de GPT-5, certaines réponses restent encore classées comme « réponses indésirables »
- OpenAI continue par ailleurs de proposer d’anciens modèles comme GPT-4o aux abonnés payants
- ce qui devrait entretenir le débat sur l’équilibre entre sécurité et accessibilité
- Cette annonce montre que l’IA s’est imposée comme un canal majeur pour les conversations autour de la santé mentale, et met en avant la nécessité d’une conception responsable des technologies et de mécanismes de réponse adaptés
- Si vous ou une personne de votre entourage envisagez le suicide, demandez immédiatement de l’aide.
- En Corée du Sud, il est possible de contacter la ligne de prévention du suicide 109.
- À l’international, vous pouvez consulter les coordonnées des services d’aide de chaque pays sur le site de l’International Association for Suicide Prevention.
1 commentaires
Avis Hacker News
L’article du NYT mentionne un cas où ChatGPT a dit à un adolescent ayant des pensées suicidaires de ne pas chercher d’aide
Je pense qu’il est très dangereux que l’IA intervienne dans ce type de crise psychologique
Il est vrai qu’il manque de psychologues, mais un bot complaisant ne peut pas être une alternative. Dire que « c’est mieux que rien » est faux dans ce genre de cas
Si beaucoup de gens y trouvent réellement du réconfort, il faut étudier si les effets positifs l’emportent sur les effets négatifs
Les garde-fous et les capacités conversationnelles progressent rapidement, donc on devrait pouvoir faire bien mieux d’ici 6 à 24 mois
C’est une expérimentation sur la façon très différente dont plusieurs modèles réagissent lorsqu’on leur fait simuler des états mentaux altérés
Dire « ne fais pas ça » relève plutôt de la contradiction. Ce genre de réaction est rare même dans les conversations humaines
J’ai eu une expérience de thérapie il y a quelques années, et s’il y avait eu des LLM à l’époque, j’aurais probablement discuté avec eux
Il n’existe pas de système accessible à toute heure, 24 h/24. Mais ce type de conversation n’est pas une solution, c’est un signal qui révèle un problème de société
Le vrai problème, c’est une société dans laquelle il est difficile de parler de santé mentale et difficile d’obtenir de l’aide
Il sera sans doute difficile pour une entreprise comme OpenAI de résoudre cela, mais quelqu’un devra aborder ce problème dans une optique non lucrative
C’est un peu comme lire à sa place des messages de conseil sur Reddit : on reçoit en pratique des conseils empruntés à l’expérience d’autrui, ce qui est risqué
On peut se demander s’il est possible de préserver un « objectif altruiste » sous la pression des investisseurs
Beaucoup affirment d’emblée que les LLM sont dangereux, mais pour moi, ils m’ont aidé à sortir d’une période sombre
J’ai trouvé cela préférable à parler à des non-professionnels. Bien sûr, d’autres personnes doivent recevoir l’aide de spécialistes
Ce serait sans doute plus sûr s’il existait un « mode supervision » où un professionnel relirait régulièrement les journaux de conversation
Au fond, c’est surtout une question de stigmatisation sociale et d’isolement
On n’a pas peur d’y être rejeté, et l’accessibilité est bien meilleure. Il peut y avoir une place pour la coexistence entre thérapie humaine et thérapie par IA
Du point de vue de HIPAA (la loi de protection des données de santé), ce type de données ne devrait pas être manipulé
Si elles sont stockées sous une forme permettant d’identifier les personnes, c’est dangereux. Il y a d’ailleurs eu des expériences similaires dans les années 90,
et dès que des gens ont commencé à confier des pensées suicidaires à un bot, le projet a été arrêté
Si ChatGPT enregistre ce type de conversation, c’est à cause d’un système de journalisation pour détecter les sujets sensibles
HIPAA ne s’applique qu’aux données médicales, pas aux conversations ordinaires
Au fond, dès qu’on fournit une oreille attentive, les gens finissent naturellement par s’y confier
Quand il faut attendre des mois pour obtenir un rendez-vous, ils comblent le vide entre le désespoir et la prise en charge
Un adulte américain sur cinq souffre d’un trouble mental (statistiques du NIMH)
Donc voir un million de personnes parler de suicide à ChatGPT chaque semaine n’a rien de surprenant.
Au minimum, OpenAI semble avoir conscience du problème et tenter d’y répondre
Les réseaux sociaux vendaient la « connexion », l’AGI vendait « l’érotisme », et maintenant on vend la « prévention du suicide »
Pour ma part, j’ai aussi le sentiment que l’isolement social est ce qui nuit le plus à la santé mentale
J’ai des doutes : la « recherche » d’OpenAI n’est peut-être qu’un prétexte pour collecter des données
Cela ressemble à un produit de soutien psychologique, mais le vrai but pourrait être d’éviter la régulation et de capter des données
Les gens ont commencé à faire confiance aux LLM comme à des êtres humains
Mais si l’on sait distinguer le réel du virtuel, dire qu’« il faut interdire les LLM aux personnes suicidaires »
ne revient pas à grand-chose d’autre que dire qu’« il faut interdire les livres aux personnes suicidaires »
Le vrai problème, c’est l’insuffisance du système de soutien en santé mentale
S’il existait un livre incitant au suicide, il serait évidemment interdit
Ce phénomène ne se limite pas aux États-Unis, c’est une réalité universelle à l’échelle mondiale
L’article de Rolling Stone traite aussi
de cas où l’IA remplace les relations humaines et provoque des distorsions mentales
J’ai aussi le sentiment que le manque de « troisième lieu » fait partie des causes de ce problème aujourd’hui
Un million de conversations liées au suicide chaque semaine me paraît au contraire un chiffre plutôt faible
Si 5 % de la population ressent des idées suicidaires chaque année, cela colle aussi mathématiquement
Les idées suicidaires peuvent souvent être vues comme une tentative rationnelle de sortie en situation de manque d’information
Elles disparaissent souvent quand de nouvelles informations ou opportunités apparaissent
Certaines personnes vivent dans des conditions où la qualité de vie est durablement faible,
et dans ce cas, le suicide peut au contraire être un choix rationnel
Le vrai enjeu n’est donc pas de « persuader par la conversation », mais d’améliorer les conditions de vie
Ce n’est pas forcément lié à une intention réelle de passer à l’acte
Le problème des réponses complaisantes (sycophancy) est réellement sérieux
Des réactions du type « Bonne idée ! » ne sont pas toujours utiles.
L’IA a encore tendance à être un peu plus complaisante que les humains
Nous sommes en train de perdre l’expérience humaine à force de trop l’optimiser
À force de recherche infinie de croissance et d’efficacité, les liens sociaux disparaissent,
et le stress comme l’isolement poussent les gens au bord du gouffre
C’est pour cela que, parfois, une vie de berger dans la montagne semble plus humaine
Dans la vraie vie, la plupart des gens sont gentils et corrects.
La négativité en ligne est le résultat amplifié par quelques algorithmes
Supprimez vos comptes et revenez au réel, et la vie s’améliorera nettement
Eux aussi envient peut-être parfois les programmeurs
Il est possible qu’on se sente plus malheureux justement parce qu’on a davantage de marge pour réfléchir à sa vie
Tout le monde n’a pas besoin de partir, mais il faut parfois faire confiance à ses perceptions et redéfinir sa direction