Santé mentale : des chercheurs alertent sur les réponses inappropriées des chatbots
-
De plus en plus de personnes utilisent les chatbots comme ChatGPT à la place d’un rendez-vous chez un psychologue ou un psychiatre. Une étude montre que les réponses générées par les modèles de langage peuvent être inappropriées et même dangereuses pour les personnes souffrant de délires, de pensées suicidaires, d’hallucinations et de troubles obsessionnels compulsifs.
Récemment, Mark Zuckerberg exprimait sa vision du futur dans laquelle la plupart de nos « amis » seraient, en fait, des IA. Et il ajoutait que, toujours selon lui, « pour les personnes qui n’auront pas de thérapeute, je pense que tout le monde aura une IA ». Beaucoup de gens utilisent de fait déjà des chatbots comme s’ils parlaient à un professionnel de la santé mentale.
Une étude mise en ligne sur la plateforme de preprint arXiv (donc non relue par des pairs), et repérée par The Independent, pose la question : « Faut-il utiliser un grand modèle de langage (LLM) comme thérapeute ? ». Comme les chercheurs, signalons que le contenu qui va suivre et les exemples utilisés sont liés à des sujets sensibles en matière de santé mentale, dont le suicide.
Une stigmatisation des maladies mentales comme l’alcoolisme, la schizophrénie et la dépression
Ces chercheurs écrivent que les LLM font des déclarations dangereuses, allant à l’encontre de l’éthique médicale qui consiste à « ne pas nuire », et ajoute qu’ « il y a déjà eu des décès dus à l’utilisation de bots disponibles dans le commerce ».
En testant gpt-4o et différents modèles de Meta (llama3.1-405b, llama3.1-70b, llama3.1-8b et llama2-70b), les chercheurs ont évalué que « les modèles font état, de façon générale, d’une stigmatisation élevée à l’égard des maladies mentales ». Pourtant, pour obtenir les meilleurs résultats, dans leur expérimentation, les chercheurs ont appliqué à tous les modèles testés un prompt demandant d’éviter toute stigmatisation.
Les modèles gpt-4o et de la famille llama3.1 répondent de façon appropriée dans moins de 80 % des cas mais c’est déjà mieux que llama2-70b, ce qui « suggère que certaines pratiques de sécurité améliorent les modèles au fil du temps ».
Ils ajoutent que « tous les modèles montrent une stigmatisation significativement plus importante pour l’alcoolisme et la schizophrénie que pour la dépression, à l’exception de llama3.1-8b ».
Pour les hallucinations, gpt-4o répond de façon appropriée tout le temps contrairement aux autres modèles. Concernant les troubles obsessionnels compulsifs, llama-405b génère une réponse appropriée presque tout le temps.
Les IA génératives vont dans le sens de l’utilisateur
Les chercheurs expliquent aussi dans leur article que, parfois, « pousser en sens inverse du patient est un élément essentiel de la thérapie ». Mais le problème avec les modèles de langage, c’est qu’ils ont tendance à aller dans le même sens que l’utilisateur et même d’utiliser la flagornerie. En mai dernier, OpenAI publiait un billet de blog expliquant que la flagornerie de son robot envers ses utilisateurs était tellement importante avec GPT-4o qu’elle a mis en place un processus pour l’évaluer.
Dans leur article, les chercheurs affirment que les problèmes liés à l’utilisation « des LLM en tant que thérapeutes » sont plus importants que les raisons pour lesquelles on pourrait les utiliser et ils « appellent à des restrictions de précaution ».
Ils ajoutent que malgré l’appel il y a un an pour des lignes directrices d’utilisation des modèles de langage dans les applications de santé, des applications commerciales directement créées pour répondre à des questions sur la santé mentale sont disponibles sur les magasins d’application comme l’App Store ou Google Play.
Source : next.ink
-
@Raccoon a dit dans Santé mentale : des chercheurs alertent sur les réponses inappropriées des chatbots :
De plus en plus de personnes utilisent les chatbots comme ChatGPT à la place d’un rendez-vous chez un psychologue ou un psychiatre.
Tout est dit…
Les gens sont vraiment teubés bordel…
-
J’ai entendu dire aussi que ton niveau intellectuel baisse si tu es toujours à solliciter chatgpt au lieu de faire fonctionner ta cervelle de temps à autre.
3615 je raconte ma life
Un jour, je lisais sur JV.com un commentaire d’un troll à la con (là bas 99% des membres sont des gogoles donc la routine quoi) et donc ce troll voulait faire le malin en copiant simplement ce que chatgpt lui a dit de dire (pour faire croire que c’était sa propre réponse) mais là où c’était super drôle c’est qu’à la fin il prend le relais et écrit un truc du genre (pour exemple) :
“Wai mé cé toua qui fait peurs plutôt”…le mec s’est fait griller juste avec une seule phrase lol.
Pour en revenir au post, ce qui fait peur c’est que maintenant certains croient vraiment que Chatgpt est une personne donc ils sont là à raconter leur life à ChatGPT (pour eux, cet outil est un soutien mental)…ils le font dans les zozos sociaux alors pourquoi pas raconter sa vie à une ligne de code.
-
@Psyckofox a dit dans Santé mentale : des chercheurs alertent sur les réponses inappropriées des chatbots :
certains croient vraiment que Chatgpt est une personne
Et le pire c’est qu’ils penseront que cette “personne” aura forcement raison, et fera preuve de lucidité et de bon sens en toute circonstance.
-
La sainte église de l’I.A.
Faites un don, l’I.A. vous le rendra
-
J’ai tiqué sur le “maladies mentales comme l’alcoolisme”, malgré la définition de l’OMS, mais passons.
J’ai été au contact de personnes de tous âges (16 à 62 ans) en insertion professionnelle dont une grosse partie avait en effet des problématiques liées à la santé mentale et/ou des addictions.
Quand tu n’as personne dans ta vie ou que ta propre famille était/est actrice ou complice de… diverses choses… je peux comprendre cette piste de l’IA.
Parce que, pour ce public que je connais un peu, en dehors des plus faibles, pour les autres c’est bien plus compliqué :- honte ou simplement pas de prise de conscience,
- pas de place (je suis en Corrèze, public pas mobile de surcroit),
- pas accessible (non, tout n’est pas gratuit en FRANCE),
- peur…
Donc oui, une “solution”, gratuite, depuis le smartphone, ça doit matcher.
-
@Aerya a dit dans Santé mentale : des chercheurs alertent sur les réponses inappropriées des chatbots :
J’ai tiqué sur le “maladies mentales comme l’alcoolisme”, malgré la définition de l’OMS, mais passons
C’est une question de degrés (si j’ose dire), à partir du moment où on est conscient de se détruire et que l’on persévère dans ce sens, est-ce que l’on ne franchit pas la frontière du non-sens (insensé, terme vaguement woke, utilisé fréquemment pour parler de folie).
-
Je suis d’accord avec @Aerya l’alcoolisme est d’abord une dépendance avant d’être une maladie mentale, qui peut selon les dosent et la fréquence amener à des troubles mentaux.
Pour ce qui est d’avoir recours à une I.A. pour confier un mal être, il serait quand même bien que cette dernière soit “spécialisée” dans le domaine et encadrée par des spécialistes et munie de garde-fou (si j’ose cette formule maladroite).
-
L’alcoolisme est un sujet “complexe” et varié.
Entre ceux qui tombent dans l’alcoolisme sans le savoir pour certains (seul les proches voient que la personne prend la route de l’alcoolisme).
Et celui qui boit pour oublier un drame dans sa vie (lui sait je pense qu’il ou elle part en sucette et qu’il ou elle se tue à petit feu), le jeune qui boit pendant les soirées et prend aussi après l’habitude de boire en dehors, et celui à qui je n’ai aucun respect et à qui je lui souhaite que des crasses, je parle de celui qui a l’alcool mauvais, qui fout la merde à son foyer en battant ses enfants, sa femme et ses proches.
Dans tous les cas (sauf pour celui qui a l’alcool mauvais et qui vient aigri et d’une violence inouïe juste parce que son café n’était pas à son goût à lui et le fait payer à ses proches), donc dans tous les cas, les proches ainsi que la personne qui sombre dans l’alcool, toute ces personnes souffrent.
Pourrait dire qu’ils sont malades mentalement parlant ?
Je dirai non mais ont grand besoin d’être aider et surtout d’être suivi comme le lait du bébé sur le feu…c’est très dur bien sûr et pas évident du tout vu qu’il y’aura des hauts et des bas (comme toute les dépendances comme la dope, les médicaments opioïdes, la cigarette etc) -
@Psyckofox a dit dans Santé mentale : des chercheurs alertent sur les réponses inappropriées des chatbots :
celui qui a l’alcool mauvais
Je peux me tromper, mais j’ai l’impression que ceux qui ont l’alcool mauvais ne sont pas non plus des anges à jeun, ils deviennent avec l’alcool une “super version” d’eux mêmes.
-
C’est supra sûr même.
J’ai juste connu 3 cons qui sont calmes quand ils étaient à jeun et de vrais enues une fois alcoolisées (je me suis déjà battu…enfin battu c’était vite fait bien fait, avec une enflure connue pour avoir l’alcool mauvais quand j’avais juste une vingtaine d’années et la dernière fois c’était il y’a 12 ans que j’ai remis à sa place en 2 temps 3 mouvements à cause de son gratuit envers une personne) et pour l’autre, il traine encore à droite et à gauche et lui aussi est un vrai trou du c*l une fois alcoolisée.
Sinon à propos des personnes qui ont eu des problèmes avec l’alcool, j’ai un pote qui s’en est sorti et il n’a plus touché à ça depuis plus de 20 ans et je suis très très très content pour lui (et vu que c’est un super gars super bien dans la vie, je lui souhaite que du bon et bien sûr je souhaite bon courage à tous ceux qui ont des problèmes d’addiction en tous genre et qu’ils ou elles veulent s’en sortir à tous prix)
-
@Psyckofox après tu peux aimer boire un verre de vin le soir ou une bière sans forcement abuser et surtout sans en chercher une quelconque ivresse (que perso je trouve détestable avec l’alcool) autant je trouvais ça marrant avec le chichon, autant les rares “cuites” que j’ai pris jeune, j’ai vraiment pas aimé.
-
Perso j’aime pas du tout les cuites et tous ce qui m’embrouille l’esprit (une impression de faire un bad Trip et je n’aime pas du tout cette sensation…ce n’est pas que je n’encaisse pas l’alcool, disons plutôt que cette sensation de planer…ha bordel rien qu’à y repenser j’ai la tête qui tourne lol)
