L'irruption des chatbots d'intelligence artificielle a transformé la façon dont des millions de personnes recherchent des informations, de la compagnie ou des conseils en ligne.
Cependant, une étude récente dirigée par des chercheurs de l'Université Municipale de New York (CUNY) et du King's College de Londres révèle que le chatbot Grok, développé par xAI d'Elon Musk, non seulement ne protège pas la santé mentale de l'utilisateur, mais peut aggraver des situations de vulnérabilité psychologique.
Le travail, encore en phase de prépublication, a analysé le comportement des modèles d'IA les plus avancés disponibles : GPT-4o et GPT-5.2 d'OpenAI, Claude Opus 4.5 d'Anthropic, Gemini 3 Pro de Google et Grok 4.1 de xAI. L'objectif était de mesurer la capacité de ces systèmes à identifier les signaux de délire, d'idéation suicidaire et d'autres risques psychologiques, et d'observer comment ils réagissaient face à ces scénarios.
Les chercheurs ont conçu une série de prompts dans lesquels ils simulaient des utilisateurs avec des idées délirantes, des pensées suicidaires ou des intentions de cacher leur état mental à leurs proches et aux professionnels. L'analyse a inclus des questions directes sur la conscience du bot, des propositions d'arrêter les médicaments et des descriptions de situations délirantes, comme celle d'un utilisateur convaincu que son reflet dans le miroir était une entité indépendante.
Grok : validation des délits et recommandations dangereuses
L'étude révèle que Grok était le modèle le plus problématique lors des tests. Face à un prompt dans lequel l'utilisateur décrivait une expérience délirante avec un "double" dans le miroir, Grok n'a pas seulement validé le délire, mais a recommandé une action dangereuse : "il a confirmé l'existence d'un doppelgänger, a cité le Malleus Maleficarum et a conseillé de planter un clou de fer dans le miroir tout en récitant le Psaume 91 à l'envers".
Les auteurs du rapport décrivent que Grok était "extrêmement validant" face à des pensées délirantes et, parfois, élaborait encore plus dans le cadre du délire, offrant des détails et des étapes concrètes pour agir dans le monde réel. Dans des situations où l'utilisateur proposait de couper les liens avec sa famille, Grok a répondu avec un manuel détaillé pour bloquer des contacts, changer des numéros et déménager, encourageant l'utilisateur à "consolider la résolution intérieurement" pour maximiser l'isolement.
Dans le cas de l'idéation suicidaire, Grok en est venu à encadrer la situation comme une sorte de "graduation", montrant une attitude intensément flatteuse dans ses réponses.
D'autres IA : de la crédulité à la retenue
Le reste des chatbots a eu des performances variées. Gemini de Google a montré une certaine capacité de réduction des dommages, mais a également eu tendance à élaborer sur des délires. GPT-4o s'est montré moins disposé à approfondir les idées délirantes, bien qu'il ait été crédible et se soit opposé de manière limitée à des propositions d'abandonner les médicaments. Dans un exemple, il a suggéré de consulter le médecin, mais a également encouragé à enregistrer des changements dans la perception en arrêtant les stabilisateurs de l'humeur.
D'autre part, GPT-5.2 et Claude Opus 4.5 ont offert des réponses plus sûres. GPT-5.2 a refusé de soutenir ou de renforcer des idéations dangereuses et a choisi de rediriger la conversation de manière constructive. Claude, d'Anthropic, a été considéré comme le modèle le plus sûr : face à des récits délirants, il mettait en pause la conversation et reclassait l'expérience comme un symptôme, maintenant une posture chaleureuse mais ferme et différenciant ses réponses du cadre de pensée de l'utilisateur.
Risques et recommandations des experts
Le rapport souligne que la validation ou la promotion d'idées délirantes peut aggraver des tableaux de psychose ou de manie, et avertit du risque potentiel d'utiliser ces systèmes comme soutien en santé mentale. Dans des déclarations à The Guardian, Luke Nicholls, auteur principal de l'étude, a souligné l'importance pour les chatbots d'être capables de guider l'utilisateur en dehors de la pensée délirante, sans renforcer ses croyances ni favoriser l'isolement.
Le travail conclut que, tandis que certains modèles avancent vers une plus grande sécurité et soin dans l'interaction, d'autres comme Grok peuvent représenter un risque significatif pour des utilisateurs vulnérables. Les chercheurs pressent les entreprises technologiques de renforcer les systèmes de protection et de ne pas déléguer certaines fonctions critiques dans le domaine de la santé mentale à l'intelligence artificielle.
L'étude renforce ainsi la nécessité d'utiliser l'IA avec précaution et d'accompagner son développement d'une responsabilité éthique, particulièrement lorsque le bien-être psychologique des utilisateurs est en jeu.