Des chercheurs du Brigham and Women's Hospital, affilié à la Harvard Medical School, ont découvert des erreurs dans les réponses ChatGPT liées au cancer et au traitement du cancer.
Les résultats montrent que ces types de questions doivent être prises avec précaution par les utilisateurs, car ils ne considèrent pas leurs réponses comme un guide à suivre dans le traitement et le diagnostic des maladies.
« Nous avons été surpris de voir à quel point des informations incorrectes ont été mélangées à des informations correctes. Cela rend particulièrement difficile la détection des erreurs, même pour les experts », a déclaré le Dr Danielle Bitterman, l'une des auteurs de l'étude.
Pourquoi ChatGPT a des erreurs
À la base, ce chatbot fonctionne comme un modèle de langage formé sur diverses sources de texte, apprenant à imiter des modèles de communication de type humain. Cependant, l'étude du Brigham and Women's Hospital suggère que cette imitation s'accompagne d'une mise en garde : l'exactitude des conseils médicaux.
Les chercheurs ont découvert que ChatGPT avait tendance à fournir des réponses fabriquées, fabriquant 12,5 % de ces résultats. La désinformation était particulièrement prononcée lorsqu’il s’agissait de traitements avancés contre des maladies.
« Les grands modèles de langage sont formés pour fournir des réponses très convaincantes. Mais ils ne sont pas conçus pour apporter une aide médicale précise. Le taux d'erreur et l'instabilité des réponses sont des problèmes critiques. Cela devra être résolu en milieu clinique », a déclaré Bitterman.
Avant cette étude, la Federal Trade Commission (FTC) des États-Unis avait déjà lancé une enquête sur l'exactitude des données ChatGPT . Cette décision a été motivée par une plainte déposée par le Center for Digital Policy and Policy (CAIDP), qui affirmait que la technologie de l'intelligence artificielle violait les lois fédérales sur la protection des consommateurs en raison de l'absence d'évaluations indépendantes.
Tout un panorama qui souligne l'importance de savoir utiliser ces outils et d'évaluer la portée de l'intelligence artificielle en sécurité publique et la validité de l'information.
Comment éviter les fausses informations dans ChatGPT
ChatGPT est un outil supplémentaire de génération de contenu et de recherche, tel que les réseaux sociaux ou les moteurs de recherche. Cela signifie qu’ils ne constituent pas une source d’informations spécifique, mais s’appuient uniquement sur leur technologie pour créer l’interaction demandée par l’utilisateur.
C'est pourquoi, en tant qu'utilisateurs, il existe différentes méthodes avec lesquelles il est possible d'empêcher le chatbot de nous fournir des données fausses ou inexactes, en tenant compte du fait que sa base de données va jusqu'en 2021 et qu'il n'a aucune connaissance de ce qui s'est passé par la suite.
Voici trois façons dont nous pouvons aider ChatGPT à donner des réponses de meilleure qualité et à ne pas avoir de résultats incorrects ou à réduire la marge des possibilités :
- Utiliser une invite précise : il est important d'être clair et précis dans la question à poser. Pour cela, il faut donner un contexte pour guider ChatGPT vers l’information recherchée. Par exemple, si nous voulons des données sur un livre, l'idéal serait de lui donner d'abord des informations sur son auteur, son titre, ses personnages ou le type de contenu, et de cette manière le chatbot disposera de plus de données pour générer le contenu.
- Fixer des limites : il faut dire à ChatGPT qu'il ne peut pas inventer des informations et qu'il doit apporter des réponses basées uniquement sur des faits réels. Étant un outil qui ne comprend pas exactement ce que l'on veut, il va falloir définir le chemin et guider le chatbot pour qu'il ne sorte pas de son contexte.
- Vérifier les informations : c'est quelque chose qui devrait être fait avec toute autre source d'information actuelle. Même si les données que vous nous fournissez semblent exactes, vous devez toujours les comparer et disposer de deux ou trois options supplémentaires.