Une étude récente publiée dans JAMA Pediatrics note que l'utilisation de chatbots à intelligence artificielle, tels que ChatGPT , pour diagnostiquer des problèmes de santé chez les enfants n'est pas fiable.
La recherche a montré que ce système d’IA n’a qu’une précision de 17 % dans le diagnostic des maladies infantiles, un chiffre considérablement faible.
Selon la recherche, cela montre que l'expérience des pédiatres reste irremplaçable et souligne l'importance de leurs connaissances cliniques. Malgré cela, de nombreux spécialistes du domaine de la santé reconnaissent que l’intégration de l’IA dans les soins de santé est probablement imminente.
L'IA dans le secteur de la santé
L'intelligence artificielle dans le secteur de la santé progresse rapidement et est utilisée pour un large éventail d'applications.
Il s'agit notamment de l'analyse de grands volumes de données médicales pour identifier des modèles qui aident à la prévention et au traitement des maladies, du développement d'algorithmes pour des diagnostics plus précis, de la personnalisation des traitements pour les patients et de l'automatisation des tâches administratives pour améliorer l'efficacité des services de santé.
Cependant, une étude récente réalisée au Cohen Children's Medical Center de New York a révélé que la dernière version de ChatGPT n'est pas encore prête à diagnostiquer les maladies des enfants. Les enfants sont différents des adultes car ils changent beaucoup avec l’âge et ils ne peuvent même pas vraiment dire ce qui leur arrive.
Dans l'expérience ChatGPT , les scientifiques ont utilisé les textes de 100 cas réels de santé d'enfants et ont demandé au système d'essayer de déterminer de quelle maladie ils souffraient. Deux médecins spécialistes ont ensuite examiné si les réponses de l'intelligence artificielle étaient bonnes, mauvaises ou médiocres.
Parfois, ChatGPT disait une maladie que je devais voir, mais ce n'était pas correct car c'était trop général. Par exemple, ChatGPT pensait qu'un garçon avait une sorte de grosseur dans le cou, mais il souffrait en réalité d'une maladie génétique qui affecte également les oreilles et les reins, et qui peut provoquer l'apparition de ces grosses.
Sur les 100 cas testés, ChatGPT n'avait raison que dans 17 cas. Il n'a pas obtenu la réponse complète dans 11 cas, et il était complètement faux dans 72. De plus, sur les 83 fois où il n'a pas bien fait les choses, dans 47 cas. Parfois, la maladie était liée à la bonne partie du corps, mais le diagnostic était toujours erroné.
Les chercheurs ont remarqué que l’ IA n’était pas très douée pour réaliser des choses que les médecins expérimentés savent. Par exemple, il n’était pas logique qu’un enfant autiste souffre du scorbut parce qu’il ne consomme pas suffisamment de vitamine C.
Cela peut se produire parce que les personnes autistes mangent parfois peu de choses différentes et manquent de vitamines. Les médecins savent qu’ils doivent prêter attention à ces problèmes de vitamines chez les enfants des pays où ils mangent habituellement bien. Mais le chatbot ne l’a pas vu et a pensé que le garçon était atteint d’une autre maladie, beaucoup moins courante.
Le chatbot n'a pas fait grand-chose dans ce test, mais les chercheurs ont déclaré qu'il pourrait s'améliorer s'il était mieux formé avec des livres médicaux spécialisés plutôt qu'avec des informations parfois fausses provenant d'Internet.
Ils ont ajouté que si le chatbot pouvait utiliser des données médicales mises à jour, il établirait de meilleurs diagnostics. Ils appellent cela « peaufiner » le système afin qu'il fonctionne de manière beaucoup plus optimisée.
"Cela présente une opportunité pour les chercheurs de tester si une formation spécifique et un réglage des données médicales peuvent améliorer la précision du diagnostic des chatbots basés sur de grands modèles de langage", concluent les auteurs médicaux de l'enquête.