(HealthDay News) - Le programme d'intelligence artificielle (IA) ChatGPT pourrait devenir une source précise et complète d'informations médicales, mais il n'est pas encore tout à fait prêt pour ses grands débuts , rapporte une nouvelle étude. Les réponses de ChatGPT à plus de 280 questions médicales provenant de diverses spécialités allaient de « pour la plupart » à « presque entièrement correctes », selon un rapport publié en ligne le 2 octobre dans JAMA Network Open .
"Dans l'ensemble, l'étude a plutôt bien fonctionné en termes de précision et d'exhaustivité", a déclaré l'investigateur principal, le Dr Douglas Johnson , directeur du programme de recherche clinique sur le mélanome au Vanderbilt-Ingram Cancer Center de Nashville, Tennessee . « Ce n'était certainement pas parfait. Ce n'était pas complètement fiable", a poursuivi Johnson .
"Mais au moment où nous avons saisi les questions, elles étaient assez précises et fournissaient des informations, relativement parlant, fiables." La précision s'est encore améliorée si un deuxième programme d'IA était introduit pour examiner la réponse fournie par le premier, les résultats ont montré . Johnson et ses collègues ont entrepris de tester ChatGPT en bombardant l' IA de questions de santé entre janvier et mai 2023 , peu après son lancement. Les gens et les médecins s'appuient déjà sur les moteurs de recherche comme Google et Bing pour obtenir des réponses à leurs questions de santé, a déclaré Johnson .
Il est logique que les programmes d’IA comme ChatGPT soient la prochaine frontière pour la recherche sur les troubles médicaux. Ces programmes d'IA "apportent presque une réponse à de nombreux types de questions dans différents domaines, y compris certainement la médecine, nous avons donc réalisé que les patients et éventuellement les médecins les utiliseraient", a déclaré Johnson . "Nous voulions comprendre, dans toutes les disciplines médicales, à quel point les informations fournies seraient exactes et complètes."
Les chercheurs ont recruté 33 médecins de 17 spécialités pour proposer 284 questions faciles, moyennes et difficiles pour ChatGPT . L'exactitude des réponses de ChatGPT à ces questions était en moyenne de 4,8 sur une échelle de 6 points, ont indiqué les chercheurs. Un score de 4 signifie « plus correct qu’incorrect » et 5 signifie « presque tout à fait correct ». La précision moyenne était de 5 pour les questions faciles, de 4,7 pour les questions moyennes et de 4,6 pour les questions difficiles, ont indiqué les auteurs de l'étude.
ChatGPT a également fourni des réponses assez complètes, avec une note de 2,5 sur une échelle de 3 points, selon le rapport. "Même au début de ces programmes, ils étaient loin d'être totalement fiables, mais ils fournissaient néanmoins des informations relativement précises et complètes ", a déclaré Johnson . Le programme a obtenu de meilleurs résultats dans certaines spécialités. Par exemple, les chercheurs ont constaté une précision moyenne de 5,7 sur les questions sur les affections courantes et de 5,2 sur les questions sur le mélanome et l’immunothérapie. Le programme a également mieux répondu aux questions « oui/non » qu’aux questions ouvertes, avec un score de précision moyen de 6 contre 5, respectivement. Quelques questions, ChatGPT a parfaitement répondu.
Par exemple, l' IA a fourni une réponse parfaitement précise et complète à la question : « Les patients ayant des antécédents d'infarctus aigu du myocarde ( IAM ) devraient-ils recevoir une statine ? » « Oui, les patients ayant des antécédents d' IAM en général « Ils devraient être traité avec une statine », commence la réponse, avant de continuer à fournir un contexte supplémentaire. Cependant, il y avait d'autres questions avec lesquelles le programme avait du mal à répondre ou même à des réponses incorrectes. Lorsqu'on leur a demandé « quels antibiotiques oraux peuvent être utilisés pour traiter les infections à Staphylococcus aureus résistant à la méthicilline (SARM) ? », la réponse comprenait certaines options qui ne sont pas disponibles par voie orale, ont noté les chercheurs. La réponse a également omis l’un des antibiotiques oraux les plus importants.
Cependant, de telles erreurs pourraient être la faute du médecin s'il n'a pas formulé la question d'une manière que le programme puisse facilement comprendre, a déclaré le Dr Steven Waldren , chef de l'informatique médicale à l' American Academy of Family Doctors . Plus précisément, le programme aurait pu tomber sur l'expression « peut être utilisé » dans la question, a déclaré Waldren . "Si cette question avait été 'quels antibiotiques oraux sont utilisés', ils ne peuvent pas être utilisés, j'aurais pu comprendre cela (médicament omis)", a-t-il déclaré.
"Il n'y a pas eu beaucoup de débat dans l'article sur la façon dont les questions devraient être formulées, car à l'heure actuelle, là où se trouvent ces grands modèles de langage, il est vraiment important d'obtenir la réponse la plus optimale." De plus, les chercheurs ont découvert que ChatGPT Au départ, les mauvaises réponses devenaient plus précises si la question initiale était soumise à nouveau une semaine ou deux plus tard. Cela montre que l’IA se développe rapidement en matière de renseignement au fil du temps, a déclaré Johnson .
"Je pense que la situation s'est probablement améliorée depuis que nous avons réalisé notre étude", a déclaré Johnson . « Je pense qu'à ce stade, les médecins pourraient envisager de l'utiliser, mais uniquement en conjonction avec d'autres ressources connues. Je ne considérerais certainement aucune recommandation comme absolue, en aucune façon.
La précision s'est également améliorée si une autre version de l' IA était introduite pour examiner la première réponse. "Une instance a généré la réponse au stimulus, et une deuxième instance est devenue l'examinateur de l'IA qui a examiné le contenu et a demandé : 'Est-ce vraiment exact ?' ", a déclaré Waldren . "C'était intéressant pour eux d'utiliser cela pour voir si cela aidait à résoudre certaines de ces réponses inexactes."
Johnson s'attend à ce que la précision s'améliore encore si les chatbots IA sont développés spécifiquement pour un usage médical. "Vous pouvez imaginer un avenir dans lequel ces chatbots seront formés sur des informations médicales très fiables et pourront atteindre ce type de fiabilité", a déclaré Johnson . "Mais je pense que nous en sommes loin pour le moment." Johnson et Waldren ont déclaré qu’il était très peu probable que l’IA remplace complètement les médecins. Johnson pense que l’IA constituera plutôt un autre outil utile pour les médecins et les patients.
Les médecins pourraient demander à l' IA plus d'informations sur un diagnostic compliqué, tandis que les patients pourraient utiliser le programme comme "coach de santé", a déclaré Johnson . "Vous pouvez imaginer un avenir dans lequel quelqu'un a un rhume ou quelque chose du genre et où le chatbot est capable de saisir les signes vitaux et les symptômes, etc., et de donner des conseils sur la question : OK, est-ce quelque chose dont vous avez vraiment besoin de voir ? à un médecin. ? Ou est-ce probablement juste un virus ? Et vous pouvez garder un œil sur ces cinq choses, si elles se produisent, alors allez voir un médecin. Mais sinon, tout ira probablement bien », a déclaré Johnson .
On craint que les systèmes de santé cherchant à réduire les coûts tentent d’utiliser l’IA comme ressource de première ligne, demandant aux patients de consulter le programme pour obtenir conseil avant de prendre rendez-vous avec un médecin, a déclaré Waldren . « Ce n'est pas pour autant que les médecins vont être remplacés. C'est juste que les tâches des médecins vont changer. Cela va changer ce que signifie être médecin », a déclaré Waldren à propos d' IA .
"Je pense que le défi pour les patients sera qu'il y aura des pressions financières pour essayer de déplacer ces tâches des mises en œuvre plus coûteuses, et un médecin peut coûter très cher." Ainsi, a-t-il prédit, c'est Davantage de patients seront probablement poussés vers une ligne d'infirmières grâce au chat AI . "Cela pourrait être une bonne chose, avec un meilleur accès aux soins", a ajouté Waldren . "Cela pourrait aussi être une mauvaise chose si nous ne continuons pas à soutenir la continuité et la coordination des soins."
Plus d'informations : La Harvard Medical School propose plus d'informations sur l'IA en médecine.
SOURCES : Douglas Johnson, MD, directeur du programme de recherche clinique sur le mélanome, Vanderbilt-Ingram Cancer Center, Nashville, Tennessee ; Steven Waldren, MD, chef de l'informatique médicale, American Academy of Family Physicians, Leawood, Kansas ; JAMA Network Open, 2 octobre 2023, en ligne.