Les chatbots IA sont de plus en plus à l’aise dans l’art de la conversation humaine. Le problème, disent les experts, est qu’ils ont tendance à donner des réponses inexactes ou absurdes, appelées « hallucinations ». Aujourd’hui, les chercheurs ont trouvé une solution possible : utiliser des chatbots pour détecter les erreurs commises par d’autres chatbots.
Sebastian Farquhar, informaticien à l' Université d'Oxford , est co-auteur d'une étude publiée mercredi dans la revue Nature qui postule que des chatbots comme ChatGPT ou Gemini de Google peuvent être utilisés pour éliminer les mensonges de l'IA.
Les chatbots utilisent de grands modèles de langage, ou LLM, qui consomment de grandes quantités de texte sur Internet et peuvent être utilisés pour diverses tâches, notamment la génération de texte en prédisant le mot suivant dans une phrase. Les robots trouvent des modèles par essais et erreurs, puis les commentaires humains sont utilisés pour affiner le modèle. Mais il y a un hic : les chatbots ne peuvent pas penser comme les humains et ne comprennent pas ce qu'ils disent .
Para probar esto, Farquhar y sus colegas hicieron preguntas a un chatbot y luego utilizaron un segundo chatbot para revisar las respuestas en busca de inconsistencias, de manera similar a la forma en que la policía podría intentar hacer tropezar a un sospechoso haciéndole la misma pregunta una et une autre fois. Si les réponses avaient des significations très différentes, cela signifiait probablement qu’elles étaient confuses.
Il a déclaré que le chatbot s'était vu poser une série de questions courantes et avait posé des problèmes de mathématiques à l'école primaire.
Les chercheurs ont vérifié l’exactitude de l’évaluation du chatbot en la comparant à l’évaluation humaine sur le même sous-ensemble de questions. Ils ont constaté que le chatbot était d'accord avec les évaluateurs humains dans 93 % des cas , tandis que les évaluateurs humains étaient d'accord entre eux dans 92 % des cas, ce qui est suffisamment proche pour que les chatbots s'évaluant mutuellement ne soient "pas préoccupants", a déclaré Farquhar.
Farquhar a déclaré que pour le lecteur moyen, identifier certaines erreurs d’IA est « assez difficile ». Il a souvent du mal à détecter de telles anomalies lorsqu'il utilise le LLM pour son travail, car les chatbots « vous disent souvent ce que vous voulez entendre, inventant des choses qui sont non seulement plausibles, mais qui seraient utiles si elles étaient vraies, ce que les chercheurs ont qualifié d'« adulation ». ", a-t-il déclaré dans un e-mail.
Les réponses peu fiables constituent un obstacle à l’adoption généralisée des chatbots IA, en particulier dans des domaines médicaux tels que la radiologie, où « ils pourraient présenter un risque pour la vie humaine », ont déclaré les chercheurs. Elles pourraient également donner lieu à de faux précédents juridiques ou à de fausses nouvelles.
Tout le monde n’est pas convaincu que l’utilisation de chatbots pour évaluer les réponses d’autres chatbots soit une bonne idée. Dans un article de News and Views paru dans Nature, Karin Verspoor, professeur de technologies informatiques à l'Université RMIT de Melbourne, en Australie, a déclaré qu'il y avait des risques à « combattre le feu par le feu ».
Le nombre d'erreurs produites par un LLM semble être réduit si un deuxième chatbot regroupe les réponses en groupes sémantiquement similaires, mais « l'utilisation d'un LLM pour évaluer une méthode basée sur le LLM semble circulaire et pourrait être biaisée », a écrit Verspoor.
"Les chercheurs devront se demander si cette approche contrôle réellement la production des LLM ou si elle alimente le feu par inadvertance en chevauchant plusieurs systèmes sujets aux hallucinations et aux erreurs imprévisibles ", a-t-il ajouté.
Farquhar y voit « plus comme la construction d’une maison en bois avec des poutres transversales en bois comme support ». "Il n'y a rien d'inhabituel à ce que des composants de renforcement se soutiennent mutuellement", a-t-il déclaré.
Nouveau