Une étude récente réalisée par des chercheurs liés aux universités de Cornell et UCLA a révélé que plus de 146 900 citations générées par intelligence artificielle, mais inexistantes, ont infiltré des articles scientifiques stockés dans quatre des principales bases de données de recherche.
Cette découverte alerte la communauté académique sur le risque de se fier aux chatbots pour élaborer des références bibliographiques, car la propagation d'informations fausses peut saper la crédibilité de la littérature scientifique.
Les modèles de langage comme ChatGPT ont démontré leur capacité à générer des textes plausibles, mais présentent également une limitation : la tendance à créer des informations incorrectes qui semblent véridiques, un phénomène connu sous le nom de “hallucination”.
Lorsque qu'un chercheur utilise un chatbot pour rédiger des citations sans les vérifier, il y a un risque que les références soient inventées. La présence de ces fausses citations dans les études scientifiques menace la confiance dans la recherche et peut avoir des conséquences dans des domaines tels que la technologie, la médecine et l'ingénierie.
Le phénomène des hallucinations dans l'IA
L'équipe de recherche a analysé 111 millions de références extraites de 2,5 millions d'articles pour détecter des citations dont les titres ne correspondaient à aucune publication existante. Bien que dans certains cas il s'agisse d'erreurs d'orthographe, les scientifiques ont identifié de nombreuses hallucinations.
Pour écarter d'autres facteurs, l'étude a également examiné la fréquence des citations inexistantes dans des travaux publiés avant 2023, lorsque les chatbots n'étaient pas encore largement utilisés.
Les résultats montrent une augmentation de l'apparition de références non vérifiées après l'adoption généralisée de modèles de langage de grande échelle (LLM). L'équipe a observé que les fausses citations n'étaient pas concentrées dans quelques articles, mais étaient réparties sur de nombreux travaux, ce qui suggère que de nombreux chercheurs ont eu recours à l'IA pour générer des références sans les corroborer.
Analyse massive révèle l'étendue du problème
Usha Haley, professeur à la Université d'État de Wichita, a expliqué à CNET que la prolifération de fausses citations représente un avertissement pour la communauté scientifique. “Les fausses citations ou celles générées par IA minent la confiance dans le registre académique qui constitue la base de la révision par les pairs et du savoir cumulatif”, a-t-elle affirmé.
Haley a averti que le scepticisme sur la qualité de la recherche émerge même au sein de l'académie et entre de jeunes chercheurs.
Les bases de données dans lesquelles les fausses citations ont été détectées —arXiv, bioRxiv, SSRN et PubMed Central— sont des plateformes centrales pour la diffusion de travaux scientifiques. Avant leur publication formelle dans des revues, les auteurs téléchargent souvent leurs articles sur ces dépôts pour accroître leur visibilité et faciliter l'accès de la communauté scientifique internationale.
Avertissements de la communauté académique
Face à l'ampleur du problème, arXiv a annoncé qu'il interdire aux auteurs de soumettre des travaux comportant des citations hallucinées ou tout contenu généré par IA qui n'aurait pas été soigneusement vérifié.
Steinn Sigurdsson, directeur scientifique de arXiv, a souligné le risque que le corpus scientifique soit contaminé par des informations incorrectes ou sans rapport : “Beaucoup de ce qui est généré par l'IA est erroné ou absurde, c'est juste du bruit. Cela complique l'identification des véritables avancées et peut détourner les chercheurs”.
La communauté scientifique fait face au défi de maintenir l'intégrité et la confiance dans la production académique dans un contexte où l'intelligence artificielle est de plus en plus utilisée. Les experts insistent sur la nécessité de vérifier chaque référence avant de l'incorporer à un article et de mettre en œuvre des mécanismes de contrôle plus stricts sur les plateformes de publication et les dépôts scientifiques.