Une analyse sur 22 modèles de langage de grande échelle (LLM) a identifié que les systèmes d'intelligence artificielle utilisés pour recommander des spécialistes tendent à favoriser des profils déjà visibles et peuvent laisser de côté des chercheurs, avec un effet sur les opportunités professionnelles lorsqu'on les consulte pour choisir des conférenciers, des superviseurs ou des experts.
Le travail a également montré que les améliorations appliquées pour corriger ces biais augmentent la précision ou la représentation sociale, mais pas les deux en même temps.
Un des résultats les plus clairs est apparu dans la mesure de l'exactitude factuelle : entre 63 % et 82 % des recommandations correspondaient à des scientifiques réels présents dans la base de référence. En diversité, les résultats oscillent entre 44 % et 69 %, tandis qu'en parité — qui mesure si la proportion d'académiciens recommandés reflète leur poids réel dans le domaine, par exemple, entre hommes et femmes — elle se situe entre 54 % et 60 %.
Dans l'étude, il a été interrogé qui une intelligence artificielle considère comme expert. La réponse est que les modèles reproduisent des inégalités préexistantes et peuvent les intensifier en recommandant plus fréquemment des hommes, des académiciens consolidés des États-Unis et des auteurs très cités.
Les modèles reconnaissent des noms, mais échouent dans les spécialités
Dans une première recherche, l'équipe a examiné six modèles de poids ouverts — dont le code et les paramètres sont accessibles au public — pour mesurer la cohérence, la précision et le biais social dans les tâches de recommandation au sein de la physique. Pour cela, elle a utilisé comme référence une base de plus de 450 000 scientifiques ayant publié dans des revues de la American Physical Society entre 1893 et 2020.
Lorsqu'on a demandé aux modèles d'identifier des académiciens dans des sous-domaines spécifiques de la physique, la majorité a cité des scientifiques réels, mais a mal assigné leur domaine dans 40 % des cas, en moyenne. Il a également été observé que les systèmes priorisaient des experts masculins, d'une plus grande ancienneté, basés aux États-Unis et largement cités.
La chercheuse a décrit une conséquence concrète dans le domaine académique : “Un organisateur de conférences peut utiliser des LLM pour trouver d'éventuels conférenciers principaux. Si votre nom n'apparaît jamais, vous êtes invisible et vous perdrez des opportunités”. Cette omission, selon l'étude, n'est pas marginale lorsque la recommandation automatique commence à remplacer les recherches humaines.
Les femmes ont été historiquement sous-représentées en physique, mais représentent tout de même entre 14 % et 32 % des chercheurs dans le registre scientifique, selon le sous-domaine et l'époque. “Cependant, la majorité des LLM a recommandé encore moins de femmes que cette base déjà basse, et dans certains cas aucune”, a souligné Espín-Noboa.
Le schéma s'est répété en matière d'ethnicité. Bien que les académiciens asiatiques soient le groupe démographique le plus nombreux dans la base de la American Physical Society (APS), dans la plupart des cas, les modèles ont sur-représenté des chercheurs blancs, tandis que des scientifiques noirs et latinos apparaissaient souvent pas.
Les noms suggérés, de plus, se concentraient de manière écrasante parmi les chercheurs ayant le plus de publications et de citations, bien au-dessus du physicien typique du domaine. Dans les modèles plus petits, une tendance est également apparue à regrouper les recommandations au sein des mêmes pays, ce qui a encore réduit la diversité géographique.
Espín-Noboa a précisé : “Dans l'ensemble, ces schémas montrent que les LLM non seulement reflètent des inégalités existantes : ils peuvent les amplifier, renforçant une dynamique où ceux qui sont déjà visibles deviennent plus visibles et ceux qui sont déjà marginalisés restent invisibles.”
Le banc d'essai n'a trouvé aucune amélioration totale
Après ce premier travail, l'équipe a développé LLMScholarBench, un banc d'évaluation avec neuf métriques pour mesurer la qualité technique et la représentation sociale dans les recommandations générées par IA. L'outil a été appliqué à 22 modèles, dont 20 étaient de poids ouverts et deux propriétaires — d'accès fermé et développement privé.
Les neuf métriques englobent la factualité, la diversité, la validité, les doublons, la cohérence, le rejet, la connectivité, la similarité et la parité. Le système permet de comparer des familles de modèles comme Gemini, GPT, Llama, Qwen, DeepSeek, Grok, Mistral et Gemma, et d'examiner leur performance selon chaque critère.
Parmi les résultats, les modèles de DeepSeek et Gemini se sont classés parmi les mieux positionnés en exactitude factuelle. En diversité, les modèles de DeepSeek ont été en tête, tandis qu'en parité, ceux de Gemma ont dominé.
L'équipe a testé quatre interventions contrôlées par l'utilisateur. Parmi elles, la génération augmentée par récupération, connue sous le nom de RAG, consiste à indiquer au modèle de chercher des informations sur le web plutôt que de répondre uniquement avec des données de formation, et des ajustements d'instructions, des indications explicites pour guider le chatbot vers des réponses plus équilibrées sur le plan social, connues sous le nom de ingénierie de prompts.
“Le RAG améliore la qualité technique, en particulier l'exactitude factuelle, et l'ingénierie de prompts oriente la représentation sociale comme demandé. Mais même en combinant les deux, le compromis persiste : améliorer toutes les métriques en même temps reste difficile”, a affirmé Espín-Noboa.
La chercheuse a ajouté que, en diversité et en parité, “il y a clairement une marge de progrès.” Cette limitation est restée même en évaluant des modèles propriétaires plus récents comme Gemini 2.5 Pro et Flash avec recherche web intégrée : l'exactitude a augmenté, mais la diversité et la parité ont diminué.
La localisation influence les recommandations de l'IA
Dans une troisième étude, les chercheurs ont analysé si le langue, la localisation géographique et le rôle décrit dans l'instruction influencent les recommandations faites par un LLM dans six disciplines académiques, y compris la physique. Les rôles simulés incluaient, par exemple, un étudiant à la recherche d'un superviseur ou un recruteur à la recherche d'un professeur.
Le résultat a été que la localisation géographique a bien modifié les recommandations, tandis que la langue et le rôle n'ont pas produit de changements significatifs. Les questions posées dans différentes langues ont donné des résultats similaires, mais le cadre géographique a modifié à qui le système proposait.
“Cela importe parce que le cadre géographique peut influencer l'exactitude et la qualité des recommandations, bien que cela ne devrait pas être un facteur pour évaluer l'expertise scientifique”, a soutenu Espín-Noboa.
En collaboration avec le spécialiste en visualisation de données Yi Zhe Ang, le groupe a également publié l'outil interactif Whose name comes up, qui permet d'explorer avec quelle fréquence chaque physicien a été recommandé dans différentes exécutions et de revoir la performance individuelle de chaque chatbot sur chaque métrique d'évaluation.
Pour la chercheuse, la contribution principale n'est pas une photo fixe de modèles spécifiques, dont certains ont déjà été mis à jour, mais la création d'une méthode ouverte d'audit. Selon elle, les résultats montrent de manière cohérente que les biais détectés sont structurels et non exclusifs à un modèle particulier.
Le groupe soutient que former avec plus de données ou avec des données plus récentes ne résoudra pas le problème si l'information de base ne devient pas plus représentative. C'est pourquoi il cherche à construire une base de connaissance académique large qui reflète mieux la diversité complète de ceux qui contribuent à la science.
Espín-Noboa a averti que l'ampleur du problème va au-delà des universités : “Les gens utilisent déjà des LLM pour trouver des médecins, des avocats et des professionnels dans tous les domaines.”