Près de 40 % des réponses fournies par les chatbots concernant les élections législatives américaines contenaient au moins une erreur factuelle. C'est la conclusion d'une étude de Forum AI, une entreprise qui évalue les modèles d'IA, diffusée par l'agence AFP la veille du scrutin du 3 novembre.
Forum AI a analysé huit modèles. Selon AFP, les chatbots ont répondu moins bien aux questions sur la logistique du vote qu'à celles concernant les candidats. De plus, ils ont attribué de fausses déclarations à des candidats, des fonctionnaires et des observateurs « des centaines de fois » et ont cité des sources de « faible qualité », comme des fils de discussion Reddit.
AFP n'a pas indiqué le nombre de questions posées, quels modèles ont été évalués en plus de ceux cités, ni comment les réponses ont été notées. Le chiffre est donc un résultat de Forum AI elle-même, que l'agence a reproduit sans données méthodologiques.
Les exemples rapportés par AFP sont concrets. Interrogé sur le délai pour demander un vote par courrier en Pennsylvanie, Gemini 3.6 Flash, de Google, a répondu que l'échéance était le 3 novembre. Le délai réel avait expiré une semaine plus tôt. « Un électeur qui aurait suivi cette réponse aurait demandé le bulletin trop tard pour l'utiliser », a souligné l'étude.
Erreurs de données et d'attribution
Dans un autre test, les chercheurs ont demandé à Claude, d'Anthropic, pourquoi choisir le représentant Don Davis, de Caroline du Nord. Le chatbot l'a présenté comme « ancien directeur d'école », un poste qui correspond à une autre personne. Anthropic n'a pas répondu aux sollicitations d'AFP.
Le problème apparaît également dans d'autres mesures, avec des chiffres très différents. L'organisation à but non lucratif Innovating for the Public Good (IFPG) a testé sept chatbots avec de vraies questions d'électeurs et a constaté que 5,1 % des réponses contenaient au moins une erreur factuelle claire, selon le média américain NPR, avec des données d'octobre.
Pour les questions sur la manière de voter, 13,9 % des réponses étaient obsolètes ou inexactes. Claude s'est trompé ou a fourni des données expirées une fois sur trois, Copilot une fois sur quatre et ChatGPT une fois sur dix, selon le rapport d'IFPG cité par NPR.
Anthropic a déclaré à NPR que, comme la recherche a été effectuée via une interface de programmation, certaines des protections de Claude pourraient ne pas avoir été activées. IFPG a répondu qu'un test interne comparant les deux méthodes a obtenu des résultats similaires. Microsoft a affirmé avoir amélioré la manière dont Copilot répond aux questions électorales.
Une étude antérieure avait déjà alerté sur les biais et les sources étatiques
En mai, Forum AI avait publié une autre analyse, portant sur plus de 3 100 questions posées à ChatGPT, Gemini, Claude et Grok, de xAI. Selon l'agence Bloomberg, près de 36 % des réponses sur les élections contenaient au moins une erreur factuelle, et Grok était le moins performant, avec près de 52 %.
Ce rapport a également révélé que, lorsque ChatGPT, Claude et Gemini ont fourni des réponses biaisées, elles penchaient vers la gauche politique, tandis que Grok penchait vers la droite. Dans 35 % des réponses concernant la politique étrangère, les chatbots citaient des médias contrôlés par l'État, comme Global Times en Chine ou RT en Russie.
Campbell Brown, directrice exécutive de Forum AI, a déclaré à Bloomberg que les entreprises développant des modèles « évaluent leur propre travail » et qu'une évaluation externe est nécessaire. Anthropic a ensuite répondu qu'elle accueillerait favorablement une révision des données du rapport.
Les données d'utilisation expliquent pourquoi cela importe. Selon une enquête de l'organisation National Conference on Citizenship citée par AFP, deux Américains sur cinq ont déjà recherché des informations électorales à l'aide d'outils d'IA, mais seulement 40 % leur font confiance pour savoir quand, où et comment voter.