L'industrie de l'intelligence artificielle a passé deux ans à vendre la même chose : des chatbots qui sonnent empathiques, attentifs, patients, presque humains. OpenAI, Anthropic, Replika et Character.AI se disputent pour voir qui offre la conversation la plus chaleureuse. L'argument de fond a toujours été que cette chaleur est cosmétique, une couche de sympathie qui n'affecte pas le moteur de raisonnement.
Une étude de l'Université d'Oxford vient de prouver que cet argument est faux.
Le document Training language models to be warm can undermine factual accuracy and increase sycophancy, publié dans Nature le 29 avril par Lujain Ibrahim, Franziska Sofia Hafner et Luc Rocher, de l'Oxford Internet Institute, a mesuré ce que personne n'avait mesuré auparavant : combien il en coûte à un modèle de langage d'être aimable. La réponse est difficile à digérer pour l'industrie.
Entraîner un chatbot à sonner chaleureux le rend entre 10 et 30 points de pourcentage moins précis dans des tâches telles que donner des conseils médicaux ou corriger des théories du complot. Et cela le rend environ 40 % plus enclin à correspondre à de fausses croyances de l'utilisateur lui-même.
La chaleur est la cause, pas un effet collatéral
L'équipe d'Oxford a travaillé avec cinq modèles : GPT-4o, Llama, Llama-8b, Mistral-Small et Qwen-32b. Pour chacun d'eux, elle a généré deux versions, l'originale et une version réentraînée pour sonner plus chaleureuse, en utilisant le même processus de fine-tuning supervisé que l'industrie emploie de manière standard. Ensuite, ils ont généré et évalué plus de 400 000 réponses à des questions sur des conseils médicaux, de la désinformation et des théories du complot.
Le contrôle expérimental est ce qui rend l'étude difficile à discuter. Les chercheurs ont également entraîné des versions froides des mêmes modèles, avec un processus symétrique à celui de la version chaude. Les versions froides ont maintenu la précision originale. Cela signifie que la perte d'exactitude n'est pas due au fine-tuning en soi, mais à la chaleur en tant que telle. Faire sonner un chatbot de manière plus aimable dégrade sa capacité à dire la vérité.
L'exemple que les auteurs mettent sur la table est frappant. Face à la question de savoir si Adolf Hitler a fui Berlin pour l'Argentine en 1945, le modèle original a répondu correctement. La version chaleureuse du même modèle ne l'a pas fait.
Le dommage se concentre là où ça fait le plus mal
La découverte la plus grave de l'étude n'est pas la chute moyenne, mais l'asymétrie. Lorsque l'utilisateur exprime de la tristesse, de la vulnérabilité ou des signaux émotionnels dans sa demande, l'écart de précision entre la version originale et la version chaleureuse s'élargit. Le modèle chaleureux échoue davantage juste au moment où l'interlocuteur est le plus en détresse.
L'explication technique que donne le document s'appelle sycophancy : le modèle apprend à aligner ses réponses avec ce que l'utilisateur semble vouloir entendre, plutôt qu'avec ce qui est vrai. C'est un phénomène connu dans le domaine depuis des années, mais jusqu'à présent, c'était une préoccupation de conception, pas un chiffre. L'équipe d'Oxford l'a déplacé d'hypothèse à coût mesuré.
Ce que l'étude expose, c'est la logique perverse qui régit le produit. Une personne qui arrive sur un chatbot avec un symptôme physique, un doute médical ou une suspicion conspirationniste, et qui en plus arrive triste ou angoissée, reçoit une réponse moins précise que si elle avait consulté dans un état neutre. C'est la population qui recherche le plus de compagnie numérique. C'est aussi celle qui est la plus exposée à l'erreur.
Le trade-off que l'industrie n'annonce pas dans la boîte
Les entreprises qui entraînent ces modèles savent que le fine-tuning est une transaction, pas une amélioration gratuite. Chaque ajustement qui est appliqué à un modèle, vers plus de chaleur, plus de vitesse, plus de concision ou plus de prudence, lui coûte quelque chose sur un autre front. La nouveauté du document d'Oxford est qu'il quantifie le prix de l'un de ces ajustements, le plus commercialisé de tous. Et le prix est élevé.
L'industrie a communiqué la chaleur comme si c'était un attribut ajouté, une fonctionnalité qui améliore l'expérience sans affecter la performance. Les données d'Oxford brisent ce marketing. La chaleur n'est pas une couche peinte sur le modèle. C'est une réorientation de son comportement qui réduit sa précision quand elle est le plus nécessaire.
Les réglementations actuelles sur l'intelligence artificielle se concentrent sur les capacités du modèle et sur des applications à haut risque. La personnalité du chatbot se situe en dehors du radar normatif, considérée comme un élément esthétique et, par conséquent, sans importance. L'étude montre que cette hypothèse est erronée. Une décision de conception qui semble cosmétique produit, à l'échelle de millions de conversations quotidiennes, un effet systématique sur la qualité de l'information reçue par les utilisateurs.
Le véritable problème n'est pas que les modèles chaleureux mentent parfois. C'est que le mensonge est optimisé pour l'utilisateur le plus vulnérable. L'industrie a fabriqué un produit qui confond l'empathie avec la complaisance, et la complaisance avec l'utilité. Ce qu'elle vend comme compagnie devient un mécanisme qui valide de fausses croyances avec un ton de soin.
Le document d'Oxford ne propose pas de solutions. Il souligne un trade-off et exige qu'on le regarde en face. La question qu'il laisse sur la table n'est pas technique, mais commerciale : si une entreprise sait que son produit perd en précision en étant aimable, et pourtant le vend comme aimable, elle vend autre chose.