Une étude publiée dans la revue scientifique eLife a révélé que les modèles de langage qui alimentent des chatbots comme ChatGPT, Gemini ou Claude ne représentent pas le sens des phrases de la même manière que le cerveau humain, même lorsqu'ils parviennent à produire des textes fluides et cohérents.
L'analyse, signée par James Fodor et Carsten Murawski de l'Université de Melbourne, et Shinsuke Suzuki de l'Université Hitotsubashi au Japon, a utilisé une résonance magnétique fonctionnelle à 7 teslas, une technologie à plus haute résolution que celle habituellement utilisée dans les hôpitaux, pour observer l'activité cérébrale de 30 personnes pendant qu'elles lisaient 108 phrases conçues spécifiquement pour l'expérience.
Les chercheurs ont comparé cette activité cérébrale avec les représentations internes de huit modèles de langage basés sur l'architecture transformer, la même que celle utilisée par les principaux chatbots commerciaux.
L'objectif était de déterminer si ces systèmes combinent le sens des mots avec l'ordre dans lequel ils apparaissent, comme le fait le cerveau, ou s'ils ne traitent que le sens de chaque mot séparément.
Pour y parvenir, l'équipe a construit des phrases qui partagent presque les mêmes mots mais changent de sens selon leur ordre, comme inverser celui qui effectue une action et celui qui la reçoit. Cette technique permet d'isoler l'effet de la structure grammaticale du simple contenu lexical de chaque mot, quelque chose que les études précédentes avec des textes naturels n'avaient pas réussi à séparer clairement.
Les modèles de langage échouent sur les phrases avec rôles inversés
Les résultats ont montré que les huit modèles de langage ont surpassé un modèle de base qui ignore complètement l'ordre des mots. Cependant, leurs performances générales pour prédire l'activité cérébrale étaient faibles et nettement inférieures à celles d'un modèle conçu spécifiquement pour représenter explicitement les relations structurelles entre les mots, comme celui qui fait quoi à qui dans une phrase.
Le problème s'est concentré sur les phrases avec des rôles sémantiques inversés, comme une phrase où l'on échange celui qui mord et celui qui est mordu. Les huit modèles de langage ont eu tendance à qualifier ces phrases comme plus similaires entre elles que ne l'ont fait les participants humains.
Il convient de noter que cette même différence est apparue lors de la comparaison des modèles avec les schémas d'activité cérébrale, selon l'article.
Le modèle qui combine les informations lexicales avec une représentation explicite de la structure grammaticale, en revanche, a obtenu le meilleur ajustement avec les données cérébrales des participants. Les auteurs attribuent cette différence au fait que le cerveau semble accorder un poids central à la fonction qu'occupe chaque mot dans la phrase, et non seulement à son sens isolé.
Une découverte cohérente dans les huit systèmes testés
La consistencia del patrón entre los ocho modèles de langage analysés, de différentes tailles et architectures, a conduit les auteurs à écarter l'idée que le résultat soit dû aux limitations d'un système particulier.
« Les résultats remettent en question l'affirmation selon laquelle les transformateurs représentent le sens des phrases de manière similaire au cerveau humain », souligne l'article.
Carsten Murawski, l'un des auteurs de l'étude, a expliqué dans une publication professionnelle que, bien que les modèles de langage parviennent à imiter l'usage du langage humain, les résultats suggèrent qu'ils pourraient négliger des aspects centraux de la façon dont les personnes comprennent ce qu'elles lisent.
L'étude ne nie pas que ces systèmes puissent identifier la structure grammaticale d'une phrase lorsqu'on leur demande de le faire explicitement. Des recherches antérieures avaient déjà montré que les modèles de langage peuvent détecter des informations syntaxiques au sein de leurs couches internes.
La différence, selon les auteurs, est que cette information n'est pas intégrée spontanément avec le sens des mots pour construire une représentation unifiée de la phrase, comme c'est le cas dans le cerveau.
Qu'implique cela pour l'idée que l'IA « comprend » le langage
La revue eLife, qui soumet ses articles à évaluation par les pairs et publie également l'évaluation éditoriale du processus, a qualifié les résultats de l'étude de « précieux » et soutenus par une analyse « solide », selon l'évaluation publiée avec l'article.
Ce travail s'ajoute à un débat plus large en sciences cognitives sur le fait que la bonne performance des chatbots dans les tâches d'écriture et de conversation reflète une compréhension du langage similaire à celle des humains, ou si elle repose sur des motifs statistiques produisant des résultats convaincants sans représentation interne comparable à celle du cerveau.
Les auteurs eux-mêmes soulignent que l'étape suivante de leur recherche devra identifier avec plus de précision quels aspects du sens d'une phrase les modèles de langage parviennent à capturer et lesquels leur restent étrangers face au fonctionnement du cerveau humain.