Avant de l'utiliser sur trois patients, le neurologue Alexander Huth s'est allongé dans un appareil d'IRM dans le bâtiment de recherche en neurosciences de l'Université d'Austin au Texas, où il travaillait. Il s'est couvert d'une couverture pour se protéger du froid de l'aimant de la machine et d'écouteurs insonorisés pour couvrir son bourdonnement. Cependant, le son dans les écouteurs était fort et clair : c'était un podcast du New York Times et des monologues d'une émission anglo-saxonne populaire pendant que son cerveau était scanné.
À l'aide d'un programme basé sur l'intelligence artificielle (IA) et en particulier le programme GPT-1, un ordinateur a pu décoder et décrire l'essentiel des histoires que lui et les trois premiers participants à l'expérience de preuve de concept ont entendues, simplement en regardant à leurs IRM fonctionnelles. Selon leurs résultats, publiés dans la revue scientifique Nature Neuroscience , ce décodeur dit "sémantique" était aussi capable de verbaliser ce qu'ils pensaient et observaient en regardant des films muets.
L'écoute de ces lignes a stimulé l'activité cérébrale, les neurones s'activant et consommant l'oxygène de son sang. Alors que le sang désoxygéné refluait vers ses poumons et son cœur, l'aimant captait son signal, décodant quelles parties de son cerveau traitaient ce qu'elle avait entendu. Les chercheurs ont développé la première méthode non invasive pour déterminer l' essence de la parole imaginée, présentant un débouché potentiel de communication pour les personnes qui ne peuvent pas parler .
Les experts ont utilisé le programme GPT-1. Ce modèle de langage, développé par le laboratoire d'intelligence artificielle OpenAI, utilise l'apprentissage en profondeur pour générer du texte. En esta investigación, lo entrenaron con las imágenes fMRI del cerebro de tres personas a las que hicieron oír 16 horas de audios de un podcast del New York Times y del programa The Moth Radio Hour , logrando hacer corresponder lo que veían con su representación en la Tête. L'idée est que, lorsqu'ils entendent à nouveau un autre texte, le système peut l'anticiper en se basant sur les schémas de ce qu'il a déjà appris.
« Nous avons été un peu surpris que cela fonctionne aussi bien. Je travaille là-dessus depuis 15 ans, donc c'était choquant et excitant quand ça a finalement fonctionné", a expliqué Huth, le neuroscientifique qui a dirigé les travaux à l'Université du Texas à Austin. "C'est le GPT d'origine, pas comme le nouveau [ChatGPT est pris en charge par la dernière version de GPT, version 4]. Nous avons collecté une tonne de données, puis construit ce modèle, qui prédit les réponses du cerveau aux histoires."
Le décodeur pourrait reconstruire la parole avec une précision étonnante tandis que les gens écoutaient une histoire, ou même en imaginaient une en silence, en utilisant uniquement des données d'analyse IRMf. Les systèmes de décodage du langage antérieurs nécessitaient des implants chirurgicaux pour placer un réseau d'électrodes directement dans le cerveau. Mais cette dernière avancée soulève la possibilité de nouvelles façons de restaurer la parole chez les patients qui ont du mal à communiquer en raison d'un accident vasculaire cérébral ou d'une maladie des motoneurones.
Une nouvelle ère
L'avènement de grands modèles de langage, du type d' IA qui sous-tend le ChatGPT d'OpenAI, a fourni une nouvelle façon de "faire parler les gens qui ne peuvent pas". Ces modèles peuvent représenter, en chiffres, la signification sémantique de la parole, permettant aux scientifiques d'observer quels modèles d'activité neuronale correspondaient à des chaînes de mots ayant une signification particulière plutôt que d'essayer de lire l'activité mot pour mot.
Ce décodeur a reçu le nom sémantique. Les interfaces précédentes enregistraient l'activité cérébrale dans les zones motrices qui contrôlent la base mécanique de la parole, c'est-à-dire les mouvements de la bouche, du larynx ou de la langue. "Ce qu'ils peuvent décoder, c'est la façon dont la personne essaie de bouger la bouche pour dire quelque chose. Notre système fonctionne à un niveau très différent. Au lieu de regarder le domaine moteur de bas niveau, il travaille au niveau des idées, de la sémantique, du sens. C'est pourquoi il n'enregistre pas les mots exacts que quelqu'un a entendus ou prononcés, mais plutôt leur signification", a expliqué Huth. Pour cela, bien que les résonances enregistraient l'activité de diverses aires cérébrales, elles se concentraient davantage sur celles liées à l'ouïe et au langage. La poursuite des tests s'est poursuivie chez une dizaine de patients, toujours avec de bons résultats.
L' apprentissage a été intensif : il fallait au départ que trois volontaires sont restés dans un scanner pendant 16 heures chacun, écoutant des podcasts. Le décodeur a été formé pour faire correspondre l'activité cérébrale à la signification à l'aide d'un grand modèle de langage, GPT-1, un précurseur de ChatGPT. Plus tard, les mêmes participants ont été scannés en écoutant une nouvelle histoire ou en imaginant raconter une histoire et le décodeur a été utilisé pour générer du texte à partir de l'activité cérébrale seule . Environ la moitié du temps, le texte correspondait étroitement, et parfois précisément, au sens voulu des mots originaux.
Le décodeur créé par Huth ne demande jamais directement ce qu'une personne pensait. Au lieu de cela, il utilise un motif "encode" dans une boucle pour créer l'effet "decode". Les chercheurs ont utilisé GPT-1 pour générer des suppositions possibles sur les phrases entendues par la personne. Ensuite, en utilisant le modèle de "transfert" ou de "codage" qui prédit l'activité cérébrale en fonction d'une phrase, ils ont modélisé l'activité cérébrale que cette phrase pourrait évoquer. En comparant le scan prévu au scan réel, ils ont classé les phrases devinées du meilleur au pire, en ajoutant plus de mots à la phrase.
"Notre système fonctionne au niveau des idées, de la sémantique, du sens", a déclaré Huth. "C'est la raison pour laquelle ce que nous retirons n'est pas les mots exacts, c'est l'essence." Par exemple, lorsqu'on a donné à un participant les mots : « 'Je ne savais pas si je devais crier, pleurer ou m'enfuir. Au lieu de cela, elle a dit : Laisse-moi tranquille !' » ont été décodées comme « 'J'ai commencé à crier et à pleurer, puis elle (la machine) a juste dit : 'Je t'ai dit de me laisser tranquille.' » Les participants ont également été invités à regarder quatre courtes vidéos silencieuses dans le scanner, et le décodeur a pu utiliser leur activité cérébrale pour décrire avec précision une partie du contenu.
" Pour une méthode non invasive, il s'agit d'une véritable percée par rapport à ce qui a été fait auparavant , qui consiste généralement en des mots simples ou des phrases courtes", a déclaré Huth. Parfois, le décodeur se trompait et avait des problèmes avec certains aspects de la langue, y compris les pronoms. "Il ne sait pas si c'est à la première personne ou à la troisième personne, homme ou femme", a déclaré Huth.
Le professeur Tim Behrens , un neuroscientifique informatique de l'Université d'Oxford qui n'était pas impliqué dans le travail, l'a décrit comme "techniquement extrêmement impressionnant " et a déclaré qu'il ouvrait une multitude de possibilités expérimentales, notamment lire les pensées de quelqu'un qui rêve ou enquêter sur de nouvelles idées. ils proviennent de l'activité cérébrale de fond. « Ces modèles génératifs vous permettent de voir ce qu'il y a dans le cerveau à un nouveau niveau. Cela signifie que vous pouvez vraiment lire quelque chose de profond à partir de l'IRMf", a-t-il ajouté.
"C'est vraiment cool, car les entrées GPT contiennent la sémantique de la parole, pas les propriétés articulatoires ou acoustiques, comme c'était le cas dans des programmes antérieurs comme ICB. Ils montrent que le modèle entraîné sur ce qui est entendu peut décoder la sémantique des films muets et aussi de la parole imaginée. Ce scientifique est "absolument convaincu que les informations sémantiques seront utilisées dans les interfaces cerveau-machine pour la parole à l'avenir", a déclaré le neuroscientifique Christian Herff , qui dirige des recherches sur les interfaces cerveau-machine à l'université de Maastricht aux Pays-Bas, qui n'était pas impliqué. dans l'étude.
Anticipant ces peurs, les auteurs des expériences ont voulu voir s'ils pouvaient utiliser leur système pour lire dans l'esprit d'autres sujets. Heureusement, ils ont constaté que le modèle formé avec une personne n'était pas capable de déchiffrer ce qu'une autre personne entendait ou voyait . Pour être sûr, ils ont effectué une dernière série de tests. Cette fois, ils ont demandé aux participants de compter par sept, de penser et de nommer des animaux ou d'inventer une histoire dans leur tête tout en écoutant les histoires. Ici, l'interface basée sur GPT, avec toute la technologie qui entre dans une machine IRM et toutes les données traitées par l'IA, a progressivement échoué .
Deux éléments clés ont rendu possible le nouveau brouilleur de cerveau : la mine de données collectées sur quelques participants, au lieu des quelques heures habituelles de données sur de nombreux participants, et l'avènement des modèles de langage.
Continuer à lire: