Une étude de la Université du Kansas a tracé une carte visuelle de 20 000 mots en anglais et a découvert pourquoi la lecture labiale échoue avec des termes qui se ressemblent à la prononciation : le schéma des erreurs n'est pas aléatoire, mais dépend du nombre de “voisins” visuels que possède chaque mot et de leur proximité dans ce réseau, un résultat qui peut aider à mieux former les personnes et les systèmes d'intelligence artificielle, a rapporté le portail scientifique Phys.org.
La recherche a montré qu'à l'oral, près d'un tiers des mots en anglais se ressemblent visuellement au moins à un autre. Elle a également déterminé que plus un mot a de doubles visuels, plus il est difficile de le reconnaître uniquement par le mouvement des lèvres, de la mâchoire et de la bouche.
Ce travail, publié dans la revue Journal of the Acoustical Society of America, a été dirigé par Michael Vitevitch, professeur de parole, de langage et d'audition à l'Université du Kansas, avec ses co-auteurs, dans le but de comprendre pourquoi certains mots sont plus difficiles à lire sur les lèvres que d'autres.
Vitevitch a expliqué que la plupart des travaux antérieurs se concentraient sur la mesure de la précision des personnes en lecture labiale, mais moins sur l'étude de la nature des erreurs. “Il y a beaucoup à apprendre des erreurs que vous faites, et c'est l'approche que nous avons adoptée”, a-t-il déclaré.
Où et pourquoi les erreurs s'accumulent
L'équipe s'est éloignée de l'approche classique des spécialistes du langage parlé, qui analyse généralement les phonèmes, c'est-à-dire les sons d'une langue, et évalue à quel point la réponse était proche du mot correct en termes sonores. Au lieu de cela, ils se sont concentrés sur les caractéristiques visuelles de la prononciation.
Pour cela, ils ont utilisé le concept de “visèmes”, défini comme l'équivalent visuel d'un phonème. L'observation ne reposait pas sur le son, mais sur les informations pouvant être extraites des lèvres, de la mâchoire et de la bouche.
Vitevitch a résumé : “À quoi ressemble ce son quand il est prononcé ? Nous ne nous soucions pas de la façon dont il sonne ; nous nous soucions de son apparence lorsqu'il est prononcé”. Sur cette base, l'équipe a observé que certains mots peuvent sonner de manière similaire et avoir une apparence similaire, comme “kit”, “cat” et “cut”, tandis que d'autres ne sonnent pas pareil, mais présentent néanmoins une apparence visuelle semblable, comme “vet”, “fit” et “fuzz”.
La conséquence, a-t-il souligné, est qu'une personne qui regarde uniquement le visage de l'interlocuteur peut ne pas distinguer les uns des autres. La carte visuelle a permis de localiser les mots proches les uns des autres lorsque leur apparence à la prononciation était similaire, et plus éloignés lorsque ce trait n'était pas partagé.
L'analyse de ce réseau a conduit à une autre conclusion : les gens ont tendance à confondre un mot avec un autre d'usage plus fréquent. Elle a également montré que les erreurs sont plus probables lorsque des mots visuellement similaires occupent la même zone de la carte.
Ce que la carte révèle sur la performance humaine
Pour Vitevitch, l'un des résultats inattendus a été la faible performance générale des personnes dans cette tâche. “Une surprise a été que les gens ne sont pas si bons à cela. Nous pensons que nous le sommes, mais en réalité, non”, a-t-il affirmé.
Le chercheur a ajouté que la plupart des erreurs se situent à une ou deux caractéristiques visuelles de distance du mot correct. “Vous obtenez une grande partie des informations, mais peut-être pas suffisamment pour avancer”, a-t-il déclaré.
La carte a également permis d'observer que certaines régions de cette distribution visuelle apparaissent plus comprimées que prévu. Selon le professeur, cette compression et cet étirement, c'est-à-dire le regroupement inégal de mots dans la carte, ont des conséquences directes sur la précision de la lecture labiale, car elles peuvent multiplier les concurrents visuels, ou au contraire, mieux séparer certains mots des autres et les rendre plus distincts.
Applications pour les personnes et les systèmes de transcription
Le prochain pas du groupe est d'appliquer ces résultats à la formation. L'hypothèse de travail est que si l'on suit les erreurs d'une personne dans le temps, ces écarts devraient commencer à se rapprocher progressivement du mot correct. “Au lieu d'être loin, les personnes commencent à capter les informations dont elles ont besoin et à faire des conjectures plus précises”, a affirmé Vitevitch. Cette même logique pourrait être transférée à des systèmes automatiques de transcription.
Le chercheur a noté que des plateformes comme Zoom effectuent déjà une tâche en transcrivant la parole. La question, a-t-il ajouté, est de savoir si elles pourraient s'améliorer en combinant l'audio avec des informations visuelles du visage de l'orateur.
“Les ordinateurs sont très bons pour trouver des schémas, et parfois ce sont les mêmes schémas que ceux utilisés par les humains. Nous pourrions entraîner les ordinateurs à fonctionner d'une manière plus semblable à celle des humains”, a-t-il déclaré.
L'équipe continuera d'explorer cette voie avec des applications potentielles en apprentissage automatique et avec l'objectif d'aider des personnes qui ont besoin de soutien pour comprendre la parole.