Des chercheurs du Massachusetts Institute of Technology (MIT) ont développé DAAAM (acronyme de Describe Anything, Anywhere, Anytime, at Any Moment), un système de mémoire pour robots qui leur permet de se souvenir d'environnements complexes, de récupérer des informations en langage naturel et de répondre en temps réel à des questions telles que où se trouve un objet, une avancée qui cherche à rapprocher la façon dont les machines raisonnent sur l'espace et le temps de celle des humains, selon le portail spécialisé en science et technologie TechXplore.
Dans les tests comparatifs, DAAAM était entre 21 % et 53 % plus précis que d'autres méthodes. Le système accélère également le traitement au point de multiplier par dix la vitesse de calcul en décrivant plusieurs objets en parallèle à partir d'images sélectionnées.
Le travail a été présenté récemment à la Conference on Computer Vision and Pattern Recognition et publié sur le serveur de prépublications scientifiques arXiv. La recherche a été menée par Nicolas Gorlo, étudiant diplômé du MIT, avec Lukas Schmid, ancien chercheur scientifique au MIT et aujourd'hui professeur à l'Université de Technologie de Nuremberg en Allemagne, sous la direction de Luca Carlone.
Carlone, professeur associé au Département d'Aéronautique et d'Astronautique du MIT, chercheur principal du Laboratory for Information and Decision Systems et directeur du MIT SPARK Laboratory, a expliqué que l'objectif est que les robots partagent avec les humains une même logique de compréhension de l'environnement.
“Si nous voulons que les robots travaillent côte à côte avec les humains et interagissent mieux avec eux, ils doivent parler le même langage. Le robot doit être capable de raisonner sur le temps et l'espace de la même manière que les humains. C'est, en essence, ce que fait notre méthode. Elle convertit une carte traditionnelle en une carte basée sur le langage qui est plus facile pour le robot de penser et de consulter en utilisant le langage”, a-t-il expliqué.
Une carte qui décrit ce qu'elle voit
Le problème que cette recherche tente de résoudre apparaît clairement dans les scénarios industriels. Pour l'illustrer, le portail a décrit le cas d'une travailleuse d'une usine qui peut se souvenir dans quel conteneur elle a laissé la nuit précédente une pièce partiellement assemblée et revenir directement la chercher, mais un robot qui opère à ses côtés éprouve souvent des difficultés à construire et consulter ce même type de mémoire.
Le nouveau cadre combine deux domaines qui jusqu'à présent avançaient par des voies distinctes : la vision par ordinateur et le mappage robotique. Les modèles multimodaux de vision sont capables de comprendre et décrire des objets dans une scène, bien qu'ils aient tendance à traiter une annotation à la fois, tandis que les systèmes de mappage robotique génèrent des cartes tridimensionnelles d'espaces complets, comme un appartement ou un campus universitaire, mais manquent généralement de descriptions détaillées ou nécessitent trop de calcul.
À mesure que le robot parcourt un environnement, le système attache des descriptions détaillées aux objets qu'il détecte. Selon le portail, cela lui permet, par exemple, d'enregistrer qu'un bâtiment du campus du MIT est le Stata Center et qu'il a un certain type d'architecture, ou qu'il y a cinq vélos dans un parking à vélos et que le vélo rouge a une roue crevée. Cette information est stockée dans une représentation basée sur des cartes tridimensionnelles, organisée spatialement par régions, ce qui permet au robot de se souvenir que ce vélo rouge est à côté du Stata Center.
Le professeur a expliqué que l'intention est de concevoir "“un nouveau type de mémoire, une mémoire spatio-temporelle, qui permet à un robot propulsé par IA de se souvenir d'interactions réelles et d'observations de capteurs”. Et il a ajouté : "“Comme ChatGPT, mais ancré dans le monde réel et capable de répondre à n'importe quelle question sur l'environnement, comme 'Où ai-je laissé mon portefeuille ?’”.
Anoter rapidement pour agir en temps réel
Une des limites des techniques antérieures était leur lenteur. Les systèmes capables de capturer des descriptions détaillées nécessitent généralement quelques secondes pour annoter à peine quelques objets, un rythme insuffisant pour un robot qui peut trouver des centaines d'éléments en quelques minutes d'exploration.
Pour résoudre ce goulot d'étranglement, DAAAM regroupe des objets proches pendant que le robot avance et utilise une méthode d'optimisation pour choisir des images clés : des images avec la vue la plus claire de plusieurs objets. Cela permet de décrire plusieurs éléments à la fois et d'accélérer le traitement.
Gorlo a expliqué que le système annotait chaque objet une seule fois, ce qui rend possible son fonctionnement dans des environnements de grande échelle et en temps réel. “Nous annotons chaque objet une seule fois, donc notre cadre peut fonctionner dans des environnements très vastes en temps réel. Et en regroupant des objets par régions, il peut répondre à une large gamme de questions sur des objets et des emplacements dans l'environnement”.
Une fois cette mémoire spatiale construite, le défi devient la récupération efficace de l'information au sein d'une base de données très étendue d'objets et de descriptions. Pour cela, les chercheurs ont utilisé un modèle de langage de grande taille qui recourt à divers outils de recherche et de récupération de données, une stratégie conçue pour réduire les hallucinations.
Ce mécanisme permet au système de répondre à une question avec précision en seulement quelques secondes. Si une personne demande au robot une sculpture vue près d'un bâtiment du campus, DAAAM peut activer une recherche sémantique basée sur le mot "“sculpture”" ou utiliser un autre outil axé sur la localisation du bâtiment.
Le travail démontre qu'un système d'intelligence artificielle peut s'approcher de la mémoire d'où se trouve un objet, tant que cette mémoire est liée à des observations réelles, des cartes tridimensionnelles et du langage naturel. En pratique, cela pourrait permettre à une travailleuse de demander à un assistant robotique de chercher "“le composant que nous avons commencé à assembler hier soir”.
Usines, réalité augmentée et tâches quotidiennes
Outre son utilisation potentielle en robotique, la méthode pourrait s'appliquer à des systèmes de réalité augmentée pour aider les techniciens de maintenance dans la détection d'anomalies ou aider les voyageurs et les piétons à s'orienter, a détaillé le portail.
L'équipe souhaite également étendre DAAAM afin qu'il puisse enregistrer des événements pertinents survenant dans l'environnement et incorporer des niveaux de confiance dans ses réponses. L'étudiant a déclaré : “En fin de compte, nous voulons avoir des robots qui peuvent aider avec n'importe quel type de tâche. Avec ce cadre, nous essayons de créer les bases pour habiliter un agent généraliste capable de faire tout ce qu'on lui demande”.