Le projet profite d'un robot déjà créé il y a quelque temps et combine des éléments d'intelligence artificielle avec des tâches d'apprentissage automatique pour présenter une solution qui permet aux utilisateurs d'avoir un assistant à la maison, de maintenir l'ordre dans leurs chambres pendant qu'ils effectuent d'autres tâches ou travaillent. .
Comment fonctionne l'étirement
Pour développer ce système, des chercheurs de l'Université de New York et de Meta ont testé son efficacité sur un robot disponible dans le commerce appelé Stretch, fabriqué par Hello Robot. Cet appareil se compose d'une unité à roulettes, d'une barre verticale et d'un bras rétractable, ce qui le rend idéal pour déplacer des objets dans un environnement domestique.
Le processus commence par l'analyse de l'environnement de la pièce à l'aide de l'application Record 3D sur un iPhone, qui utilise le système LiDAR du téléphone pour capturer une vidéo 3D de l'espace. Le système OK-Robot exécute ensuite un modèle de détection d'objets IA open source sur les images vidéo, identifiant les objets et les emplacements dans la pièce.
Une fois que le robot dispose de ces informations, l’ordinateur lui indique quel objet ramasser et où le placer. Le bras en pince remplit alors la tâche, avec un taux de réussite global de 58,5 %, qui monte à 82 % dans les pièces moins encombrées.
Bien que ce taux de réussite puisse être élevé pour des recherches de ce type, il existe encore des limites, telles que l'incapacité du robot à effectuer des tâches plus complexes au-delà de ramasser et de laisser tomber des objets, comme plier des vêtements ou les suspendre pour les ranger.
« Le côté positif est que vous n'avez pas besoin de fournir au robot des données d'entraînement supplémentaires sur l'environnement, cela fonctionne tout simplement. Par contre, vous pouvez uniquement récupérer un article et le déposer ailleurs. "Vous ne pouvez pas lui demander d'ouvrir un tiroir, car il ne sait faire que ces deux choses ", a déclaré Lerrel Pinto, professeur adjoint d'informatique à l'Université de New York et co-directeur du projet, au MIT Technology Review.
Mahi Shafiullah, doctorant à l'Université de New York et co-responsable de la recherche, a quant à lui souligné le potentiel de combiner OK-Robot avec des modèles de reconnaissance vocale pour permettre des instructions verbales au robot. Quelque chose qui faciliterait davantage le développement de ces appareils pour les environnements domestiques, ce qui a été un défi continu pour les experts dans le domaine.
« Il existe un sentiment largement répandu dans la communauté robotique selon lequel les maisons sont difficiles, les robots sont difficiles et que combiner maisons et robots est tout simplement impossible. Je pense qu'une fois que les gens commenceront à croire que les robots domestiques sont possibles, de nombreux travaux supplémentaires vont commencer dans ce domaine », a déclaré Shafiullah.
La recherche démontre comment l’essor récent de l’IA peut résoudre différents problèmes qui n’avaient pas de solution proche il y a quelques années, en raison de l’absence de capacités technologiques pour entraîner les robots et rapprocher leur interaction des utilisateurs.