Ce projet s'est fait connaître grâce à un rapport publié par la société sur arVix, où ont été donnés les premiers détails de ce système qui sera capable de comprendre et de naviguer dans les interfaces utilisateur des smartphones.
« Nous avons collecté des échantillons provenant d’un large éventail de tâches élémentaires de l’interface utilisateur. Les échantillons sont formatés pour suivre les instructions avec des annotations de région pour une référence et des connexions faciles. Nous compilons en outre un ensemble de données pour les tâches avancées. En termes simples, ce nouveau système d'Apple surpasserait ChatGPT et d'autres moteurs basés sur l'interface utilisateur existants », a publié la société dans le document.
Apprendre à connaître l'interface utilisateur de Ferret en détail
Le développement de Ferret UI surgit en réponse aux défis actuels du marché de l'IA, notamment lorsqu'il s'agit de comprendre et de naviguer dans les interfaces utilisateur des appareils mobiles.
Selon un article de recherche publié par Apple, ce modèle d'intelligence artificielle basé sur un grand langage a été conçu dans le but d'offrir un meilleur support des écrans d'applications. Surmonter les limites des modèles de langage conventionnels en termes de petite reconnaissance d'image et de variations de format d'image sur les appareils mobiles.
Ferret UI se concentre sur la compréhension des interfaces complexes et dynamiques comme celles des smartphones. Contrairement aux modèles d'IA traditionnels, ce système va au-delà de la vision par ordinateur conventionnelle, vous permettant de classer les widgets, de reconnaître les icônes et de répondre aux questions sur l'emplacement des éléments sur l'écran et sur la manière d'interagir avec eux.
Cette polyvalence représente une avancée décisive dans ce domaine, car elle étend non seulement les cas d'utilisation de modèles linguistiques dotés de capacités multimodales, mais améliore également l'expérience utilisateur sur les appareils mobiles.
La manière dont ce système pourrait impacter l’utilisation quotidienne des téléphones portables est principalement l’optimisation de l’expérience utilisateur grâce à l’intelligence artificielle.
Ferret UI pourrait devenir un assistant essentiel dans la création d'applications, permettant aux développeurs d'évaluer la convivialité et la compréhensibilité de leurs produits. De plus, ce modèle d'IA a le potentiel d'améliorer Siri, l'assistant virtuel d'Apple, en portant ses capacités à de nouveaux niveaux d'intelligence et de fonctionnalités.
Un nouveau Siri grâce à l'IA
L'un des points forts du développement de l'interface utilisateur de Ferret est son impact potentiel sur Siri. Avec cette nouvelle technologie, l'assistant pourrait acquérir des compétences avancées, comme la capacité d'effectuer des réservations et des achats, ainsi qu'expliquer le fonctionnement d'applications inconnues des utilisateurs.
Elle ne se limiterait plus à la recherche de réponses sur Internet, mais pourrait prendre des mesures intelligentes basées sur une compréhension approfondie de l'interface utilisateur des appareils mobiles.
Le développement de Ferret UI n’est que le début d’une nouvelle ère d’intelligence artificielle pour Apple. Cette technologie devrait être intégrée dans les futures mises à jour du système d'exploitation iOS, marquant une étape importante dans l'évolution des appareils mobiles de la marque.