Apple a introduit MGIE, une innovation d'intelligence artificielle gratuite qui permet de modifier les images à l'aide d'instructions écrites simples. Cette avancée a été réalisée grâce à un travail conjoint avec l'Université de Californie à Santa Barbara.
Comment fonctionne MGIE
Les chercheurs expliquent que parfois les instructions que les gens donnent sont très courtes et directes, ce qui les rend difficiles à comprendre par les systèmes actuels.
Cependant, les grands modèles de langage qui comprennent à la fois le texte et les images (MLLM) montrent un grand potentiel pour interpréter et répondre à ces instructions grâce à l'édition visuelle.
MGIE, la méthode développée, fonctionne de deux manières avec ces MLLM. Premièrement, il prend les instructions écrites par l'utilisateur et les traduit en commandes plus détaillées et spécifiques qui facilitent l'édition.
Par exemple, si quelqu’un souhaite rendre l’herbe d’une photo plus verte, MGIE pourrait comprendre cela comme « augmenter la saturation verte de la zone d’herbe de 20 % ». Cette commande claire est celle utilisée pour éditer l'image.
Puis, dans un deuxième temps, utilisez ces modèles avancés pour générer une idée visuelle précise de ce à quoi devrait ressembler le montage final.
Ce processus crée un guide pour ajuster l'image, en modifiant chaque pixel si nécessaire. Ainsi, MGIE peut apporter des modifications spécifiques à des instructions très courtes ou ambiguës sans nécessiter beaucoup d'informations supplémentaires et fournir des résultats qui satisfont la demande de l'utilisateur.
Selon les créateurs, ce système améliore considérablement la précision des modifications et la satisfaction des utilisateurs, tout en maintenant un processus rapide et efficace.
Comment tester MGIE
Le dernier modèle d'IA d'Apple, connu sous le nom de MGIE, a été partagé sur GitHub , permettant un accès public au code source, aux données utilisées pour entraîner l'algorithme, aux versions déjà entraînées et à un guide à utiliser dans différentes situations d'édition.
Cette étape permet à toute personne ou développeur intéressé d’explorer et d’expérimenter cette technologie.
Pour ceux qui souhaitent essayer MGIE sans entrer dans les détails techniques, une démo en ligne a été activée sur Hugging Face Spaces, un site spécialisé dans la proposition de tests d'outils d'intelligence artificielle.
Cela permet d'intégrer MGIE dans des applications existantes qui doivent éditer des images ou créer automatiquement du contenu visuel.
Cet engagement en faveur de l'intelligence artificielle marque une nouvelle ère dans la technologie grand public, où des outils comme MGIE stimulent non seulement l'innovation, mais promettent également de transformer la façon dont les utilisateurs interagissent avec leurs appareils.
Même si MGIE apparaît comme un projet de recherche et que son intégration directe dans les produits ou services Apple n'a pas encore été annoncée , ce lancement souligne l'intérêt de l'entreprise à renforcer sa position dans le domaine de l'intelligence artificielle.
Récemment, Apple a dévoilé MLX, un autre algorithme visant à simplifier la conception de modèles d'apprentissage automatique.
L'importance qu'Apple accorde à l'intelligence artificielle est claire dans les déclarations de Tim Cook, son PDG, qui a mentionné qu'ils développaient de nouvelles capacités d'IA générative qui devraient être introduites tout au long de l'année.
Les experts prédisent que ces innovations seront intégrées à iOS 18 , marquant une évolution significative pour Siri, l'assistant virtuel de l'entreprise.