Un groupe de chercheurs de l'Institute for Intelligent Computing du groupe Alibaba a développé Animate Anybody , une technique qui permet de créer des vidéos à partir d'une seule image.
Fondamentalement, ce programme utilise la technologie de l'intelligence artificielle pour prendre une image (photographie, illustration, dessin, etc.) et la transformer en une vidéo avec un mouvement qui peut non seulement manipuler les articulations, mais qui permet également de donner des pas de danse de manière fluide et sans nécessité que l'un des éléments soit déformé ou modifié par l'utilisation de ce logiciel.
À cela s'ajoute que la qualité du produit généré a pour principal détail d'être très réaliste ou du moins d'avoir suffisamment de détails pour que le montage ne soit pas perceptible à l'œil nu.
À l'aide d'une image de référence, le modèle extrait des détails tels que les traits du visage, les motifs et les poses qui sont ensuite appliqués à une série d'images avec des poses légèrement différentes.
Bien que la technologie présente encore des problèmes , notamment au niveau des yeux et des mains, elle présente une grande amélioration par rapport aux versions précédentes et la perte de détails constatée dans les générations précédentes de modèles de ce type.
Animate Anybody a également la capacité d'identifier les caractéristiques clés d'une image, telles que le visage, les bras, les jambes, le torse, etc. leur attribuer un mouvement afin de ne pas générer de distorsions très visibles.
Bien que la technique et le développement de ce programme d’intelligence artificielle représentent une avancée importante, il reste encore des défis importants à surmonter, et les poses les mieux représentées sont celles les plus proches des images originales. Les inquiétudes concernant l'utilisation malveillante de cette technologie augmentent et des doutes sont émis quant aux conséquences que pourraient avoir un accès généralisé à cet outil .
Pour le moment, le code source n'a pas été publié, bien que les développeurs affirment travailler pour rendre à la fois la démo et le code accessibles au public afin que l'outil soit libre d'utilisation.
Création vidéo avec Stability AI
Après avoir officiellement lancé Stable Diffusion, 'Stability AI' , a annoncé l'ajout officiel de ' Stable Video Diffusion ', une application similaire mais qui sera dédiée à la création de vidéos en utilisant les mêmes modèles d'IA.
Contrairement à un générateur vidéo courant, qui crée un fichier MP4 basé uniquement sur une description de ce que souhaite l'utilisateur, Stable Video Diffusion promet de transformer une image statique en une vidéo fluide entre 3 et 30 images par seconde et une résolution de 576 x 1024 .
Logiquement, les descriptions des utilisateurs continueront d'avoir une grande importance puisque ces invites ou indications serviront de point de départ en contenant des informations sur ce que chaque utilisateur souhaite voir présenté à l'écran lors de la génération du contenu. De cette façon, il est prévu que les deux outils : Stable Diffusion et Stable Video Diffusion puissent fonctionner ensemble avec les mêmes images.
Selon l'entreprise, la génération de vidéos avec Stable Video Diffusion fonctionne d'autant mieux que la description de l'indication est détaillée. Pour le moment, l'accès au programme Stable Video Diffusion est limité à une petite sélection d'utilisateurs, mais il est possible de tester ses capacités en téléchargeant le modèle ou en s'inscrivant sur la liste d'attente.