Un nouveau modèle d'intelligence artificielle a pour fonction de générer des images basées sur du texte, des descriptions ou des invites en quelques secondes. « Stable Diffusion XL Turbo (SDXL Turbo) » crée si rapidement qu'il le fait pendant que l'utilisateur écrit les instructions.
Selon le développeur, cette amélioration dans la manière de créer des images se concentre sur une technologie appelée « Adversarial Diffusion Distillation (ADD) » , qui produit ce type de contenu en une seule étape au lieu des 20 à 50 étapes requises dans sa précédente. modèle et cela faisait que chaque image prenait plusieurs secondes à traiter.
Bien que les images générées n'aient pas les mêmes détails que celles produites en un plus grand nombre d'étapes par le modèle précédent, l'amélioration de la vitesse est significative, offrant des résultats visuellement impressionnants. Lors des tests, SDXL Turbo a réussi à générer une image 1024×1024 en 4 secondes environ.
Bien que les images générées par SDXL Turbo ne soient pas aussi détaillées que celles produites par le modèle précédent et qui incorporaient plus d'étapes, les résultats proposés sont sensiblement rapides puisque les cartes de traitement graphique permettent le développement de ces nouveaux graphiques en temps quasi réel.
Bien que la vitesse de création d'images, le modèle Stable Diffusion XL Turbo (SDXL Turbo) puisse permettre la création d'images et les dédier spécifiquement à la création de courtes vidéos, pour le moment cette éventuelle nouvelle fonctionnalité n'a pas été intégrée.
De plus, SDXL Turbo n'est disponible que sous une licence de recherche non commerciale, il ne peut donc être utilisé qu'à des fins académiques .
Stability AI propose actuellement une démo de test bêta en accès anticipé des fonctionnalités SDXL Turbo dans son application d'édition d'images, Clipdrop .
Créer des vidéos avec l'intelligence artificielle
D'autre part, Stability AI a également créé un nouvel outil de création de courtes vidéos appelé « Stable Video Diffusion », une application similaire qui utilise les mêmes modèles d'intelligence artificielle .
Contrairement à un générateur vidéo courant, qui crée un fichier MP4 basé uniquement sur une description de ce que souhaite l'utilisateur, Stable Video Diffusion promet de transformer une image statique en une vidéo fluide entre 3 et 30 images par seconde et une résolution de 576 x 1024 .
Logiquement, les descriptions des utilisateurs continueront d'avoir une grande importance puisque ces invites ou indications serviront de deuxième point de départ en contenant des informations sur ce que chaque utilisateur souhaite voir présenté à l'écran lors de la génération du contenu. De cette façon, il est prévu que les deux outils : Stable Diffusion et Stable Video Diffusion puissent fonctionner ensemble avec les mêmes images.
Selon l'entreprise, la génération de vidéos avec Stable Video Diffusion fonctionne d'autant mieux que la description de l'indication est détaillée. De plus, le modèle peut s'adapter aux demandes d'autres tâches complémentaires telles que la création de vidéos multi-vues pouvant modifier les caractéristiques de base de l'image à partir de laquelle démarre le traitement.
De cette manière, le logiciel Stability AI peut être utilisé dans différents domaines tels que la publicité, l'éducation et le divertissement. Cependant, cela ne signifie pas que le travail sera entièrement effectué par un ordinateur car, en fin de compte, une personne compétente en invites et indications sera nécessaire pour contrôler le produit final généré par l'intelligence artificielle .
Pour le moment, l'accès au programme Stable Video Diffusion est limité à une petite sélection d'utilisateurs, mais il est possible de tester ses capacités de deux manières : télécharger le modèle sur un ordinateur et l'exécuter localement ou depuis l'enregistrement d'un utilisateur jusqu'à l'attente. liste.