L'écart entre la réalité et le numérique se réduit. L'intelligence artificielle a été chargée de réduire cette différence et une expérience du Wall Street Journal a montré qu'il est possible de cloner la voix et l'image d'une personne pour tromper les autres.
La journaliste Joanna Stern était chargée de réaliser ces tests à l'aide de deux outils : Synthesia pour générer des vidéos avec son image et sa façon de parler, et ElevenLabs pour créer des fichiers audio reproduisant sa voix.
Avec ces contenus, elle a pu passer les vérifications vocales de sa banque, tromper le dirigeant d'une entreprise pour lui demander un entretien et embrouiller sa famille dans les appels et appels vidéo.
Bien que les résultats nécessitent encore beaucoup plus de précision et qu'il soit parfois évident qu'il y a une IA derrière le contenu, il est clair que la croissance de cette technologie ouvre les portes à divers défis pour les entreprises, les autorités et la société.
Comment ils ont cloné la voix et l'image
Toute intelligence artificielle a besoin d'informations pour former et générer du contenu. C'est la base de son fonctionnement et dans ce cas Joanna Stern est celle qui a fourni les données aux deux plateformes que j'utilise pour obtenir les résultats et tromper ses proches.
Avec Synthesia, un outil qui crée des avatars à partir de vidéos et d'audio enregistrés, également appelés deepfakes . Le journaliste a alimenté cet outil avec 30 minutes de vidéo et près de deux heures d'audio, si bien qu'au bout de quelques jours ils ont obtenu un avatar : AI Joanna.
Cette plate-forme vous permet de maintenir et de créer un avatar personnalisé pour 1 000 $ par an, plus un abonnement mensuel, bien qu'elle propose des personnages en stock à moindre coût.
En utilisant cette technologie, ils ont créé une vidéo sur TikTok pour voir la portée de l'IA. Ils ont écrit les instructions sous forme de texte pour s'assurer que l'avatar allait dire et que le résultat était satisfaisant. Bien que le réseau social se soit rendu compte qu'il ne s'agissait pas d'une personne réelle en raison de ses quelques expressions faciales et gestes de la main, la conclusion de l'expérience était que pour de longues phrases, l'avatar peut être "convaincant".
Ensuite, ils ont fait quelque chose de similaire lors d'un appel vidéo avec la famille de Joanna Stern, mais "la posture parfaite et le manque d'esprit" ont donné des signaux à leurs connaissances afin qu'elles puissent détecter que ce n'était pas elle, bien qu'elle ait réussi à les confondre au début.
Pour créer le clone vocal, ElevenLabs a reçu 90 minutes de fichiers vocaux et après deux minutes, la formation a été laissée pour demander un audio avec le ton du journaliste après avoir donné une instruction textuelle.
L'utilisation de cette plate-forme coûte 5 $ par mois et, contrairement au travail que Synthesia fait avec la voix, ils disent que cela semble "beaucoup plus humain, avec une meilleure intonation et une meilleure fluidité".
Avec cette technologie, ils ont fait deux expériences. D'une part, Stern a appelé sa sœur, qui lui a dit que ça lui ressemblait, mais elle a réalisé que ce n'était pas réel parce qu'elle ne respirait pas quand elle parlait.
Il a ensuite appelé sa banque, qui lui a demandé une vérification vocale pour dire son nom et ses coordonnées personnelles et il a passé les deux tests sans aucun problème, trompant le système biométrique.
Tout ce panorama génère de nombreuses alertes. D'une part, une personne qui a un profil public peut facilement être usurpée car n'importe qui peut prendre son contenu sur Internet et entrer dans une intelligence artificielle. Pour cette raison, ElevenLabs et Synthesia assurent qu'ils travaillent sur des processus de vérification supplémentaires pour éviter ces problèmes.
Mais pour Stern, ces types d'outils finissent par être un avantage. « Il manquait à mon clone vidéo les choses qui font de moi ce que je suis. Mais je prévois aussi d'utiliser ces outils pour avoir plus de temps pour être un véritable être humain", a écrit le journaliste.