Selon l'entreprise, ce système peut convertir le texte en parole pour créer des voix synthétiques qui préservent les accents natifs des locuteurs , ce qui peut être utile pour traduire du contenu dans d'autres langues ou pour aider les personnes ayant des problèmes de communication verbale.
Une technologie qui ne peut pas tomber entre les mains de tout le monde
Depuis les progrès de l’IA l’année dernière, nous avons connu des cas d’escroqueries utilisant cette technologie pour reproduire la voix d’utilisateurs ou de personnes connues. Par conséquent, la massification de ce type de systèmes, comme celui créé par OpenAI, doit se faire de manière responsable et c'est pourquoi ils ne le rendront pas accessible à tous.
"Nous reconnaissons que produire un discours qui ressemble à la voix du peuple comporte des risques sérieux, qui sont particulièrement importants en année électorale", a publié la société dans un communiqué.
Bien que Voice Engine ait le potentiel de faciliter la traduction de contenu et d'aider les personnes ayant des troubles de la communication verbale, il présente également des risques importants en matière de sécurité et de confidentialité, tels que de faux appels ou des vidéos virales sur les réseaux sociaux contenant des informations erronées.
"Nous adoptons une approche prudente et éclairée en vue d'une diffusion plus large en raison du potentiel d'utilisation abusive de la voix synthétique", a déclaré la société.
Bien que cette préoccupation puisse sembler un cas lointain, il y a déjà eu des cas d'appels automatisés avec des voix clonées d'hommes politiques tels que le président Joe Biden au cours de l'année électorale aux États-Unis. De plus, on craint que les fraudeurs puissent utiliser ces voix synthétiques pour accéder à des comptes bancaires utilisant l’authentification vocale.
Malgré les risques associés, OpenAI reconnaît le potentiel de la technologie de clonage vocal dans divers domaines. Par exemple, Voice Engine pourrait permettre aux créateurs de contenu de traduire leur travail dans d'autres langues sans perdre leurs accents natifs, élargissant ainsi leur audience mondiale.
"Voice Engine est un nouveau modèle d'IA capable de convertir du texte en parole pour créer des voix synthétiques, aidant ainsi les personnes ayant des problèmes de communication verbale à utiliser leur voix pour, par exemple, passer un appel téléphonique", expliquent les développeurs d'OpenAI.
Ce que fait OpenAI pour éviter ces risques
En plus de ne pas proposer Voice Engine au grand public pour le moment, la société travaille avec des partenaires américains et internationaux pour garantir que la technologie est utilisée de manière responsable et éthique.
"Nous collaborons avec des partenaires américains et internationaux du gouvernement, des médias, du divertissement, de l'éducation, de la société civile et bien plus encore pour garantir que nous intégrons leurs commentaires au fur et à mesure que nous le construisons", explique OpenAI.
Parmi les mesures de sécurité mises en œuvre par OpenAI figurent l'inclusion de filigranes pour retracer l'origine de tout audio généré par Voice Engine, ainsi qu'une surveillance proactive de son utilisation. De plus, la société a établi des politiques qui interdisent l’utilisation abusive de voix synthétiques et exigent le consentement éclairé de l’orateur d’origine.