Dans un monde qui cherche désespérément à ne pas se laisser berner par l’intelligence artificielle , Deep Media est une étoile montante. Cette société de la région de la baie de San Francisco , qui prétend être capable d'identifier les images, audio et vidéo créés par l'intelligence artificielle avec une précision de 99 % , a décroché au moins cinq contrats militaires d'une valeur de près de 2 millions de dollars depuis fin 2022 , dont un accord de 1,25 million de dollars pour développer un détecteur personnalisé pour aider l’ armée de l’air à contrer la guerre de l’information russe et chinoise . Le mois dernier , son PDG , Rijul Gupta , a témoigné devant une sous-commission sénatoriale de la menace que représentent les « deepfakes » de l'IA pour les élections américaines .
Mais malgré l'importance croissante de Deep Media , le seul ingénieur en apprentissage automatique de l'entreprise a obtenu son diplôme universitaire il y a deux ans, avec un baccalauréat en astrophysique , selon son profil LinkedIn . Pendant ce temps, un examen des profils LinkedIn d'autres employés suggère que l'entreprise ne compte aucun docteur , spécialiste en IA ou scientifique légiste parmi son personnel - un manque d'expertise en la matière qui, selon les experts, suggère une déconnexion rapide de la communauté. Gupta « dit essentiellement : « Faites-moi confiance ». Et cela ne fonctionne pas en science », déclare Wael Abd-Almageed , professeur à l'Université de Clemson qui étudie les deepfakes.
Quelle que soit sa bonne foi, Deep Media fait partie d’un segment croissant de startups se présentant comme un rempart contre l’avalanche de faux contenus qui ont émergé aux côtés de nouveaux outils d’intelligence artificielle faciles à utiliser. La crainte que les médias synthétiques perturbent les élections et menacent la sécurité nationale a conduit des institutions telles que le Congrès , l' armée et les médias à rechercher désespérément une solution technique fiable pour identifier les faux contenus. La semaine dernière , le créateur de ChatGPT, OpenAI, a annoncé qu'il développait son propre outil de détection.
Mais si la détection est un service de plus en plus crucial et demandé, ses capacités restent largement non testées. Les méthodes utilisées pour créer des deepfakes évoluent constamment, ce qui signifie que les outils de détection créés en laboratoire ne fonctionnent pas toujours dans la nature, affirment les universitaires et les chercheurs. Un test réalisé en avril par l’ Institut Reuters pour l’étude du journalisme avec plusieurs détecteurs de deepfakes gratuits ou peu coûteux et accessibles au public a révélé que la plupart pouvaient être trompés par les mêmes techniques qu’ils étaient censés détecter.
Cependant, une quarantaine de jeunes entreprises proposent désormais des services de détection des contrefaçons, et certaines d’entre elles prétendent atteindre des niveaux de précision surprenants : Originality.ai promet « 99 % DE PRÉCISION DANS LA DÉTECTION DE CONTENU AI ». AI Voice Detector affirme que son outil peut « garantir l'authenticité dans des situations importantes », y compris les affaires judiciaires. GPTZero affirme qu'il « surpasse de manière convaincante tous les services de détection d'IA concurrents ». Et pour démontrer ses prouesses, Kroop AI affiche sur son site Web deux visages de dessins animés apparemment identiques, l'un étiqueté « 100 % RÉEL » et l'autre « 100 % FAUX ».
Jyoti Joshi, PDG de Kroop AI, a déclaré que les dessins animés visent à illustrer à quel point les deepfakes de haute qualité peuvent paraître étonnamment réalistes, ajoutant que l'outil de son entreprise excelle dans la détection des « signatures subtiles » laissées par l'IA générative. D’autres sociétés ont déclaré que leurs résultats de détection ne devraient pas être considérés comme le dernier mot, le PDG d’AI Voice Detector, Abdellah Azzouzi, affirmant que son entreprise encourage les utilisateurs à « faire plus de recherches… après avoir obtenu les résultats ».
Et bien qu'Originality.ai prétende être précis à 99 % , son PDG, Jon Gillham , a écrit dans une déclaration au Post que de telles affirmations « ne devraient pas être crues » à moins qu'elles ne soient étayées par des résultats de tests. Citant un article du blog de l'entreprise, Gillham a déclaré que son entreprise divulgue les résultats de son détecteur sur cinq ensembles de données tiers , ainsi que les résultats des tests d'autres détecteurs.
Selon la société d'analyse PitchBook , les investisseurs en capital-risque ont investi 200 millions de dollars dans des startups de deepfake à l'échelle mondiale en 2023 et au premier trimestre 2024, contre 6,6 millions de dollars en 2017. Ces chiffres couvrent à la fois la création et la détection de deepfake, mais certaines des transactions les plus importantes concernaient Outils d’identification des médias manipulés par l’IA. Pourtant, selon PitchBook, les dépenses consacrées à la détection des deepfakes sont dérisoires en comparaison des 29 milliards de dollars investis dans des accords d'IA générative l'année dernière, y compris le financement d'outils populaires qui peuvent être utilisés à mauvais escient pour créer des images trompeuses, cloner des voix ou éditer des vidéos.
Avec les guerres qui ravagent l'Ukraine et la bande de Gaza et plus de 4 milliards de personnes éligibles pour voter aux élections de cette année, les experts légistes affirment que l'apparition de nouvelles sociétés de détection, en particulier celles qui affichent une précision presque parfaite , risque d'alimenter le feu croissant de l'IA en fournissant un un faux sentiment de certitude quant à la légitimité de certains contenus visuels et audio, tout en érodant la confiance du public dans les médias authentiques.
Les risques potentiels pour la sécurité liés à l’étiquetage de contenus comme « faux » augmentent. En octobre , le site d'information technologique 404 Media a rapporté que l'outil gratuit AI or Not avait signalé comme fausse une image qui, selon le gouvernement israélien , montrait des atrocités commises par le Hamas , contrairement à l'opinion des experts.
Le directeur exécutif d’AI or Not, Anatoly Kvitnitsky, a déclaré que, sur quelques dizaines d’images liées à l’attaque du Hamas , « nous avons toutes bien compris, sauf celle-ci ». AI or Not a depuis amélioré son outil, a déclaré Kvitnitsky , mais a reconnu que le bug était préoccupant. « En fait, je suis né en Ukraine et je suis juif », a-t-il déclaré, « donc cela m'a affecté que nous nous soyons trompés sur certaines choses. »
Deep Media a également trouvé des preuves de manipulation de l’IA là où d’autres ne l’ont pas fait. Le mois dernier, Gupta a déclaré au Washington Post que l'outil de son entreprise avait détecté une « forte probabilité » qu'une vidéo très scrutée de Catherine, princesse de Galles, annonçant son diagnostic de cancer, ait été manipulée avec l'IA.
Des experts, dont Abd-Almageed de Clemson, Claire Wardle, chercheuse en désinformation à l'Université Brown, et Hao Li, PDG de la société d'effets vidéo IA Pinscreen, ont déclaré n'avoir trouvé aucune preuve que la vidéo, enregistrée par la BBC en mars, aurait été manipulée avec IA.
Dans une interview plus récente, Gupta a déclaré au Post que la société maintenait son analyse. Gupta a également défendu le niveau d'expertise de l'entreprise en matière d'IA. Gupta, diplômé en génie biochimique de l'Université de Yale, a déclaré qu'il avait personnellement 15 ans d'expérience dans l'apprentissage automatique, dès l'âge de 15 ans. Il a ajouté que Deep Media emploie des entrepreneurs expérimentés, notamment des personnes poursuivant leur doctorat , mais a refusé de les nommer.
"L'IA est une technologie en évolution rapide qui nécessite des modèles de détection des deepfakes pour suivre les mauvais acteurs", a déclaré Gupta dans un communiqué, notant que Deep Media a formé et testé de nombreux modèles de détection. "La détection des deepfakes est un problème très difficile", a déclaré Gupta dans l'interview, "et Deep Media travaille sans relâche pour continuer à faire progresser notre technologie."
Puis-je faire confiance ou pas ?
Le coroner Hany Farid , professeur à l' Université de Californie à Berkeley , a déclaré au Post qu'il avait parlé ce mois-ci à quatre développeurs différents qui affichent des taux de détection presque parfaits. Mais il affirme que les startups peuvent augmenter leur nombre en se notant sur une courbe : elles entraînent souvent des modèles de détection avec un ensemble particulier de deepfakes, puis évaluent leur capacité à identifier le même type de deepfakes.
Dans le monde réel, les médias trompeurs peuvent ne pas montrer les modèles que l'IA a appris à détecter , a déclaré Farid , ajoutant qu'une approche plus fiable nécessite une combinaison agile de programmation informatique, de physique, de renseignement open source et de médecine légale.
La startup de détection de Farid , Get Real Labs , utilise l'apprentissage automatique, mais analyse également des éléments tels que les ombres, la géométrie, les paramètres de compression et les résultats des recherches d'images inversées. Au fil du temps, l'entreprise pourrait atteindre la précision nécessaire pour résumer ses résultats en une « réponse finale » pour les clients, mais la science n'est pas encore là. « Si vous commencez à dire : « Nous pouvons déterminer avec une grande précision si quelque chose est réel ou faux » et que vous vous trompez, vous faites partie du problème », explique Farid. « En fait, on pourrait dire que vous êtes pire que la maladie. »
Cet écart entre les résultats de laboratoire et les résultats réels rend difficile l'évaluation des détecteurs concurrents , explique Abd-Almageed. Et cela rend particulièrement inquiétante la montée d’entrepreneurs qui recherchent la détection des deepfakes en tant que secteur émergent, similaire aux crypto-monnaies ou à l’IA elle-même, a déclaré Farid.
Bien que les affirmations vantardises des startups ne soient pas nouvelles dans la Silicon Valley , Raquel Vázquez Llorente , responsable des menaces et opportunités technologiques de l'organisation à but non lucratif Witness , a déclaré que des conclusions sur des contenus tels que « 80 % générés par l'IA » peuvent dérouter le public. « Qu’est-ce que cela signifie ? » a-t-il demandé lors d’une récente conférence sur l’IA générative et le droit. "Puis-je lui faire confiance ou non?"
La détection des deepfakes étant particulièrement urgente en année électorale, Oren Etzioni , co-fondateur de l' Allen Institute for AI , a récemment fondé l'association à but non lucratif TrueMedia.org , dédiée au développement d'un outil de détection fiable qu'il propose gratuitement aux vérificateurs de faits.
Le Pentagone évolue également plus rapidement pour suivre le rythme des avancées technologiques. Elle s'est rendue plus accueillante envers les startups technologiques en modernisant son processus d'acquisition et en assouplissant les restrictions d'éligibilité à son fonds de développement Small Business Innovation Research (SBIR) . Connu sous le nom de SBIR , ce programme en trois phases finance des idées prometteuses, développe la technologie et, finalement, la met en production. La plupart des startups n’atteignent jamais la troisième phase.
Les cinq contrats militaires de Deep Media cotés en bourse étaient des subventions SBIR. Trois ont été conclus et un quatrième se termine en juillet, tandis que l'accord de 1,25 million de dollars avec l' Air Force pour la détection de l'IA – actuellement dans la deuxième phase du SBIR – se termine en novembre. Dans un communiqué, le porte-parole du Pentagone, Jeff Jurgensen, a déclaré que le ministère de la Défense évaluait chaque proposition du SBIR « en tenant compte de facteurs tels que le mérite technique, les exigences de défense et le potentiel commercial », à la recherche de petites entreprises susceptibles d'attirer des investisseurs privés, qui ont accès à davantage de ressources. capital.
99 % de précision
Avant de se concentrer sur la détection des deepfakes, Deep Media se consacrait à la création de médias synthétiques. La société a lancé ce qu'elle appelle un traducteur universel pour le doublage de vidéos et a lancé une série d'applications de création de contenu, telles que Babble, Copy Cat ai, DubSync et PolyTalk . Deux des plus petits contrats militaires de l'entreprise concernaient des services de traduction d'IA. "La raison pour laquelle nos détecteurs de deepfake fonctionnent – la raison pour laquelle nous avons des contrats avec le Pentagone – est que nous sommes des pionniers en matière de génération depuis longtemps", a déclaré Gupta au Post.
Dans des interviews à la presse précédentes, Gupta avait déclaré que son taux de précision dans l'identification des deepfakes était de 99 % . Dans son entretien avec The Post , il a légèrement modifié cette déclaration, affirmant qu'il s'engage à offrir à ses clients une précision d'au moins 95 %, même sur « les deepfakes les plus récents et les plus performants, de la plus haute qualité et les plus difficiles à trouver ». ." détecter".
Gupta a déclaré qu'il essayait d'éviter les chiffres trompeurs, reconnaissant que « les gens peuvent vous tromper lorsqu'ils parlent d'exactitude » . Si 10 images sur un univers de 1 000 sont fausses, le modèle peut déclarer que tout est réel et précis à 99 % , a-t-il déclaré. Mais en réalité, dit-il, « ce chiffre n’a pas de sens, n’est-ce pas ? »
S'adressant au Post , Gupta a cité à plusieurs reprises un accord de recherche coopérative de 25 millions de dollars sur trois ans pour la génération et la détection de données deepfake avec le laboratoire de recherche de l'Air Force comme preuve de la crédibilité de l'entreprise. Une copie du contrat examinée par The Post montre que 60 % de la valeur de 25 millions de dollars provient de ressources fournies par Deep Media .
L'accord avait déjà été présenté comme un contrat de 25 millions de dollars , mais Gupta a reconnu qu'« il pourrait avoir été déformé » dans la presse. L'accord ne génère pas de « revenus pour l'entreprise », a-t-il déclaré, « mais il soutient notre recherche en IA ».
Pendant, Le cabinet de conseil qui a aidé Deep Media à obtenir ses contrats militaires a assigné l'entreprise en justice pour non-paiement de ses factures. La poursuite, déposée devant un tribunal fédéral en mars par Stonegardens Advisory, allègue également que Deep Media a faussement affirmé que le membre directeur de Stonegardens, un vétéran du Corps des Marines, était un cadre de Deep Media sur son site Web et dans ses supports marketing, ainsi que sur. scène au SXSW et aux événements de l'Air Force. Stonegardens a refusé de commenter l'affaire.
Gupta a refusé de commenter les allégations du procès . Il a déclaré au Post que Deep Media avait commencé à postuler pour des contrats militaires parce qu’il craignait que les médias synthétiques manipulateurs ne déstabilisent la société américaine. "Si notre gouvernement ne dispose pas d'un détecteur de deepfake", a déclaré Gupta, "notre gouvernement ne sait pas ce qui est réel et ce qui est faux."