La popularité des systèmes d'intelligence artificielle a généré, en plus des multiples opportunités de générer des entreprises en ligne, des problèmes de contrôle de l'utilisation de ceux qui ont des capacités génératives telles que la production d'images et même des « deep fake » très réalistes et qui pourraient être créés avec de mauvaises intentions. par des utilisateurs abusifs.
La plateforme dite « Civitai » favoriserait la création d'images numériques auprès des utilisateurs de l' application . Le problème est que les personnes qui sont la cible de ce système de récompense, qui sont majoritairement des femmes, ne donnent pas leur consentement à cette pratique et le résultat des éditions, dans plusieurs cas, est réellement orienté vers la pornographie et le harcèlement.
Le système « Civitai », appelé « bounties » (récompenses), invite sa communauté d'utilisateurs à participer à une sorte de « concours » dans lequel un utilisateur propose la création d'une photo profondément fausse d'une personne (qu'elle soit ou non). ils sont célèbres ou pas).
Tous les membres seront chargés de développer diverses pièces, mais seule la pièce la plus « convaincante » ou la plus réaliste remportera des pièces virtuelles appelées « Buzz » qui peuvent être achetées avec de l'argent réel. Le bénéfice économique des créateurs est donc possible, même si en réalité le prix de ces tokens est très bas : 1 000 unités sont achetées avec le paiement d' un dollar .
Selon Michele Alves, une influenceuse Instagram qui a parlé avec un média appelé « 404 », elle enregistre également une « récompense » dans cette application . "Depuis des années, j'ai des problèmes d'utilisation abusive de mon image et cela ne m'est jamais venu à l'esprit (...) Je ne sais pas quelles mesures prendre car Internet semble être un endroit incontrôlable", a-t-il déclaré. Elle a également ajouté qu'en général, la seule chose qu'elle a pu faire jusqu'à présent a été de gérer la façon dont cette utilisation de son visage et de sa silhouette l'affecte émotionnellement.
Le sérieux de ces actions encouragées par « Civitai » est qu'il ne s'agit pas de n'importe quel logiciel, mais selon la société d'analyse de marché « Andreessen Horowitz » , il s'agit de la septième application la plus populaire parmi les utilisateurs récurrents de cette technologie en ligne.
De plus, cela ne remet pas en question les intentions des utilisateurs qui demandent de fausses éditions de personnalités en ligne. N'importe qui pourrait voir sa photo modifiée sur cette plateforme si une personne intéressée par ce contenu le demande à la communauté. Il n'est pas nécessaire que le demandeur soit un ami, un membre de la famille ou même une connaissance de l'utilisateur pour lequel vous souhaitez créer une image avec l'intelligence artificielle .
Le rapport « 404 » indiquait que l'un des utilisateurs qui avait demandé l'édition de photos d'une femme l'avait fait parce qu'elle était en réalité son épouse, bien qu'un examen de ses réseaux sociaux ait indiqué qu'il était célibataire, donc les finalités derrière la demande pourraient être variés et même être nocifs.
Les conséquences ne se limitent pas seulement aux victimes d'utilisation abusive de l'intelligence artificielle générative qui peuvent se voir représentées de manière inappropriée ou non consensuelle, mais aussi à tout autre utilisateur de la plateforme, qu'il ait demandé ou non l'édition, vous pouvez accéder à ce données et générez vos propres modèles sans avoir besoin de savoir de qui il s'agit.
Pour le moment, les utilisateurs ne peuvent pas déposer de plainte officielle sur la plateforme en raison d'une utilisation inappropriée de leur image, ce qui signifie que personne ne peut (à ce jour) supprimer ses photographies de cette application à moins d'être le créateur de l'image.
« Civitai » n'a pas pris position sur l'utilisation inappropriée des photographies et les abus que pourraient commettre ses utilisateurs.