Pour cette raison, la boutique numérique Android a établi que les applications qui incluent des fonctionnalités d'IA doivent strictement respecter certaines réglementations pour être approuvées et rester dans sa boutique numérique.
Ces réglementations se concentrent non seulement sur la prévention des contenus sexuels et violents, mais obligent également les développeurs à mettre en œuvre des mécanismes permettant aux utilisateurs de signaler et de signaler les contenus offensants qu'ils trouvent dans les applications.
Mesures mises en œuvre par Google
Les nouvelles directives établies par le Google Play Store incluent plusieurs exigences spécifiques auxquelles les applications d'IA doivent répondre pour être approuvées et maintenues sur la plateforme :
- Empêcher le contenu restreint :
Les applications d’IA ne peuvent pas générer de contenu sexuel, violent ou autre contenu restreint. Les développeurs doivent mettre en œuvre des mécanismes efficaces pour empêcher la création et la diffusion de ce type de contenu au sein de leurs applications.
- Mécanismes de signalement et de plainte :
Il est essentiel que les applications offrent aux utilisateurs la possibilité de signaler et de signaler un contenu inapproprié . Le Google Play Store donnera la priorité au suivi et à la gestion de ces retours par les développeurs afin de garantir des réponses rapides et efficaces aux incidents de contenu offensant.
- Interdiction d'utilisation inappropriée dans la publicité :
Le Google Play Store n'autorisera pas les applications à promouvoir des capacités permettant d'effectuer des actions inappropriées, telles que déshabiller des personnes ou créer des images non consensuelles. Les applications qui enfreignent ces directives peuvent être supprimées du magasin.
- Responsabilités du développeur :
Les développeurs ont la responsabilité de protéger leurs applications contre les manipulations pouvant être utilisées pour créer du contenu préjudiciable et offensant. Google suggère d'effectuer des tests approfondis avant le lancement et de documenter correctement ces processus pour les examens futurs.
Utiliser l’IA pour créer des images explicites et harceler n’est pas sain
Il y a quelques mois, sur la page 404 Media, ils rapportaient que des publicités pour des applications prétendant utiliser l'IA pour générer des deepfakes apparaissaient sur les réseaux sociaux. La publicité présentait une image de Kim Kardashian accompagnée d'un texte disant : « déshabillez n'importe quelle fille gratuitement ». Après avoir reçu les rapports, Apple et Google ont supprimé ces applications de leurs magasins, mais le problème continue de s'aggraver.
Por otro lado, en Estados Unidos y España ya se han reportado casos de acoso en las escuelas, en los que los menores están usando estas plataformas para generar contenido sexual de sus compañeras y luego extorsionarlas o hacer públicas las fotos, afectando su imagen frente a la communauté.
Une enquête du New York Times a relaté un cas à Westfield, dans le New Jersey, où des lycéens ont utilisé un logiciel d'intelligence artificielle pour générer des images sexuellement explicites de leurs camarades de classe.
Ces images faussement fabriquées ont été partagées sur les réseaux sociaux et les discussions de groupe, entraînant une situation de harcèlement et d'humiliation pour les victimes.
Un autre cas s'est produit à Beverly Hills, en Californie, où des élèves de huitième année ont créé et partagé des images explicites de camarades de classe âgés de 12 et 13 ans à l'aide de l'IA. Face à cette situation, les autorités scolaires ont pris des mesures fermes, notamment l’expulsion des élèves concernés et l’émission d’avertissements clairs sur les conséquences d’une utilisation inappropriée de l’IA.
Les images modifiées proviennent des réseaux sociaux. Des photos dans lesquelles les victimes se trouvent dans des situations normales, mais grâce à une application d'intelligence artificielle, il est possible de les convertir en matériel explicite.
Nouveau