Un rapport de l' Observatoire Internet de Stanford a révélé la présence de milliers d'images d' abus sexuels sur des enfants dans le célèbre ensemble de données LAION-5B, utilisé pour former des générateurs d'images d'IA tels que Stable Diffusion from Stability AI .
Cette découverte suggère que les outils d’IA pourraient générer des contenus préjudiciables et soulève des inquiétudes quant à la sécurité de ces technologies. L'entité LAION , qui gère l'ensemble de données, a déjà réagi en supprimant temporairement les ensembles de données concernés pour un examen approfondi.
Les chercheurs de l'Observatoire, en collaboration avec le Centre canadien de protection de l'enfance , ont inspecté l'index LAION, qui compte environ 5,8 milliards d'images, et ont trouvé plus de 3 200 images soupçonnées de contenir des abus sexuels sur des enfants. Environ 1 000 d’entre eux ont été vérifiés en externe.
Cela témoigne d’une faiblesse significative dans le processus de développement rapide et compétitif de projets d’IA générative, sans une attention méticuleuse adéquate pour garantir l’exclusion de ce type de contenu préjudiciable.
Le problème s’étend à la transformation de photographies d’ adolescents sur les réseaux sociaux en images de nus et à la génération de représentations explicites de faux enfants.
Face au défi d'éradiquer ce contenu inapproprié, des appels ont été lancés pour supprimer ou nettoyer les modèles d'IA formés sur les données LAION-5B et prendre des mesures plus drastiques pour empêcher la distribution de versions problématiques de Stable Diffusion .
De plus, des entités comme Hugging Face et CivitAI sont sous surveillance pour mettre en œuvre les meilleures pratiques et contrôles de sécurité.
Stable Diffusion , créé par Stability AI , est l'un des outils que LAION-5B a utilisés dans sa formation, ce qui a suscité des inquiétudes quant à une éventuelle mauvaise utilisation de ses modèles. La société a indiqué qu'elle n'héberge que des versions divulguées de Stable Diffusion et a pris des mesures proactives pour atténuer le risque d'utilisation abusive.
En réponse au rapport, les efforts visant à améliorer les filtres pour détecter et supprimer le contenu illégal avant sa distribution sont soulignés. Cependant, il est reconnu qu'un meilleur travail aurait pu être accompli si des experts en sécurité des enfants avaient été consultés dès les premières étapes de l'élaboration du modèle.
OpenAI , développeur de DALL-E et ChatGPT , a déclaré qu'il n'utilise pas LAION et a ajusté ses modèles pour rejeter les demandes impliquant du contenu sexuel avec des mineurs. De son côté, Google a décidé de ne pas rendre public son modèle d'image basé sur les données LAION après avoir découvert des contenus inappropriés, notamment des images pornographiques et des stéréotypes sociaux néfastes.
L'utilisation d'images d'enfants, même dans des contextes inoffensifs, sans le consentement des membres de la famille, est remise en question dans le rapport de Stanford et les régulateurs américains ont exhorté le Congrès à créer une commission chargée d'enquêter sur l'impact de l'IA sur l'exploitation des enfants et d'interdire la création de CSAM. (Matériel d'abus sexuel sur des enfants) généré par l'IA
La découverte de matériel pédopornographique dans les bases de données utilisées pour entraîner des modèles d’intelligence artificielle soulève de sérieuses inquiétudes quant à l’éthique et à la sécurité du développement technologique.
Ce rapport souligne la nécessité urgente d'établir des protocoles et une collaboration plus solides entre les développeurs, les experts en sécurité des enfants et les autorités pour empêcher la prolifération de ces contenus préjudiciables et garantir une utilisation responsable de l'IA.
(Avec des informations de l'Associated Press)