Les écoles publiques de Westfield ont tenu une réunion régulière du conseil d'administration fin mars au lycée local , un complexe de briques rouges à Westfield, New Jersey , avec une pancarte à l'extérieur accueillant fièrement les visiteurs de la « Maison des Diables Bleus » et de ses équipes sportives. Mais pour Dorota Mani , ce n’était pas une rencontre ordinaire.
En octobre, des filles de 10e année du lycée Westfield , dont Francesca, la fille de Mani , âgée de 14 ans, ont alerté les administrateurs que des garçons de leur classe avaient utilisé un logiciel d'intelligence artificielle pour générer des images sexuellement explicites d'eux et faisaient circuler de fausses images. .
Cinq mois plus tard, affirment les Manis et d’autres familles, le district n’a pas fait grand-chose pour dénoncer publiquement les images manipulées ou pour mettre à jour les politiques scolaires afin de prévenir l’utilisation abusive de l’IA. “Pareciera como si la administración de Westfield High School y el distrito estuvieran participando en una clase magistral sobre cómo hacer que este incidente desaparezca en el aire” , le dijo Mani , fundadora de una escuela preescolar local , a los miembros de la junta durante la réunion.
Dans un communiqué, le district scolaire a déclaré qu'il avait ouvert une « enquête immédiate » après avoir pris connaissance de l'incident, qu'il avait immédiatement informé et consulté la police et qu'il avait fourni des conseils de groupe à la classe de 10e année.
"Tous les districts scolaires sont aux prises avec les défis et l'impact de l'intelligence artificielle et d'autres technologies accessibles aux élèves à tout moment et en tout lieu", a déclaré Raymond González , surintendant des écoles publiques de Westfield, dans le communiqué.
Les écoles à travers les États-Unis , aveuglées l'année dernière par la soudaine popularité des chatbots basés sur l'IA tels que ChatGPT , se sont précipitées pour maîtriser les robots générateurs de texte dans le but d'empêcher les élèves de tricher . Aujourd’hui, un phénomène plus alarmant lié à l’imagerie par l’IA bouleverse les écoles.
Dans plusieurs États, des garçons ont utilisé des applications de « nudification » largement disponibles pour transformer des photographies réelles et identifiables de leurs camarades de classe habillées assistant à des événements tels que des bals de promo en images graphiques et convaincantes d'étudiantes avec des seins et des organes génitaux exposés, générées par l'IA.
Dans certains cas, des élèves de sexe masculin ont partagé les fausses images à la cafétéria de l'école , dans le bus scolaire ou via des discussions de groupe sur des plateformes telles que Snapchat et Instagram , selon les rapports de l'école et de la police .
Ces types d'images modifiées numériquement, appelées « deepfakes » ou « deepfake porn » (« deepfakes » , « deepnudes »), peuvent avoir des conséquences dévastatrices. Les experts en matière d'exploitation sexuelle des enfants affirment que l'utilisation d'images non consensuelles générées par l'IA pour harceler, humilier et intimider les jeunes femmes peut nuire à leur santé mentale, à leur réputation et à leur sécurité physique, et présenter des risques pour leurs perspectives universitaires et professionnelles .
Le mois dernier, le FBI a averti qu'il était illégal de distribuer du matériel d'abus sexuel sur des enfants généré par ordinateur , y compris des images réalistes générées par l'IA de mineurs identifiables se livrant à des comportements sexuellement explicites.
Cependant, l'utilisation par les élèves d'applications d'exploitation de l'IA dans les écoles est si nouvelle que certains districts semblent moins préparés que d'autres à y faire face. Cela peut rendre les mesures de protection précaires pour les étudiants.
À la Beverly Vista Middle School de Beverly Hills, en Californie , les administrateurs ont contacté la police en février après avoir appris que cinq étudiants de sexe masculin avaient créé et partagé des images explicites, générées par l'IA, de camarades de classe. Deux semaines plus tard, la commission scolaire a approuvé l' expulsion de cinq élèves , selon des documents du district. (Le district a affirmé que le code de l'éducation californien lui interdisait de confirmer si les étudiants expulsés étaient ceux qui avaient fabriqué les images.)
Michael Bregy , surintendant du district scolaire unifié de Beverly Hills , a déclaré que lui et d'autres chefs d'établissement voulaient créer un précédent national selon lequel les écoles ne devraient pas permettre aux élèves de générer et de diffuser des images sexuellement explicites de leurs pairs. « Il s'agit d'un harcèlement et d'abus extrêmes dans le contexte scolaire », a déclaré Bregy , soulignant que les images explicites étaient « dérangeantes et violentes » pour les filles et leurs familles. "C'est quelque chose que nous n'allons pas du tout tolérer ici."
Les écoles des petites communautés riches de Beverly Hills et de Westfield ont été parmi les premières à reconnaître publiquement les incidents deepfake . Les détails des cas – décrits dans les communications du district avec les parents, les réunions du conseil scolaire, les audiences législatives et les documents judiciaires – illustrent la variabilité des réponses des écoles.
L'incident de Westfield a commencé l'été dernier lorsqu'un lycéen a demandé sur Instagram une demande d'amitié à un camarade de classe de 15 ans qui possédait un compte privé, selon un procès contre le garçon et ses parents intenté par la jeune fille et sa famille. (La famille Mani a déclaré qu'elle n'était pas impliquée dans le procès.)
Après avoir accepté la demande, l' élève a copié des photos d'elle et de plusieurs autres camarades de classe depuis leurs comptes de réseaux sociaux , selon des documents judiciaires . Il a ensuite utilisé une application d'intelligence artificielle pour fabriquer des images sexuellement explicites et « entièrement identifiables » des élèves et les a partagées avec ses camarades de classe via un groupe Snapchat , selon des documents judiciaires .
Westfield High a commencé son enquête fin octobre. Alors que les administrateurs ont discrètement emmené certains enfants à l'écart pour les interroger, a déclaré Francesca Mani , elle et d'autres filles de 10e année victimes de deepfakes ont été appelées au bureau de l'école et leurs noms ont été annoncés via l'interphone de l'école.
Cette semaine-là, Mary Asfendis , directrice de Westfield High , a envoyé un e-mail aux parents les alertant d' une « situation qui a donné lieu à une désinformation généralisée ». L' e-mail décrit les deepfakes comme un « incident très grave ». Il a également déclaré que, malgré les inquiétudes des étudiants concernant un éventuel partage d’images, l’ école estimait que « toutes les images créées ont été supprimées et ne circulent pas ».
Dorota Mani a déclaré que les responsables de Westfield lui avaient dit que le district avait suspendu l' étudiant accusé d'avoir fabriqué les images pendant un jour ou deux. Peu de temps après, elle et sa fille ont commencé à parler publiquement de l' incident , exhortant les districts scolaires , les législateurs des États et le Congrès à promulguer des lois et des politiques interdisant spécifiquement les deepfakes explicites .
« Nous devons commencer à mettre à jour notre politique scolaire », a déclaré Francesca Mani , aujourd'hui âgée de 15 ans, dans une récente interview. " Parce que si l'école avait eu des politiques concernant l'IA, les étudiants comme moi auraient été protégés . "
Des parents , dont Dorota Mani , ont également déposé des plaintes pour harcèlement auprès de Westfield High l'automne dernier à cause des images explicites . Cependant, lors de la réunion de mars, Mani a déclaré aux membres du conseil scolaire que l' école n'avait pas encore fourni aux parents de rapport officiel sur l' incident .
Les écoles publiques de Westfield ont déclaré qu'elles ne pouvaient commenter aucune mesure disciplinaire pour des raisons de confidentialité des élèves . Dans un communiqué , González , le surintendant , a déclaré que le district renforçait ses efforts « en éduquant nos étudiants et en établissant des lignes directrices claires pour garantir que ces nouvelles technologies soient utilisées de manière responsable ». Les écoles de Beverly Hills ont adopté une position publique plus ferme .
Lorsque les administrateurs ont appris en février que des élèves de huitième année de la Beverly Vista Middle School avaient créé des images explicites de camarades de classe âgés de 12 et 13 ans, ils ont rapidement envoyé un message – avec pour objet : « Utilisation abusive déplorable de l’intelligence artificielle . » – à tous les parents , le personnel et les élèves du quartier . Le message exhorte les membres de la communauté à partager des informations avec l' école pour garantir que l'utilisation « dérangeante et inappropriée » de l'IA par les élèves « soit immédiatement arrêtée ».
Il a également averti que le district était prêt à imposer des sanctions sévères . " Tout étudiant surpris en train de créer, diffuser ou posséder des images de cette nature générées par l'IA fera l'objet de mesures disciplinaires ", y compris une recommandation d' expulsion , indique le message .
Bregy , le surintendant , a déclaré que les écoles et les législateurs devaient agir rapidement car les abus liés à l'IA faisaient que les élèves ne se sentaient pas en sécurité dans les écoles . « On entend beaucoup parler de sécurité physique dans les écoles », a-t-il déclaré. “ Mais ce dont on n'entend pas parler, c'est de cette atteinte à la sécurité émotionnelle et personnelle des étudiants .
(c) 2024, Le New York Times