OpenAI a annoncé le 30 octobre qu'elle limitera les informations sur les armes que ChatGPT fournit aux utilisateurs de moins de 18 ans, même lorsque la question semble inoffensive. Cette mesure fait partie d'un ensemble de sauvegardes contre la violence réelle, que l'entreprise commencera à appliquer dans les prochaines semaines.
Selon la publication officielle de l'entreprise, la version de ChatGPT pour les adolescents restreindra les informations pratiques sur les armes et les systèmes de sécurité qui pourraient être utilisées pour faciliter des actes violents. La limite s'applique même en l'absence de signes d'intention violente dans la conversation.
Les politiques d'OpenAI interdisaient déjà d'aider quiconque à planifier ou exécuter des actes de violence, et limitaient l'aide aux adolescents pour obtenir des armes. La nouvelle règle élargit cette protection aux données pratiques qui n'étaient pas auparavant couvertes.
Les adolescents pourront continuer à utiliser ChatGPT pour prévenir ou désamorcer la violence, chercher du soutien et contacter un adulte de confiance, a précisé l'entreprise.
Comment ChatGPT décidera-t-il qui est mineur
OpenAI a indiqué avoir renforcé son système de prédiction d'âge, lancé l'année dernière. Le système analyse plusieurs signaux, tels que les modèles de comportement, pour estimer si un utilisateur est mineur de 18 ans, et dirige les adolescents vers une expérience avec plus de protections.
Celui qui est classé à tort comme mineur pourra confirmer qu'il est adulte par une procédure rapide via Persona, le partenaire de vérification d'âge de l'entreprise. Les protections supplémentaires lui seront alors retirées.
L'entreprise a ajouté qu'elle cherche à appliquer les limites les plus strictes également lorsqu'elle prévoit qu'une personne est mineure, même si ses conversations ne montrent aucune intention violente.
Changements qui touchent tous les utilisateurs
Pour tous les utilisateurs, indépendamment de l'âge ou de la raison de la demande, ChatGPT donnera moins de détails sur les attaques massives du passé. Cela inclut les armes et l'équipement utilisés, comment ils ont été obtenus et les comparaisons de l'ampleur des dommages qui pourraient augmenter la notoriété de l'attaquant.
OpenAI a clarifié que les utilisateurs pourront toujours demander de l'aide pour comprendre ces faits, l'impact sur les victimes et les signaux d'alerte qui permettent de prévenir de nouveaux cas.
De plus, lorsqu'une conversation montre que quelqu'un est obsédé par la violence ou par le fait de causer un dommage grave à une autre personne, ChatGPT pourra fermer automatiquement le chat. Si cela se produit plusieurs fois, l'entreprise pourra suspendre temporairement le compte.
Avec le contrôle parental, les parents lient leur compte à celui de leurs enfants. En juillet, OpenAI a élargi les alertes pour informer les parents si le compte de l'adolescent était désactivé pour violation des règles sur la violence. Elle travaille désormais à les notifier également lorsque le compte est suspendu en raison de discussions répétées sur la violence.
L'entreprise a indiqué avoir déposé plus de 200 plaintes auprès des autorités au troisième trimestre de 2026 pour menaces imminentes de violence, affirmant que ces signalements ont contribué à faire échouer des projets violents.
Cette annonce intervient dans un contexte de scrutin croissant envers les entreprises d'IA concernant les risques liés aux chatbots pour les jeunes. L'agence a rappelé que ce mois-ci, l'organisation à but non lucratif Common Sense Media a constaté que la version adolescente de ChatGPT prévenait tardivement ou jamais les parents lorsque les comptes enregistraient des conversations sur le suicide, les automutilations ou les troubles alimentaires.
OpenAI publiera son premier rapport sur la sécurité communautaire au début de 2027, avec des données du deuxième semestre de 2026, et le mettra à jour tous les six mois.