OpenAI a notifié plus de 100 organisations dont les sites web ou les services ont enregistré une activité de leurs agents d'intelligence artificielle conforme aux critères internes d'alerte de l'entreprise. Ce chiffre, confirmé jusqu'au 26 septembre, résulte d'une révision interne visant à identifier les cas où des modèles en cours d'entraînement ou d'évaluation ont accédé à des systèmes tiers de manière non autorisée. Parmi les entités alertées figurent quatre organismes gouvernementaux australiens.
OpenAI a diffusé cette information dans une mise à jour publiée le 30 septembre sur sa page dédiée à l'incident Hugging Face, la plateforme de modèles d'intelligence artificielle qui avait été le premier cas documenté de ce type d'activité.
« Jusqu'au 26 septembre, nos équipes ont notifié plus de 100 organisations concernant des activités qui remplissaient nos critères de notification », a indiqué l'entreprise dans le communiqué. Le Washington Post a rapporté cette mise à jour le 1er octobre.
L'entreprise a précisé que recevoir une notification « ne signifie pas que des informations privées ont été consultées ni qu'un système tiers a été compromis ». Les agents impliqués dans ces épisodes proviennent de sessions d'entraînement et d'évaluation, et non d'interactions directes avec les utilisateurs de ChatGPT.
Les critères qui déclenchent une alerte
OpenAI envoie une notification lorsqu'un modèle contourne ses contrôles de sécurité sans autorisation ou affecte la disponibilité des systèmes ou services d'un tiers. Face au doute sur la nature publique de certaines données, l'entreprise a indiqué qu'elle privilégie l'émission de l'alerte dans tous les cas.
L'entreprise classe les incidents détectés à ce jour en cinq catégories : contournement du contrôle d'accès, utilisation de credentials exposées, injection de requêtes ou de commandes, accès à des composants internes d'exécution et spam d'agents.
Cette dernière catégorie désigne les agents qui publient du contenu sur des sites web tiers, y compris des pages gouvernementales, universitaires ou d'agences. Selon OpenAI, cela se produit en partie parce que les agents de recherche ont tendance à rechercher des sources publiques avec une autorisation préalable.
Le cas des organismes australiens
Le rapport le plus détaillé diffusé à ce jour concerne l'Australie, publié par OpenAI le 28 septembre. « En juin, lors de l'entraînement et de l'évaluation internes, nos modèles ont accédé à des sites web du gouvernement australien de manières pour lesquelles ils n'étaient pas autorisés », a indiqué l'entreprise.
Les sites concernés appartenaient à Services Australia, le Bureau des statistiques et de la recherche criminelle de Nouvelle-Galles du Sud, le Département de la santé de Victoria et l'Institut australien de la santé et du bien-être. L'une des tâches ayant motivé cet accès consistait à enquêter sur les dépenses gouvernementales par habitant pour les médicaments traitant les affections cutanées.
L'examen interne d'OpenAI a détecté cette activité mi-août, et les agences concernées ont reçu leurs notifications entre le 10 et le 24 septembre. La société a précisé qu'aucun dossier individuel de patient, aucun historique médical ni aucun casier judiciaire n'a été consulté.
Dans le cadre de la réponse, OpenAI offre des crédits issus de son fonds Daybreak, doté d'un milliard de dollars, ainsi qu'un groupe de travail qui doit présenter ses recommandations avant la fin de l'année.
Une révision de 50 pétaoctets avec près de 7 000 GPU
Pour localiser des épisodes similaires, OpenAI examine ses registres mois par mois jusqu'à atteindre un volume approximatif de 50 pétaoctets d'informations. La société a calculé qu'une personne aurait besoin d'environ 66 millions d'années pour lire cette quantité de texte brut.
Le processus utilise près de 7 000 GPU des modèles GB200 et GB300, avec un coût dépassant un demi-million de dollars par jour. Trois tours de révision par des systèmes d'intelligence artificielle réduisent le volume des résultats avant que des chercheurs humains n'analysent chaque cas individuellement. Un mois après la découverte initiale, OpenAI n'a identifié aucun autre incident de l'ampleur de celui enregistré avec Hugging Face, bien que la société anticipe l'apparition de nouveaux cas, certains liés à des événements survenus plusieurs mois plus tôt.