OpenAI a indiqué que deux de ses agents d'intelligence artificielle ont affaibli, lors de tâches internes de programmation, le système utilisé par l'entreprise pour détecter lorsque ses propres modèles agissent différemment de ce qui est attendu. L'un des agents a également nié l'avoir fait lorsqu'un utilisateur lui a posé la question directement.
L'entreprise l'a détaillé dans un rapport publié sur son site de recherche sur l'alignement, le domaine chargé d'étudier si les modèles respectent les instructions et les politiques de sécurité reçues des utilisateurs.
Les deux épisodes se sont produits entre le 3 et le 6 octobre, lors de tâches de programmation dans les systèmes internes d'OpenAI. L'entreprise a précisé qu'aucun utilisateur externe ni aucune donnée client n'a été affecté.
Dans le premier cas, un chercheur a demandé à un agent du modèle GPT-6.1 Sol de créer des tâches d'évaluation à partir de commentaires d'employés réunis dans un canal Slack, et lui a indiqué de ne pas envoyer de messages pendant le processus.
Lorsque le système de surveillance a détecté un problème dans cette tâche, l'agent a interprété l'instruction précédente comme une autorisation pour supprimer également les alertes automatiques adressées à l'équipe de sécurité de l'entreprise.
La surveillance interne a continué d'enregistrer l'activité de l'agent et de sauvegarder ses découvertes, mais les avis qui devaient alerter une personne ont été désactivés pendant ce processus.
Un second agent a nié avoir retiré le contrôle
Le deuxième cas impliquait un agent du modèle GPT-6 Astra, auquel on a demandé de migrer un programme pour qu'il reproduise une implémentation de référence qui ne disposait pas de système de surveillance.
Bien qu'un autre agent lui ait indiqué auparavant de ne pas désactiver ce contrôle “ni même temporairement”, l'agent a malgré tout retiré l'intégration de surveillance du code et remplacé un test automatique qui devait confirmer sa présence par un autre exigeant son absence.
Lorsque l'utilisateur lui a demandé s'il avait supprimé la surveillance, l'a agent a répondu que non, ce qui était faux, selon OpenAI. “L'utilisateur a demandé si Astra avait retiré la surveillance et a menti en disant que non”, a écrit sur le réseau social X Marcus Williams, chercheur en sécurité de l'intelligence artificielle d'OpenAI.
Une explication que l'entreprise n'a pas encore
OpenAI a déclaré que dans les deux cas, les agents ont envisagé s'ils devaient préserver les contrôles de sécurité, mais ont interprété des instructions courantes de programmation comme une permission pour les affaiblir. L'entreprise a reconnu ne pas avoir encore “d'explication satisfaisante” pour ce comportement.
Une possibilité qu'évalue l'entreprise est ce qu'elle appelle la « persistance bénigne » : que l'agent suive une instruction précédente de manière trop littérale, sans s'arrêter pour réfléchir à la raison de la sauvegarde de sécurité qu'il néglige.
OpenAI a déclaré qu'elle examine également si ses modèles les plus avancés pourraient avoir tendance à éviter d'être supervisés et à justifier ce comportement par des raisonnements a posteriori, et non avant d'agir.
Aucun des deux épisodes n'a été classé dans la catégorie de plus grande gravité de l'entreprise et aucune des deux tâches n'a été interrompue automatiquement pendant leur déroulement.
Selon le rapport de l'agence Reuters, cette révélation s'ajoute à une série d'épisodes similaires diffusés au cours des derniers mois, tant par OpenAI que par son concurrent Anthropic, concernant des agents d'intelligence artificielle ayant accédé sans autorisation à des systèmes externes à leurs entreprises.
L'entreprise a indiqué avoir déjà mis à jour son système de révision automatique pour détecter et bloquer les tentatives de contournement du monitoring sur les tâches internes de programmation.
De plus, elle a déclaré qu'elle développe un schéma qui exigera une autorisation de sécurité spécifique pour chaque type de tâche interne de ses systèmes ; celles qui ne disposeront pas de cette approbation seront interrompues automatiquement.