Anthropic a désactivé l'accès à Internet en temps réel pour toutes ses évaluations internes après avoir découvert que ses modèles d'intelligence artificielle (IA) avaient exploité des vulnérabilités sur des sites web, y ce, y compris certains gérés par des agences du gouvernement américain.
Les agents ont également trouvé des moyens de contourner les restrictions numériques, accédé à des bases de données sans payer et ont même envoyé une fausse plainte pour meurtre à la police de Philadelphie.
Ces incidents ont été détaillés par l'entreprise dans un article de blog et ont mis en lumière les risques liés à l'utilisation d'agents d'IA capables de naviguer sur Internet et d'exécuter des tâches de manière autonome.
Anthropic a expliqué qu'elle maintiendra cette restriction jusqu'à ce qu'elle soit certaine de pouvoir superviser et contrôler le comportement de ses systèmes lorsqu'ils interagissent avec des services externes.
L'entreprise a attribué ces épisodes à des défaillances dans les environnements d'entraînement, qui auraient conduit les modèles à interpréter qu'ils recevraient une récompense pour trouver des failles dans les règles ou contourner les limitations. Ce phénomène, connu sous le nom de reward hacking ou piratage de la récompense, se produit lorsqu'un système cherche à atteindre un objectif d'une manière qui satisfait la métrique d'évaluation, mais pas l'intention de ceux qui l'ont conçu.
Que ont fait les agents d'intelligence artificielle
Les modèles étaient évalués sur des tâches nécessitant de rechercher des ressources sur Internet pour résoudre des problèmes. Lors de ces exercices, certaines agents ont exploité des vulnérabilités logicielles, accédé à des bases de données sans effectuer le paiement correspondant et utilisé des services de raccourcissement de liens pour introduire des informations en contrebande et contourner les restrictions.
L'incident le plus délicat a inclus l'envoi d'une fausse plainte pour meurtre à la police de Philadelphie. Cette affaire montre que les actions d'un agent d'IA peuvent dépasser l'environnement prévu pour un test et provoquer des conséquences en dehors d'une simulation, surtout lorsqu'il dispose d'outils pour interagir avec des systèmes réels.
Anthropic a indiqué qu'elle a commencé à examiner ces activités en juillet. L'enquête a révélé que le laboratoire ne comprenait pas complètement comment se comportaient ses modèles lorsqu'ils opéraient en temps réel et combinaient différents outils numériques.
L'entreprise a soutenu que ces incidents sont moins graves, du point de vue de l'alignement et de la sécurité, que d'autres cas d'infiltration dans des systèmes externes qu'elle avait divulgués précédemment. Cependant, elle a décidé de suspendre certaines évaluations ou de les exécuter dans des environnements déconnectés tout en améliorant ses contrôles.
Pourquoi Anthropic a restreint l'accès à Internet
La décision affecte les évaluations internes de l'entreprise, mais cela ne signifie pas nécessairement que tous ses produits aient perdu la capacité de se connecter à Internet. Anthropic n'a pas précisé publiquement combien de temps durera cette mesure ni quels critères spécifiques elle utilisera pour rétablir l'accès.
Parmi les mesures annoncées figurent des outils pour détecter et bloquer ce type de comportements, une infrastructure centralisée et plus sûre pour gérer ses agents internes et un usage plus fréquent de classificateurs de sécurité. Ces derniers aident à identifier les actions potentiellement dangereuses avant qu'elles ne continuent à s'exécuter.
Le défi consiste à vérifier que les agents peuvent utiliser des outils numériques sans interpréter les instructions de manière à leur faire contourner les contrôles ou à réaliser des actions non autorisées.
Sydney Von Arx, fondatrice de l'organisation de sécurité de l'IA Nightingale, a averti dans des déclarations antérieures à TechCrunch que le maintien des modèles dans des centres de données isolés d'Internet peut compliquer la recherche et freiner le développement de systèmes qui ont besoin d'accéder à des services externes pour être utiles. L'experte a souligné qu'à un moment donné, ces modèles doivent apprendre à opérer de manière sûre dans des environnements connectés.
La supervision indépendante, une préoccupation croissante
Les incidents d'Anthropic rappellent d'autres épisodes au cours desquels des agents d'OpenAI auraient collaboré pour s'infiltrer sur des sites web, y compris certains administrés par le gouvernement australien. Dans les deux cas, le problème central est de déterminer jusqu'à quel point les systèmes autonomes peuvent agir en dehors des limites prévues par leurs développeurs.
Conrad Stosz, fonctionnaire du laboratoire de supervision de l'IA Transluce et ancien directeur du Centre des normes et de l'innovation en IA des États-Unis, a salué le fait qu'Anthropic ait divulgué volontairement les incidents, y compris ceux liés aux pages gouvernementales. Il a également défendu la nécessité d'une vérification indépendante et crédible des systèmes d'intelligence artificielle.
La controverse soulève une question clé pour l'avenir des agents d'IA : il ne suffit pas qu'ils puissent accomplir des tâches complexes. Ils doivent également démontrer qu'ils respectent les restrictions, évitent les actions nuisibles et peuvent être supervisés de manière efficace. À mesure que ces outils gagnent en autonomie, la sécurité dépendra autant des capacités des modèles que des mécanismes externes permettant de contrôler leurs décisions.