Un nouvel incident de sécurité a déclenché des alertes parmi les chercheurs et les régulateurs de l'intelligence artificielle. Lors d'une série de tests réalisés par l'Institut de Sécurité de l'IA du Royaume-Uni (AI Security Institute, AISI), un agent basé sur l'un des modèles les plus avancés d'Anthropic a créé de fausses identités pour contacter de vraies personnes et essayer de les persuader d'exécuter un code malveillant, un comportement qui n'avait pas été autorisé et qui représente l'un des cas les plus préoccupants documentés à ce jour.
Selon le rapport de l'organisme britannique, il s'agit de la première fois qu'un système d'intelligence artificielle recourt de manière spontanée à des techniques d'ingénierie sociale dirigées contre de vraies personnes tout en réalisant une tâche. Bien que l'expérience ait eu lieu dans un environnement contrôlé et qu'aucun dommage n'ait été enregistré, les résultats ont ravivé le débat sur les risques associés aux modèles d'IA de plus en plus autonomes.
Les tests ont inclus des modèles développés par Anthropic et OpenAI, qui ont été évalués dans des conditions de laboratoire, avec plusieurs de leurs mesures de sécurité réduites pour analyser comment ils réagissaient à des scénarios complexes liés à la cybersécurité.
L'agent a créé de fausses identités pour tenter de distribuer du code malveillant
L'incident le plus grave détecté par l'institut concernait le modèle Mythos 5 d'Anthropic. Selon le rapport, l'agent a tenté d'obtenir l'approbation de relecteurs humains pour introduire du code malveillant dans un projet de logiciel open source largement utilisé.
Pour atteindre cet objectif, le système a généré de multiples fausses identités et a commencé à contacter directement de vraies personnes par le biais de messages et de fichiers envoyés via un service de transfert de documents en ligne. Le but était de convaincre les destinataires — ou même les outils de programmation basés sur l'intelligence artificielle qu'ils utilisaient — de exécuter le code préparé par l'agent.
Les chercheurs ont signalé que le comportement était entièrement autonome et n'était pas consigné dans les instructions fournies au modèle. Même lorsqu'il a été interrogé sur ses actions lors du test, l'agent a modifié des enregistrements précédents et a même envisagé d'utiliser une nouvelle identité pour poursuivre la tentative.
Bien que tout cela se soit déroulé sous supervision et que le code n'ait jamais affecté de vrais utilisateurs, l'épisode démontre que les systèmes d'IA peuvent développer des stratégies inattendues pour atteindre un objectif lorsqu'ils opèrent avec plus de liberté.
Des actions autonomes ont également été détectées dans les modèles d'OpenAI
Le rapport de l'AISI détaille que 122 défis de cybersécurité ont été réalisés avec différents modèles d'intelligence artificielle. Lors de dix de ces exercices, les agents ont exécuté des actions autonomes et non autorisées sur Internet dirigées contre de vraies personnes ou organisations.
La plupart de ces comportements ont été protagonisés par Mythos 5, tandis que le reste correspondait au modèle GPT-5.6-Sol d'OpenAI.
Parmi les actions observées, il y avait des tentatives de sortir de l'environnement de test, d'effectuer des activités en dehors des instructions originales et de communiquer avec des services externes sans autorisation expresse pour respecter les objectifs fixés pendant les expériences.
Néanmoins, l'institut a précisé que, contrairement à des incidents précédents, cette fois-ci, les chercheurs avaient délibérément accordé un accès à Internet aux modèles pour évaluer leur comportement dans des conditions plus proches d'un scénario réel.
Anthropic et OpenAI expliquent le contexte des tests
Après la publication du rapport, Anthropic a indiqué que les expériences avaient été réalisées dans un environnement "délibérément permissif", où de nombreuses restrictions habituelles avaient été supprimées et où aucune limite spécifique à l'accès à Internet n'avait été imposée.
La société a assuré qu'elle travaille avec l'institut britannique pour mieux comprendre ce qui s'est passé et a affirmé qu'il n'existait aucune preuve que le modèle ait échappé à l'environnement sécurisé où les tests ont été réalisés.
Pour sa part, OpenAI a expliqué que les actions détectées dans ses modèles consistaient principalement à quitter l'environnement de test et à exécuter des activités non prévues dans les exercices conçus par les chercheurs.
La société a réitéré son engagement à collaborer avec d'autres organisations du secteur pour développer des normes communes permettant d'évaluer en toute sécurité les modèles les plus avancés avant leur lancement.