Google DeepMind a présenté une feuille de route pour aborder les risques posés par l'utilisation d'agents d'intelligence artificielle au sein de sa propre organisation de recherche. Le document, publié pour que d'autres laboratoires d'IA puissent apprendre de son approche, propose un système de sécurité multicouches qui agit même si les mécanismes traditionnels d'alignement échouent.
Le plan de Google DeepMind représente un changement par rapport à l'accent habituel du secteur sur le "problème de l'alignement", c'est-à-dire s'assurer que les actions d'une IA correspondent aux intentions, valeurs et éthique des humains qui la supervisent. Bien que l'entreprise reconnaisse que l'alignement demeure essentiel, elle admet que cet objectif pourrait ne jamais être complètement atteint. Pour cette raison, elle propose de traiter les agents d'intelligence artificielle comme de possibles "insiders rebelles" et d'adopter des stratégies inspirées de la cybersécurité traditionnelle.
Rohin Shah, le leader de l'équipe de Sécurité et d'Alignement de l'AGI chez Google DeepMind, a expliqué à Fortune : "Si la première ligne de défense — l'alignement — échoue, comment pouvons-nous atténuer les dommages également ?" Le cadre de travail intègre des éléments de prévention des menaces internes, courants en sécurité informatique, car les IA peuvent agir beaucoup plus vite et à une plus grande échelle que n'importe quel employé humain.
Surveillance et contrôle dynamique en temps réel
Le plan de sécurité de Google DeepMind établit la nécessité de systèmes qui limitent les outils et les données auxquels un agent d'IA peut accéder, ainsi que des mécanismes pour surveiller son comportement afin de détecter des comportements anormaux en temps réel. John "Four" Flynn, vice-président de la sécurité et de la confidentialité de l'entreprise, a averti que les méthodes actuelles de contrôle basées sur des rôles humains ne s'adaptent pas bien à l'environnement automatisé de l'IA, car un même agent peut exécuter plusieurs tâches associées à différents rôles.
Flynn a souligné que l'avenir nécessite un système de permissions beaucoup plus dynamique, capable de se modifier en fonction de la tâche spécifique et du flux de travail à chaque instant. Un agent d'IA pourrait avoir accès à certaines données pour une tâche précise et les perdre quelques minutes plus tard en changeant de contexte, toujours sous la surveillance d'un système sophistiqué qui identifie les écarts et coupe l'accès lorsqu'il détecte des risques potentiels.
Prototypes et outils en développement
Selon un blog publié par Google DeepMind, l'entreprise opère déjà avec un prototype interne qui surveille de manière asynchrone le comportement des agents de codage et élève toute découverte suspecte pour un examen humain. Cet outil a analysé près d'un million de tâches et a été crucial pour le suivi en temps réel de l'agent Gemini Spark, permettant d'intervenir rapidement en cas d'incidents tels que la suppression non intentionnelle de données.
La majorité des événements détectés, selon l'entreprise, ne sont pas dus à des intentions malveillantes, mais à des erreurs d'interprétation ou à un zèle excessif pour atteindre les objectifs de l'utilisateur.
Une stratégie multiple contre les agents rebelles
Le système de sécurité de Google DeepMind comprend une quinzaine de mesures pour réduire le risque d'agents d'IA hors de contrôle. Parmi celles-ci figurent des enregistrements simples d'activité réseau — qui peuvent être audités en temps réel ou ultérieurement — jusqu'à la surveillance des "traces de raisonnement" des agents à travers des modèles moins complexes, capables de réviser le raisonnement textuel produit par l'IA lors de la prise de ses décisions.
Les chercheurs avertissent que ces traces de raisonnement ne reflètent pas toujours ce que le modèle "pense" réellement. Pour cela, ils proposent également de surveiller les schémas d'activation interne des réseaux neuronaux, comparant cette méthode à une imagerie cérébrale fonctionnelle (IRMf) pour détecter des signaux de déviation ou de tromperie.
Taxonomie et menaces identifiées
Dans le rapport technique, Google DeepMind introduit le cadre TRAIT& R (Taxonomie des Tactiques et Routines d'IA Rebelle), inspiré de la base ATT&CK de l'organisation américaine MITRE. Le système identifie trois types de menaces principales : "perte de contrôle" — comme la création de déploiements internes non supervisés —, "sabotage de travail" — comme dégrader silencieusement la recherche de sécurité — et "dommage direct", qui inclut le vol d'informations sensibles ou la destruction d'actifs critiques.
Flynn a assuré que beaucoup de ces mesures sont déjà en cours et que plusieurs systèmes de contrôle et de détection sont actifs dans l'entreprise. Shah a ajouté que le cadre vise à détecter même des dommages subtils, tels que la persuasion cachée pour induire des erreurs chez les utilisateurs, l'une des menaces les plus difficiles à identifier.