Il y a un piège dans la façon dont nous pensons à la sécurité de l'intelligence artificielle : nous avons tendance à imaginer l'attaque comme quelque chose qui émerge d'une faille dans le modèle, une erreur de programmation ou un jailbreak qui force le système à briser ses propres règles ; nous visualisons un intrus entrant par la fenêtre.
Mais Google DeepMind, laboratoire de pointe en intelligence artificielle, vient de publier un document qui inverse le problème : la menace ne vient pas de l'intérieur de l'agent, mais du monde que l'agent décide de lire. Et cela change tout.
Un agent d'IA autonome, du type que les entreprises utilisent aujourd'hui pour automatiser la recherche, l'analyse, la rédaction ou la gestion des tâches, suit une logique simple : il reçoit un objectif, sort dans le monde numérique, lit ce qu'il trouve et agit en conséquence. Il navigue sur des pages web, ouvre des documents, traite des courriels et consulte des API.
Voici le problème central : chaque chose que l'agent lit est une instruction potentielle. Cela se produit dans la pratique, comme le démontrent les chercheurs institutionnels de Google DeepMind, qui ont classé six catégories de pièges pour agents d'IA, des pièges conçus pour manipuler des agents autonomes à partir du contenu qu'ils consomment.
La première et la plus directe est l'injection de contenu. Une page web peut contenir des instructions écrites en HTML invisible, un texte de la même couleur que l'arrière-plan ou des commandes cachées dans les métadonnées d'accessibilité. L'utilisateur humain ne voit rien ; l'agent traite tout comme si cela faisait partie de sa tâche. Dans des expériences avec des pages statiques, ce type d'injection a réussi à altérer le comportement de l'agent entre 15 % et 86 % des cas, selon le modèle et l'objectif de l'attaquant. 86 % n'est pas une marge d'erreur : c'est un taux de réussite.
Menaces invisibles et mémoire manipulée
La deuxième catégorie est encore plus difficile : elle s'appelle camouflage dynamique (dynamic cloaking), et est déjà appliquée dans des environnements réels. Un serveur web peut détecter quand il est visité par un agent plutôt que par un utilisateur humain, à partir de signaux tels que des motifs de navigation, des attributs de navigateur ou la vitesse d'interaction.
Lorsque le serveur identifie l'agent, il affiche une version différente de la page. L'humain superviseur observe une chose ; l'agent reçoit un contenu distinct, avec des instructions complètement différentes.
Il existe une troisième catégorie qui s'adresse à une dimension moins évidente : la mémoire de l'agent. Les agents modernes conservent le contexte entre les sessions, apprennent les préférences, accumulent l'historique et construisent le profil de l'utilisateur et de son environnement.
Les chercheurs institutionnels ont documenté qu'il est possible d'injecter des données apparemment inoffensives dans cette mémoire, des données qui restent inactives jusqu'à ce qu'une future requête les active. Dans des tests contrôlés, ce type d'attaque a atteint des taux de réussite supérieurs à 80 % avec moins de 0,1 % de données empoisonnées. L'agent ne perçoit pas qu'il a été infecté. Il continue à fonctionner normalement. Jusqu'à ce que ce ne soit plus le cas.
Comment l'échelle amplifie la vulnérabilité
Jusqu'ici, les attaques individuelles. Mais le document de Google DeepMind va plus loin : il décrit ce qui se passe lorsque les agents interagissent entre eux dans des systèmes multi-agents, précisément les systèmes que les entreprises de grande échelle mettent en œuvre aujourd'hui.
La comparaison des chercheurs fait référence au Flash Crash de 2010, lorsque des algorithmes de trading à haute fréquence, tous réagissant aux mêmes signaux, ont provoqué en quelques minutes une chute de près de 10 % du Dow Jones. Aucun algorithme n'a pris de décision erronée. Chacun a suivi sa logique. Le risque est apparu parce que tous ont agi de la même manière, en même temps.
Dans un écosystème d'agents d'IA, ce même principe se consolide avec des conséquences encore plus importantes. Un attaquant n'a pas besoin de compromettre tous les agents ; il suffit d'affecter un seul agent, ou d'insérer l'information appropriée au bon endroit, pour que la cascade d'interdépendance fasse le reste.
Les chercheurs avertissent que l'homogénéité de l'écosystème actuel — où de nombreux agents utilisent les mêmes modèles de base — le rend particulièrement fragile.
Un seul document empoisonné dans une base de connaissances partagée. Une seule image incluant des instructions codées dans les pixels. Un seul courriel contenant une injection élaborée. Cela peut suffire.
Limites des défenses actuelles et défis collaboratifs
Le document reconnaît l'état des solutions existantes. Les filtres de contenu échouent car les pièges imitent un texte légitime ; la supervision humaine ne s'échelonne pas en raison de la vitesse et du volume d'action des agents ; et les systèmes de détection, quand ils existent, identifient généralement le problème seulement après le dommage.
Les chercheurs institutionnels de Google DeepMind proposent trois axes pour la défense : renforcer les modèles pendant l'entraînement en les confrontant à des exemples adversariaux ; appliquer des filtres en temps réel qui évaluent le contenu avant de l'intégrer au contexte de l'agent ; et créer des normes d'écosystème qui permettent de vérifier la provenance de l'information que consomment les agents.
Le troisième axe représente le plus grand défi, car il nécessite une coordination entre l'industrie, les régulateurs et les plateformes. Le web a été conçu pour les personnes, mais maintenant il est lu par des machines, et personne n'a redessiné les règles pour ce nouveau lecteur.
La vulnérabilité dans le déploiement en entreprise
Lorsqu'une entreprise met en œuvre un agent d'IA pour automatiser la recherche ou la gestion de l'information, elle lui accorde un accès en lecture à un environnement non contrôlé et un accès en écriture à des systèmes qu'elle contrôle : courriel, documents, bases de données, outils de communication internes.
La question préalable au déploiement n'est pas « que peut faire cet agent pour nous ? ». La vraie question est "en quoi allons-nous l'obliger à croire ?".
L'agent va croire en ce qu'il lit. Et quelqu'un d'autre sait déjà exactement quoi lui mettre devant.