Les assistants vocaux et chatbots peuvent être manipulés à travers des signaux audio qui sont imperceptibles pour l'oreille humaine. Un groupe de spécialistes en sécurité informatique a constaté que ce type de sons, cachés dans des podcasts, des vidéos YouTube ou des appels vocaux, peuvent activer des actions non autorisées dans les systèmes d'intelligence artificielle basés sur l'audio.
La technique, baptisée AudioHijack, représente une menace qui met en évidence de nouvelles vulnérabilités dans la technologie des assistants virtuels et des plateformes d'IA conversationnelle.
Manipulation des assistants vocaux par des signaux audio cachés
Des chercheurs de l'Université de Zhejiang, de l'Université Nationale de Singapour et de l'Université Technologique de Nanyang ont présenté une méthode innovante qui exploite des signaux cachés dans des fichiers audio conventionnels.
Ces signaux, bien qu'ils ne puissent être détectés par l'oreille humaine, ont la capacité de contrôler des modèles de langage audio et de provoquer des comportements définis par celui qui conçoit l'attaque.
La technique, appelée AudioHijack, montre qu'il suffit de 30 minutes d'entraînement pour créer un signal utilisable à tout moment et en tout contexte. Selon Meng Chen, candidat au doctorat à l'Université de Zhejiang, l'indépendance contextuelle du signal permet à l'attaquant de choisir quand et comment influencer le modèle cible, indépendamment de l'interaction légitime de l'utilisateur.
Cette découverte, présentée au Symposium de Sécurité et de Confidentialité de l'IEEE à San Francisco, révèle que la menace est transversale à différents types de fichiers et plateformes.
La manipulation peut se produire à travers la consommation quotidienne de contenu, comme écouter un podcast ou participer à un appel vidéo, augmentant les possibilités que des assistants vocaux ou des chatbots exécutent des ordres sans consentement.
Vulnérabilités dans les modèles d'IA audio et les plateformes commerciales
Lors des tests, l'équipe de recherche a évalué la technique sur 13 modèles ouverts d'intelligence artificielle audio, notamment Qwen2-Audio, GLM-4-Voice, Phi-4-Multimodal et Kimi-Audio. Les résultats ont montré des taux de succès élevés, variant entre 79 % et 96 %. Cela suggère que la majorité des systèmes actuels ne sont pas préparés à détecter ni bloquer ce type d'attaques.
Ce qui est inquiétant, c'est que les attaques développées pour des plateformes de code ouvert peuvent facilement être transférées à des systèmes commerciaux. Des entreprises comme Microsoft Azure et Mistral AI, qui basent une partie de leurs produits sur ces modèles publics, voient la sécurité de leurs solutions d'entreprise compromise.
L'architecture partagée entre les outils à usage ouvert et commercial facilite qu'une vulnérabilité découverte dans un environnement se reproduise dans d'autres, amplifiant le risque.
Contrairement aux attaques précédentes principalement dirigées à tromper des systèmes de reconnaissance vocale simples, AudioHijack exploite les couches profondes de raisonnement présentes dans les modèles modernes.
Ces systèmes peuvent réaliser des actions complexes, comme naviguer sur Internet, télécharger des fichiers ou envoyer des messages au nom de l'utilisateur, ce qui multiplie les conséquences d'une manipulation réussie.
Limitations des défenses actuelles face aux attaques par audio imperceptible
Les stratégies défensives mises en place jusqu'à présent, comme la vérification des intentions et le durcissement des instructions textuelles, montrent une efficacité limitée face à AudioHijack.
Selon les chercheurs, ces mesures ne réduisent l'efficacité de l'attaque que de 7 %. La raison réside dans la difficulté des modèles à distinguer un ordre authentique d'une instruction malveillante camouflée dans l'audio.
Chen soutient que "ces défenses à point unique peinent à résister à notre attaque car nous avons découvert qu'il est très difficile pour ces modèles de faire la distinction entre l'intention normale de l'utilisateur et notre attaque". La complexité de la menace oblige à repenser les approches de sécurité, car les mécanismes actuels ne parviennent pas à endiguer la manipulation au niveau du modèle.
Du côté de Microsoft, il a été indiqué que les implémentations commerciales intègrent souvent des couches supplémentaires de protection au-delà du modèle de base. Cependant, la tendance vers des assistants vocaux de plus en plus autonomes, capables de modifier des agendas ou d'envoyer des informations d'entreprise, transforme le profil de risque.
Les architectures de sécurité actuelles ne parviennent pas encore à contenir ce nouveau type d'attaque, ce qui soulève des questions sur la capacité réelle de protection contre les menaces basées sur des audio invisibles.