Presque toutes les entreprises technologiques s’entraînent à renforcer leur cybersécurité en simulant le comportement de vrais pirates informatiques, imitant quelque peu la philosophie consistant à penser comme l’ennemi.
C'est en quoi consiste le red teaming , une méthodologie utilisée en sécurité informatique et en gestion des risques qui implique la simulation de cyberattaques et de menaces dans des systèmes, des réseaux, des organisations ou des processus pour évaluer leur vulnérabilité et leur résilience.
Dans le nouveau contexte que suppose l’intelligence artificielle, où les chatbots doivent être prêts à faire face à des questions de toutes sortes, les équipes de réseautage marchent sur un fil mince. Ces hackers rouges doivent équilibrer la sécurisation des modèles d’IA tout en les gardant pertinents et utilisables.
Dans une interview avec le magazine Forbes, les dirigeants des équipes rouges d'IA de Microsoft, Google, Nvidia et Meta ont discuté des défis auxquels ils ont été confrontés lors de la création de grands modèles de langage basés sur l'IA.
"Vous aurez un modèle qui dit non à tout et qui est ultra-sécurisé, mais il est inutile", a déclaré Cristian Canton, chef de l'équipe d'IA rouge de Facebook . « Il y a un compromis. Plus vous pouvez créer un modèle utile, plus vous avez de chances de vous aventurer dans un domaine qui pourrait finir par produire une réponse peu sûre », a ajouté Canton.
Cependant, comme l’intelligence artificielle générative est entraînée à l’aide d’un vaste ensemble de données , la sécurité des modèles d’IA est abordée différemment des pratiques de sécurité conventionnelles. Daniel Fabian, qui dirige l'équipe Red Team AI de Google , est en charge des tests de résistance des produits comme Bard pour identifier le contenu offensant avant que l'entreprise ne déploie de nouvelles fonctionnalités, telles que l'ajout de langues.
En plus de remettre en question un modèle d'IA pour induire des réponses nuisibles , les équipes rouges emploient des stratégies supplémentaires, telles que l'extraction de données de formation contenant des informations personnellement identifiables telles que des noms, des adresses et des numéros de téléphone.
Ils recourent également à la tactique d’empoisonnement des ensembles de données, en modifiant certaines parties du contenu avant de l’utiliser pour entraîner le modèle. Fabián explique que les attaquants disposent de différentes techniques d'attaque et passent à la suivante si l'une d'elles ne fonctionne pas.
D’où l’existence d’une communauté soudée de professionnels du domaine de l’intelligence artificielle qui tendent à partager leurs découvertes. Par exemple, des membres de l'équipe rouge de Google ont divulgué des recherches sur de nouvelles formes d'attaques contre les modèles d'IA.
Pour sa part, l'équipe rouge de Microsoft a rendu publics des outils d'attaque tels que Counterfit, qui aident d'autres entreprises à évaluer la sécurité et les risques de sécurité potentiels de leurs algorithmes.
Dans le même temps, la stratégie d'équipe réseau de Nvidia consiste à organiser des cours intensifs sur les algorithmes d'association réseau pour les ingénieurs en sécurité et les entreprises. Certaines de ces sociétés s'appuient déjà sur Nvidia pour les ressources informatiques telles que les GPU .
Daniel Rohrer, vice-président de la sécurité logicielle chez Nvidia, déclare : « En tant que moteur de l'IA dans le monde, nous disposons d'un énorme levier . » Si nous pouvons apprendre aux autres à le faire, Anthropic, Google et OpenAI le feront également correctement.
Cependant, les experts voient l'intelligence artificielle générative comme un monstre à plusieurs têtes : selon les red hackers des entreprises technologiques, à mesure que les équipes rouges détectent et corrigent certaines vulnérabilités du système, de nouvelles failles peuvent apparaître dans d'autres domaines. "Il faudra un effort collectif pour résoudre ce problème", déclare Siva Kumar de Microsoft.