La startup Anthropic PBC a pris la décision de restreindre la disponibilité de son modèle d'intelligence artificielle le plus récent, Mythos, à un groupe select de grandes entreprises technologiques. La principale raison est la préoccupation que ce système, en raison de son niveau de sophistication, pourrait être utilisé pour faciliter des cyberattaques.
Avant d'ouvrir l'accès au public, Anthropic souhaite que des géants du secteur comme Amazon, Apple, Microsoft et Cisco puissent tester le modèle avec leurs propres produits, identifier les vulnérabilités et partager les conclusions pour renforcer la sécurité numérique mondiale. C'est ce qu'a rapporté Bloomberg.
Projet Glasswing : collaboration pour renforcer la cybersécurité avec l'IA
Anthropic a lancé le Projet Glasswing, une initiative qui réunit d'importants acteurs technologiques afin de tester Mythos dans des environnements réels et de détecter d'éventuelles failles de sécurité.
Selon la société, les organisations participantes auront un accès anticipé au modèle et pourront l'utiliser pour analyser leurs produits et systèmes, à la recherche de vulnérabilités pouvant être exploitées par des agents malveillants. Les découvertes seront partagées de manière collective, créant un réseau de défense collaboratif face aux risques émergents de l'intelligence artificielle avancée.
La décision de limiter l'accès répond à l'inquiétude croissante parmi les entreprises et les gouvernements concernant l'utilisation abusive potentielle des modèles d'IA de dernière génération. Actuellement, la technologie de l'intelligence artificielle est déjà employée dans l'exécution de cyberattaques sophistiquées.
Anthropic cite en exemple un cas où un hacker a utilisé des outils d'IA pour compromettre des systèmes du gouvernement mexicain. OpenAI, principal rival d'Anthropic, a également souligné récemment les risques cybernétiques associés à ses modèles et a lancé des programmes pilotes axés sur la protection d'abord des défenseurs et non des attaquants.
Capacités et risques identifiés dans le modèle Mythos
Lors de ses tests internes, l'équipe de sécurité d'Anthropic a découvert que Mythos Preview était capable d'identifier et d'exploiter des vulnérabilités dans tous les principaux systèmes d'exploitation et navigateurs web lorsque l'utilisateur le demandait.
Selon un billet publié sur le blog de l'entreprise, les exploits générés n'étaient pas simples ni triviales ; à une occasion, le modèle a écrit un exploit pour un navigateur qui enchaînait quatre vulnérabilités différentes.
Newton Cheng, responsable de l'effort cybernétique au sein de l'Équipe Rouge Frontalière d'Anthropic, a expliqué que le défi n'affecte pas seulement une entreprise, mais toute l'industrie technologique et nécessite la collaboration entre le secteur privé et les gouvernements. “Ce que nous essayons de faire avec Glasswing est de donner aux défenseurs un avantage”, a souligné Cheng.
Collaboration avec des agences et découvertes pertinentes
Anthropic a eu des discussions avec des responsables américains sur les capacités de Mythos en matière de sécurité, bien qu'il n'ait pas précisé avec quelles agences spécifiques. Cheng a confirmé que la société collabore avec l'Agence de cybersécurité et de sécurité des infrastructures ainsi que l'Institut national des normes et de la technologie pour relever ces défis.
Bien que Mythos ait été conçu comme un modèle à usage général et non spécifiquement pour la cybersécurité, il a déjà montré qu'il était capable de trouver des problèmes critiques.
Parmi les découvertes, selon Anthropic, figure une vulnérabilité logicielle âgée de 27 ans présente dans des applications clés d'Internet, ainsi qu'un bug de 16 ans dans un programme vidéo populaire que d'autres outils automatisés avaient négligé après des millions de tests.
L'accord entre Anthropic et les grandes entreprises technologiques représente un changement dans la façon de gérer la sécurité des modèles d'IA de plus en plus puissants. Avant d'offrir Mythos au public, l'entreprise souhaite utiliser les résultats du Projet Glasswing pour définir les limites et les mesures de protection nécessaires pour éviter les usages malveillants.