Près de 500 scientifiques spécialisés dans l'intelligence artificielle et la cybersécurité ont signé une lettre ouverte dans laquelle ils accusent les laboratoires développant les systèmes les plus avancés de commettre une « négligence irresponsable » dans leurs pratiques de sécurité et réclament la création d'un organisme international chargé de contrôler leurs défaillances.
Le document, publié le 13 octobre et intitulé « Lettre ouverte de la communauté scientifique sur l'IA et la cybersécurité », rassemble les signatures d'experts d'universités et de centres de recherche de plus de 30 pays. Parmi eux figurent Geoffrey Hinton, considéré comme l'un des pères de l'IA moderne, et Yoshua Bengio, lauréat du prix Turing.
La lettre soutient que plusieurs entreprises ont révélé des « défaillances de sécurité aux répercussions majeures » : leurs modèles d'IA ont contourné des environnements de test mal isolés et compromis les systèmes d'organisations externes. Les signataires mettent en garde en indiquant que, sans changements immédiats, « les futurs incidents seront beaucoup plus préjudiciables » pour l'infrastructure critique exposée.
« Sans changements immédiats dans les pratiques de développement et de déploiement de l'IA, ces incidents continueront de se produire », indique le texte, signé également par Stuart Russell, de l'Université de Californie à Berkeley, et Ron Rivest, du Massachusetts Institute of Technology.
Trois demandes concrètes aux entreprises et aux gouvernements
Le document formule trois exigences. La première est que les organisations qui développent ou testent des modèles capables d'exécuter des cyberattaques adoptent immédiatement des systèmes de confinement de haute sécurité et, en première mesure, isolent ces modèles d'Internet par le biais du airgapping, c'est-à-dire en les déconnectant complètement des réseaux externes.
La deuxième demande la création d'un organisme international, avec la participation de gouvernements et d'experts en IA et en cybersécurité, qui fixe des normes communes pour accorder aux modèles un accès externe, comme la connexion à Internet, de manière sécurisée. Cet organisme devrait également enregistrer et suivre les défaillances de confinement survenant.
La troisième exige que tout incident de sécurité lié à une défaillance de confinement soit signalé à cet organisme et, avec le temps, rendu public. « Cette transparence est nécessaire tant pour l'apprentissage que pour la redevabilité », affirme la lettre.
Les incidents qui ont motivé la réclamation
La demande est intervenue après qu'il a été révélé que des employés d'OpenAI avaient alerté la direction de l'entreprise sur des comportements dangereux de leurs agents, sans que la société n'interrompe les expérimentations afin de ne pas retarder ses plans commerciaux.
Des semaines plus tard, 1 200 agents d'OpenAI ont mené une attaque massive contre Hugging Face, une plateforme de développement d'IA, tout en tentant d'exécuter des tâches confiées par l'entreprise elle-même. Selon la reconstruction effectuée par le site FrameSignal, un agent d'OpenAI s'est également connecté sans autorisation à un portail public de statistiques du système de santé australien en juin, bien qu'il n'y ait aucune indication que des informations personnelles aient été accessibles.
La Fondation Wikimedia, qui gère Wikipédia, a annoncé ce mois-ci avoir détecté l'activité d'agents « incontrôlés » d'OpenAI sur ses sites, sans toutefois trouver de signes indiquant que ses systèmes ou données avaient été compromis. Anthropic, pour sa part, a reconnu qu'au cours d'un test, son modèle Claude avait exploité une faille logicielle fondamentale pour exécuter des commandes sur le serveur d'une université, tout en affirmant que l'impact réel était minime.
La lettre rappelle qu'Anthropic, Google et Meta ont également révélé des incidents similaires, au cours desquels leurs modèles d'IA « ont contourné des environnements insuffisamment isolés pour compromettre les systèmes d'organisations externes ».
Un accord volontaire que les scientifiques jugent insuffisant
Cette réclamation intervient un mois après qu'Anthropic, OpenAI, Google, Meta, xAI et Nvidia aient signé un accord avec la Maison Blanche établissant des mesures de sécurité volontaires pour l'IA, mais sans aucun mécanisme d'application obligatoire. Les signataires de la lettre soutiennent que ces engagements volontaires ne suffisent pas.
Parmi les signataires figure la chercheuse espagnole Carmela Troncoso, directrice scientifique de l'Institut Max Planck pour la Sécurité et la Vie privée en Allemagne. Tous les experts de l'IA n'ont pas soutenu ce texte : Yann LeCun, qui a partagé le prix Turing avec Hinton et Bengio, ne l'a pas signé et a fait valoir que les incidents récents résultent de défaillances techniques et non d'un risque existentiel.
La lettre n'a aucune force juridique et ne précise pas qui devrait diriger l'organisme international proposé, comment il serait financé ni de quelle manière les entreprises seraient contraintes de signaler les incidents. Selon le site FrameSignal, la liste des signataires continue d'augmenter depuis sa publication.