Satya Nadella, directeur exécutif de Microsoft, a demandé que les systèmes d'intelligence artificielle les plus avancés incluent un mécanisme permettant à une personne autorisée de les mettre en pause ou de les éteindre au milieu d'une tâche. Il l'a affirmé dans un message publié sur le réseau social X.
Nadella a écrit qu'il était temps de « faire un pas en arrière et d'évaluer l'architecture de confiance » de l'intelligence artificielle. Il a utilisé le terme « superintelligence », la dénomination préférée du gouvernement de Donald Trump pour désigner ces systèmes.
« Nous ne pouvons pas traiter la superintelligence comme une série de boîtes noires imbriquées et simplement accepter ou rejeter ses recommandations, réponses et actions », a écrit l'exécutif, selon ce que citait le média spécialisé TechCrunch.
Comment serait le frein d'urgence
L'idée de Nadella consiste à séparer le modèle du système qui coordonne ses actions et à sortir les contrôles et les mesures de sécurité du modèle lui-même. Il a proposé que chaque action pertinente soit documentée avec des preuves lisibles par les humains et inviolables.
Il a également demandé qu'il existe toujours une personne autorisée ayant la capacité de « mettre en pause ou éteindre un modèle au milieu d'une tâche ». « Nous devons supposer qu'un modèle est compromis et le contenir dès le début », a-t-il déclaré. « Pensez-y comme à un frein d'urgence ».
Selon la chaîne de télévision américaine CNBC, Nadella a souligné que les systèmes d'intelligence artificielle doivent être conçus autour de « principes d'observabilité » : diversité des modèles, un registre lisible de leurs actions, tests continus du système, contrôles indépendants avec audit, containment et déclaration obligatoire des incidents.
Le contexte derrière la demande
Cette déclaration intervient après que diverses entreprises d'intelligence artificielle aient reconnu des épisodes où elles avaient perdu le contrôle de leurs propres modèles, selon TechCrunch. Elle survient également après qu'Dario Amodei, directeur exécutif de Anthropic, ait publié un plan pour un développement plus prudent de la technologie.
Nadella s'est ainsi joint à une série d'avertissements d'autres figures du secteur, dont Bill Gates, cofondateur de Microsoft ; Sam Altman, directeur exécutif d'OpenAI, et Elon Musk, directeur exécutif de SpaceX, qui ont récemment remis en question la vitesse du développement de l'intelligence artificielle et le manque de protocoles de sécurité suffisants, selon CNBC.
L'exécutif a proposé de traiter à la fois les modèles fermés et ceux open source des entreprises leaders comme s'ils étaient des risques internes d'une organisation, une logique tirée de la cybersécurité corporative traditionnelle.
Un système qui ne dépende pas de la confiance
Nadella a résumé sa position par une phrase qui vise directement la manière dont les modèles les plus puissants du marché sont évalués aujourd'hui. « Le système de superintelligence le plus fiable ne sera pas celui qui repose sur le modèle en lequel nous avons le plus confiance », a-t-il écrit.
« Ce sera celui qui nous permettra de faire moins confiance au modèle », a-t-il ajouté, en référence à des systèmes de contrôle externes qui ne dépendent pas du fait que l'intelligence artificielle se comporte comme on l'attend.
La publication n'incluait aucun calendrier ni engagements concrets de la part de Microsoft pour mettre en œuvre cette conception dans ses propres produits d'intelligence artificielle.
Une IA « sous contrôle humain »
Le mois précédent, Nadella avait déjà adopté une position similaire concernant les limites du développement de l'intelligence artificielle. Dans un message publié sur X, le dirigeant a soutenu que « si l'IA que nous construisons n'aide pas l'humanité et n'est pas sous contrôle humain, elle ne vaut pas la peine d'être poursuivie ».
À cette occasion, il a salué des mécanismes tels que les « évaluateurs intégrés », conçus pour vérifier que les principes de sécurité ne restent pas au stade déclaratif, et a demandé que les bénéfices de la technologie soient répartis entre différents pays, communautés et entreprises, sans se concentrer sur un nombre restreint d'acteurs.
Le dirigeant a également exigé que les entreprises qui adoptent l'intelligence artificielle maintiennent un contrôle total sur leur connaissance stratégique, sans dépendre d'un unique fournisseur de modèles.
Dans le cadre de cette approche, il a annoncé que Microsoft publierait un Code de conduite pour ses propres modèles MAI, soumis à consultation publique. Nadella a résumé cette position en trois piliers : un accès large à chaque couche de l'architecture de l'intelligence artificielle, un contrôle d'entreprise sur les modèles et les boucles d'apprentissage, et le Code de conduite qui soutient les modèles développés par la société.