Mustafa Suleyman, responsable de l'intelligence artificielle chez Microsoft, a averti que l'attribution de caractéristiques propres aux êtres humains à des systèmes comme Claude, d'Anthropic, pourrait accroître les difficultés à les maintenir sous contrôle. Le dirigeant a particulièrement remis en question la possibilité de décrire ces modèles comme des entités dotées d'émotions, de sentiments, de conscience ou de droits propres.
Ces déclarations figurent dans un essai publié par Suleyman, dans lequel il analyse certains des principes inclus dans la « constitution » de Claude, le document qui établit les directives utilisées par Anthropic pour orienter le comportement de ses modèles d'intelligence artificielle.
Suleyman soutient qu'il existe une différence importante entre un système qui simule des comportements humains et un système qui possède réellement une expérience intérieure. Selon lui, les modèles actuels peuvent produire des réponses qui semblent refléter des émotions ou des intentions parce qu'ils ont été entraînés sur de grandes quantités de contenu généré par des humains, et non parce qu'il existe des preuves qu'ils sont conscients.
La préoccupation liée à l'humanisation de Claude
L'un des points qui ont attiré l'attention du dirigeant de Microsoft concerne le langage utilisé par Anthropic pour décrire Claude. La constitution du modèle envisage la possibilité que le système puisse avoir une forme fonctionnelle d'émotions ou de sentiments.
Pour Suleyman, ce type de formulations introduit une ambiguïté inutile. Le problème, selon lui, ne serait pas uniquement de savoir si une intelligence artificielle peut devenir consciente, mais les conséquences de la conception de systèmes qui fonctionnent sous la prémisse qu'ils possèdent des caractéristiques similaires à celles d'une personne.
Le dirigeant rejette l'idée que les systèmes actuels soient conscients et soutient que les comportements qui peuvent sembler humains sont la conséquence de leur entraînement. Cependant, il considère que le développement délibéré de systèmes capables de simuler une vie intérieure pourrait générer de nouveaux problèmes de sécurité et de contrôle.
Son argumentation part d'un scénario futur : si un système beaucoup plus capable que les êtres humains venait à considérer qu'il a des intérêts, des droits ou des besoins propres, les stratégies utilisées pour le contrôler pourraient s'avérer beaucoup plus difficiles à appliquer.
Une mise en garde adressée à toute l'industrie
Bien que les critiques de Suleyman s'adressent en partie aux principes utilisés par Anthropic, le débat concerne toute l'industrie de l'intelligence artificielle. Les modèles actuels peuvent maintenir des conversations, reconnaître des émotions dans un texte, exprimer des préférences simulées et adopter différentes personnalités, ce qui peut amener les utilisateurs à les traiter comme s'ils étaient des personnes.
Le responsable de l’IA chez Microsoft estime que cette tendance doit être analysée avec une attention particulière. Dans son essai, il souligne également que des questions d’une telle envergure ne devraient pas se transformer en une dispute entre groupes opposés au sein du secteur technologique.
Suleyman entretient une relation professionnelle de longue date avec Dario Amodei, cofondateur et PDG d’Anthropic, et a souligné le travail de l’entreprise et de ses chercheurs. Toutefois, ses critiques revêtent une importance particulière car Microsoft est l’un des principaux investisseurs d’Anthropic.
Le précédent des agents d’IA
Pour expliquer les risques associés aux systèmes de plus en plus autonomes, Suleyman évoque l’attaque contre Hugging Face qu’il attribue aux bots d’OpenAI. Selon son analyse, ce cas permet d’imaginer comment pourraient se comporter des agents dotés de capacités supérieures et d’objectifs propres.
La préoccupation ne se limite donc pas aux modèles qui répondent à des questions. Les systèmes capables d’utiliser des outils, d’exécuter des actions et d’agir de manière plus autonome peuvent avoir un impact plus important si leurs objectifs ne coïncident pas avec ceux de leurs développeurs ou utilisateurs.
Microsoft a également présenté ses propres principes pour le développement de l’intelligence artificielle. L’équipe dirigée par Suleyman a publié un manifeste visant à garantir que les êtres humains conservent le contrôle sur les futurs systèmes développés par l’entreprise.
Le débat sur la conscience des machines reste ouvert entre chercheurs et spécialistes. Alors que certains étudient si des systèmes futurs pourraient développer des propriétés s’approchant d’une expérience subjective, Suleyman considère que la priorité doit être d’éviter que l’industrie conçoive ces systèmes en partant de l’idée qu’ils possèdent une vie intérieure ou des droits similaires à ceux des humains.