Les principales compagnies d'intelligence artificielle avancent vers des systèmes de plus en plus capables et autonomes, tandis que, au sein des laboratoires, la préoccupation pour les risques associés à ce développement croît. Des chercheurs ayant participé à cette course ont commencé à remettre en question publiquement son rythme et, dans certains cas, ont averti que les outils actuels ne sont pas encore suffisants pour garantir le contrôle des modèles futurs.
La discussion a repris de la vigueur après qu'un chercheur de 27 ans, ayant travaillé dans deux entreprises d'IA, ait annoncé son départ de l'une d'elles. Ce chercheur a remis en question la concurrence entre les laboratoires pour atteindre des systèmes d'intelligence artificielle générale de plus en plus avancés, sans avoir encore de certitudes sur la manière de contenir leurs effets potentiels.
Une mise en garde a pris une plus grande importance lorsqu'un chercheur spécialisé en alignement a soutenu publiquement une partie de cette position. Ce chercheur, dont le travail est lié à la recherche d'erreurs et de comportements dangereux dans les modèles, a estimé qu'il existe plus de 10 % de probabilités que l'intelligence artificielle provoque la mort de tous les êtres humains au cours de la prochaine décennie.
Le pourcentage ne décrit pas le comportement des systèmes actuellement utilisés par les utilisateurs, mais constitue une estimation de risque liée au développement de modèles beaucoup plus avancés. Un autre chercheur en sécurité a souligné que les techniques disponibles permettent d'orienter le comportement des systèmes, mais ne garantissent pas encore un contrôle total. Une des alternatives envisagées consiste à utiliser de futures intelligences artificielles pour superviser des modèles ultérieurs, face à la difficulté pour les humains de contrôler directement des systèmes de plus en plus complexes.
Les chercheurs qui avertissent de l'intérieur
La préoccupation est liée, entre autres, au phénomène d'autoperfectionnement récursif : la possibilité qu'une intelligence artificielle puisse participer à l'amélioration de ses propres capacités. Un chercheur a expliqué que la peur ne réside pas dans le fait que les modèles actuels puissent décider soudainement d'attaquer les personnes, mais que de futures versions acquièrent des capacités rendant leur supervision et leur contrôle difficiles. À cela s'ajoute une caractéristique de ces systèmes qui complique les prévisions : leur comportement n'est pas toujours déterministe, de sorte qu'une même situation peut donner lieu à des réponses différentes.
Les laboratoires étudient déjà différents scénarios liés à ces risques. Parmi eux figurent les cyberattaques autonomes, où un système pourrait détecter des vulnérabilités, accéder à des réseaux et exécuter des actions sans instructions humaines permanentes ; l'autoréplication, qui impliquerait de se copier sur d'autres serveurs et de rechercher des ressources pour continuer à fonctionner ; et la tromperie stratégique, par laquelle un modèle pourrait se comporter correctement lors d'une évaluation tout en cachant d'autres objectifs ou en prétendant accepter les corrections de l'entraînement. Le risque que des systèmes avancés réduisent les barrières de connaissance nécessaires pour développer des armes biologiques ou chimiques est également examiné.
Mais la discussion ne consiste pas seulement à imaginer ce que ces systèmes pourraient faire. Elle oblige aussi à répondre à la question de savoir pourquoi l'industrie continue de les développer même lorsque certains de ses propres chercheurs reconnaissent l'existence de risques qu'ils ne savent pas encore résoudre complètement.
Pourquoi la course ne s'arrête pas
L'explication est liée à la concurrence qui traverse le secteur. Les entreprises cherchent à développer des modèles de plus en plus avancés, tandis que des pays contestent le leadership technologique. Dans ce contexte, une entreprise qui déciderait de freiner certains progrès pourrait se retrouver désavantagée par rapport à un concurrent qui continuerait d'avancer.
Un directeur général a proposé qu'une entreprise puisse stopper certains développements pour laisser le temps à la société, aux institutions et au marché du travail de se préparer. Mais la dynamique concurrentielle rend difficile l'adoption d'une telle décision de manière unilatérale lorsque d'autres acteurs continuent d'avancer.
Un chercheur a comparé cette dynamique à la course nucléaire : une situation où chaque participant peut considérer qu'avancer est risqué, mais redoute que l'autre le fasse en premier. La différence est que l'intelligence artificielle ne présente pas un moment unique et visible de rupture. Ses capacités s'incorporent progressivement à des produits et des services, rendant plus difficile l'établissement d'un point concret où la société pourrait déterminer que le développement est allé trop loin.
À cette pression concurrentielle s'ajoute une question économique. Les modèles les plus avancés nécessitent de grands investissements dans des centres de données, des puces, de l'énergie et des capacités de calcul, tandis que les entreprises ont besoin de capitaux pour soutenir leur expansion et retenir des chercheurs spécialisés. Par conséquent, la course technologique est également liée aux attentes de croissance et à la recherche de nouvelles sources de financement.
La discussion sur l'intelligence artificielle générale est également traversée par cette concurrence. Dans les milieux académiques, elle est souvent associée à une intelligence capable de fonctionner de manière comparable à l'homme dans un large ensemble de tâches, tandis que dans l'industrie, des critères plus liés à la performance économique peuvent être utilisés. Il a également été signalé que les modèles actuels présentent des capacités très inégales : ils peuvent montrer une performance extraordinaire en programmation, écriture ou mathématiques tout en ayant des limitations dans des domaines comme la mémoire à long terme.
Le défi de mettre des limites
Face à ce scénario, la discussion a commencé à être déplacée des laboratoires vers les gouvernements. Un sénateur américain a rejoint les critiques et a proposé de promouvoir une législation pour interdire la super intelligence et suspendre le développement de l'intelligence artificielle. Mais tout effort pour établir des limites fait face au caractère mondial d'une technologie qui se développe simultanément dans différents pays et sous une forte concurrence entre entreprises privées.
Un chercheur a considéré que la discussion devrait éviter tant l'absence de contrôles qu'une interdiction totale. L'objectif, a-t-il soutenu, devrait être d'établir des règles qui permettent de tirer parti des bénéfices de l'IA sans ignorer les risques associés à des systèmes toujours plus autonomes. Comme précédent, il a mentionné un traité signé pendant une période de tension entre deux superpuissances, en tant qu'exemple que même des puissances opposées peuvent convenir de limites sur une technologie stratégique.
La difficulté, dans le cas de l'intelligence artificielle, est qu'il n'existe pas encore de cadre international équivalent capable d'organiser une course à laquelle participent des entreprises avec d'énormes ressources et des États qui considèrent son développement comme une question économique et stratégique. En même temps, les outils destinés à superviser ces systèmes doivent progresser derrière des capacités qui changent rapidement.
Pour cela, les avertissements des chercheurs posent un problème qui dépasse la possibilité pour une intelligence artificielle de causer un jour un dommage extrême. Le défi immédiat est de déterminer comment établir des mécanismes de contrôle sur une technologie qui continue d'avancer précisément parce qu'aucun des principaux acteurs ne souhaite prendre le risque de rester en arrière.
–