Qui sera le Robert Oppenheimer de la révolution de l'intelligence artificielle ? C'est la question que je me posais en lisant le nouveau livre éblouissant de Mustafa Suleyman , The Coming Wave : Technology, Power and the 21st Century's Greatest Dilemma . C'est peut-être Suleyman lui-même.
Si les idées de Suleyman sur la manière de relever les défis posés par l’IA suscitent notre respect et notre attention, elles rappellent les dilemmes angoissants de l’ère nucléaire, sans parler des politiques toxiques qui ont coïncidé avec le début de la guerre froide.
À présent, vous aurez lu beaucoup de battage médiatique et de pessimisme sur le sujet. Mais celui de Suleyman est le livre que vous ne pouvez pas vous permettre de ne pas lire . En tant que cofondateur de DeepMind, aux côtés de Demis Hassabis et Shane Legg, Suleyman a été une figure clé dans l’ avancée explosive de l’IA . J'étais dans la salle lorsque DeepMind a fait sa première percée avec le Deep Q Network, qu'il a appris à exceller dans le jeu informatique Breakout . Il était « présent à l'élaboration » lorsque AlphaGo de DeepMind a battu Lee Sedol dans l'ancien jeu de société asiatique Go à Séoul en 2016, un événement regardé en direct par 280 millions de personnes.
Plus récemment, il a aidé Google à créer LaMDA (abréviation de Language Model for Dialogue Applications), l'un des nouveaux grands modèles de langage (LLM) révolutionnaires. LaMDA est si plausible dans une conversation qu’il a convaincu l’ingénieur de Google, Blake Lemoine, qu’il était sensible au point d’être une personne. C'est sûrement là l'essence même de la réussite du « Test de Turing », du nom du pionnier anglais des technologies de l'information, Alan Turing. L'année dernière, Suleyman a créé Inflection AI avec Reid Hoffman, dont j'ai parlé dans ma dernière chronique du livre Impromptu , qu'il a co-écrit avec GPT-4 .
Ce qui rend Suleyman inhabituel dans ce domaine, c’est qu’il n’a pas débuté comme data scientist. Né à Islington, au nord de Londres, fils d'un chauffeur de taxi d'origine syrienne et d'une infirmière anglaise, il a quitté Oxford pour fonder la Muslim Youth Helpline, un service de conseil téléphonique, et a ensuite travaillé pour le maire socialiste de Londres, Ken Livingstone. .(« Ken le Rouge »). Ses expériences avec les autorités municipales et les Nations Unies éclairent ses réflexions sur la réponse politique probable aux défis posés par l’IA.
Le point de départ de Suleyman est l’idée familière et hyperbolique selon laquelle l’IA va révolutionner presque tout. « Grâce à l'IA, nous pourrions percer les secrets de l'univers, guérir des maladies qui nous échappent depuis longtemps et créer de nouvelles formes d'art et de culture qui transcendent les limites de l'imagination. … La vague à venir est un superamas, une explosion évolutive comme l’explosion cambrienne, l’éruption de nouvelles espèces la plus intense de l’histoire de la Terre ».
En lisant ses premiers chapitres, je me suis souvenu de Why AI Will Save the World de Marc Andreessen, l'essai récent dans lequel le titan du capital-risque argumente contre les Cassandres et les Luddites en affirmant que l'IA ne « ça va nous tuer » tout cela, ruiner notre société, supprimer tous nos emplois ou conduire à des inégalités paralysantes. Cela permettra simplement aux mauvaises personnes de faire plus facilement de mauvaises choses, comme presque toutes les nouvelles technologies.
Mais Suleyman est beaucoup moins optimiste. « Avec l'IA, prévient-il, nous pourrions créer des systèmes qui échappent à notre contrôle et nous retrouver à la merci d'algorithmes que nous ne comprenons pas . » Il prévoit « une menace existentielle pour les États-nations : des risques si profonds qu'ils peuvent perturber, voire renverser l'ordre géopolitique actuel ». Il craint « des cyberattaques massives alimentées par l’IA, des guerres automatisées qui pourraient dévaster des pays, [et] des pandémies artificielles », sans parler « d’une avalanche de désinformation, de pertes d’emplois et de la perspective d’accidents catastrophiques ».
Cela semble beaucoup plus proche d'un autre ancien expert de Google en IA, Geoffrey Hinton, qui a récemment déclaré à Wired : « Il y a des moments où je pense que nous ne pourrons probablement pas la contenir [IA], et nous ne sommes qu'un progressivement, éphémère dans l'évolution de l'intelligence ». La dernière suggestion de Hinton pour ralentir la révolution de l'IA est d'exiger qu'elle soit basée sur des ordinateurs analogiques .
Dans mes jours les plus optimistes, j'espère que les LLM polluent tellement Internet avec leurs « hallucinations » (des choses inventées qui sonnent vrai) que nous perdons tous confiance dans tout ce que nous trouvons en ligne. Les LLM ont déjà commencé à tirer des leçons des quantités massives de contenu qu'ils diffusent eux-mêmes, ce qui doit sûrement avoir des conséquences en termes d'entrées et de sorties de déchets. Comme l’a soutenu Deepak Seth, les LLM collectent déjà du contenu généré par l’IA et en tirent des leçons. Ce processus aura tendance à amplifier les hallucinations. Plus tôt ce mois-ci, le Wall Street Journal a rapporté que le GPT-4 se détériorait en mathématiques. Le terme technique pour cela est « dérive », ce qui donne un nouveau sens à la question : « Comprenez-vous mon idée ? »
Moins nous pouvons faire confiance au verbiage plausible que GPT-4 nous donne, plus il nous ramènera à de bonnes bibliothèques démodées, où les connaissances sont beaucoup plus fiables et rationnellement ordonnées plutôt que de maximiser la participation du globe oculaire. C'est pourquoi mon plus gros investissement au cours des cinq dernières années a été dans une grande bibliothèque de style « Nom de la Rose » pour abriter des livres imprimés sur papier.
Le danger le plus immédiat à court terme que représente l’IA concerne le processus politique démocratique. Plus tôt cet été, Archon Fung et Lawrence Lessig ont publié un essai effrayant dans Scientific American, dans lequel ils imaginaient une IA appelée « Clogger » décidant du résultat de l’élection présidentielle de 2024.
Premièrement, votre modèle de langage générerait des messages (textes, réseaux sociaux et e-mails, comprenant peut-être des images et des vidéos) adaptés à vous personnellement... Deuxièmement, Clogger utiliserait une technique appelée apprentissage par renforcement pour générer des messages de plus en plus susceptibles de changer. votre vote. … Enfin, au cours d'une campagne, les messages de Clogger peuvent évoluer pour prendre en compte vos réponses aux publications précédentes et ce que vous avez appris pour changer d'avis.
Un autre danger évident et actuel est que de plus en plus de décisions militaires soient déléguées à l’IA, comme c’est déjà le cas avec le système de défense antimissile Iron Dome d’Israël et cela semble de plus en plus une caractéristique de la guerre des drones en Ukraine. L'affirmation la plus discutable de l'essai d'Andreessen était celle selon laquelle « l'IA va rendre la guerre meilleure, quand elle se produira, en réduisant considérablement les taux de mortalité en temps de guerre », parce que l'IA aidera les hommes d'État et les commandants à « élaborer de bien meilleures stratégies et tactiques ». décisions, minimisant les risques, les erreurs et les effusions de sang inutiles ».
Je soupçonne fortement que le contraire se produira. Dans les prochaines guerres contre l’IA, les taux de mortalité dans l’armée seront très, très élevés, précisément parce que l’IA rendra les missiles et autres armes beaucoup plus précis. Toute IA à moitié décente qui a lu Clausewitz voudra obtenir l’anéantissement de l’ennemi le plus rapidement possible. Les commandants dotés de l'IA peuvent également être plus disposés à sacrifier leurs propres hommes pour assurer la victoire, de la même manière que les programmes d'échecs de l'IA sacrifient leurs propres pièces plus impitoyablement que les grands maîtres humains.
Bref, je suis d'accord avec l'analyse de Suleyman. L’IA (surtout lorsqu’elle est combinée au génie génétique, à la robotique, aux ordinateurs quantiques, aux réacteurs à fusion et aux nanotechnologies) implique une prolifération de nouvelles technologies asymétriques, hyper-évolutives, « à tous usages » et autonomes. Toutes les conséquences ne seront pas bénignes.
Le problème est qu’un tel tsunami de changements technologiques est presque impossible à contenir, et encore moins à arrêter. Comme le soutient Suleyman, nos institutions politiques n’ont pas la capacité de réglementer l’IA. D’une part, les acteurs criminels pourraient bientôt déployer des logiciels malveillants imparables (bien pires que WannaCry), des robots ou des drones tueurs et de faux moteurs de désinformation. En revanche, le pouvoir juridique est de plus en plus concentré entre les mains des dirigeants de quelques entreprises technologiques : les nouvelles Compagnies des Indes orientales. Pendant ce temps, l’IA est sur le point de provoquer une perturbation massive du marché du travail, détruisant le contrat social moderne, par lequel l’État-nation libéral du XXe siècle offrait à ses citoyens la sécurité et un taux d’emploi élevé.
Pouvons-nous faire quelque chose pour éviter ce résultat dystopique ? Dans un nouvel article co-écrit avec Ian Bremmer, On Foreign Affairs, Suleyman propose un plan ambitieux pour un régime international « technoprudentiel » pour réglementer l’IA. L'analogie concerne en partie la réglementation financière, comme lui et Bremmer le montrent clairement en proposant comme modèle potentiel « le rôle macroprudentiel joué par les institutions financières mondiales telles que le Conseil de stabilité financière, la Banque des règlements internationaux et le Fonds monétaire international ». € . Plus précisément, ils appellent à la création d'un Conseil de stabilité géotechnologique, similaire au Conseil de stabilité financière créé en avril 2009, au plus profond de la crise financière mondiale. Cependant, ils imaginent que les grandes entreprises technologiques participeront en tant que « parties aux sommets internationaux et signataires de tout accord sur l’IA », ce qui implique un rôle encore plus important que celui des grandes banques dans la régulation financière.
Comme moi, vous pourriez être enclin au désespoir à l’idée de réglementer l’IA aussi mal que la finance. Mais remarquez les deux autres éléments du modèle Bremmer-Suleyman. L’un d’entre eux est un organisme similaire au Groupe d’experts intergouvernemental sur l’évolution du climat, chargé de garantir que nous disposons d’évaluations régulières et rigoureuses des impacts de l’IA. L'autre est plus convaincant, à mon avis.
Washington et Pékin devraient viser à créer des espaces communs, voire des barrières de sécurité, proposés et gardés par un tiers. Les approches de surveillance et de vérification que l’on retrouve souvent dans les régimes de contrôle des armements pourraient être appliquées ici. … il y a peut-être une marge pour que Pékin et Washington coopèrent dans les efforts mondiaux contre la prolifération.
Cela m’a surpris, car j’avais déduit de The Coming Wave que Suleyman avait peu de temps pour les analogies entre l’IA et les armes nucléaires. Lui et Bremmer disent même : « Les systèmes d’intelligence artificielle sont non seulement infiniment plus faciles à développer, voler et copier que les armes nucléaires ; ils sont contrôlés par des entreprises privées et non par les gouvernements » . Et pourtant, comme presque tous ceux qui tentent de réfléchir systématiquement à la manière de faire face aux menaces posées par l’IA, ils retournent inévitablement à la course aux armements de la guerre froide.
Bien entendu, c’est une analogie imparfaite. (Imaginez si la bombe atomique était née d'une concurrence entre le secteur privé, par exemple, General Electric et IBM. Et l'IA a beaucoup plus d'utilisations et d'utilisateurs que la fission nucléaire.) Pourtant, ce n'est pas entièrement une coïncidence. En termes d'usages et d'utilisateurs que la fission nucléaire, elle s'est accélérée plus ou moins simultanément avec la transition de la relation américano-chinoise d'une symbiose économique ("chimérique") à une Seconde Guerre froide. Eric Schmidt, ancien PDG de Google, était sceptique en 2018 lorsque j'ai affirmé pour la première fois que nous étions dans une nouvelle guerre froide, mais le rapport final de 2021 de la Commission de sécurité intérieure sur l'intelligence artificielle, qu'il a présidée, convient essentiellement que :
Depuis la fin de la guerre froide, l’armée américaine jouit d’une supériorité militaro-technique sur tous ses adversaires potentiels. Aujourd’hui, ses prouesses techniques sont remises en question, notamment par la Chine et la Russie. … Si les tendances actuelles ne changent pas, l'armée américaine perdra sa supériorité militaro-technique dans les années à venir. … L'IA est un aspect clé de ce défi, car nos deux principales puissances concurrentes pensent qu'elles seront en mesure de compenser notre avantage militaire en utilisant des systèmes et une autonomie basés sur l'IA . Dans les décennies à venir, les États-Unis ne gagneront contre des adversaires techniquement sophistiqués qu’en accélérant l’adoption de capteurs, de systèmes de commandement et de contrôle, d’armes et de logistique basés sur l’IA.
L’argument décisif de Marc Andreessen en faveur de la poursuite de l’IA « avec un maximum de force et de vitesse » est que « le plus grand risque de l’IA est que la Chine parvienne à dominer l’IA à l’échelle mondiale et que nous (les États-Unis et l’Occident) n’y parvenons pas ».
Cela implique, comme le reconnaît Andreessen, une course aux armements aussi effrénée que celle qui a suivi l’acquisition par les Soviétiques (par l’espionnage plutôt que par leur propre excellence en physique) de la bombe atomique puis de la bombe à hydrogène. Il est vrai qu’aujourd’hui les États-Unis sont en avance sur un point clé : nous avons accès aux puces électroniques les plus sophistiquées et, grâce aux diverses sanctions américaines, les Chinois n’y ont pas accès. Mais cela ne place-t-il pas Xi Jinping dans la position de Staline lorsque les États-Unis possédaient pour la première fois la bombe ?
Existe-t-il une alternative à une course aux armements totale en matière d’IA ? Il est révélateur que les meilleurs exemples donnés par Suleyman lui-même de régimes réussis de confinement technologique (un mot rendu célèbre par George Kennan, bien sûr) sont tirés de la Première Guerre froide : le régime de non-prolifération nucléaire et l’interdiction des armes chimiques et biologiques. Bien entendu, la maîtrise des armements n’a pas été une réussite absolue. Mais cela n’a rien donné. Et c’est pourquoi Suleyman a raison de le défendre.
Ce qui nous ramène à « Oppie ». Dans un article récent, Hal Brands affirmait qu'Oppenheimer avait eu tort de s'opposer à la construction de la bombe à hydrogène, la « super » comme l'appelaient les physiciens. L’argument de Brand semble être que la course aux armements nucléaires était acceptable parce que les gentils l’ont finalement gagnée. Cela sous-estime sûrement à quel point cette course était risquée, surtout en 1962, lorsque les superpuissances étaient à deux doigts d’une Troisième Guerre mondiale contre Cuba. Au final, nous nous sommes retrouvés dans une situation folle où nous avons consacré beaucoup plus d’efforts à construire des missiles nucléaires qu’à construire des centrales nucléaires, comme si ces dernières étaient plus dangereuses ! Est-ce vraiment ainsi que nous souhaitons que la course à l’IA se déroule ?
Bremmer et Suleyman ont raison : les États-Unis et la Chine doivent entamer de toute urgence des négociations sur le contrôle des armements, non seulement pour limiter l’utilisation de l’IA comme arme, mais aussi pour garantir que davantage de ressources soient consacrées à ses applications inoffensives. À l’heure actuelle, il n’existe pratiquement aucune restriction autre que les restrictions économiques que les États-Unis imposent à la Chine. En attendant, il est très probable que la Chine poursuive ses recherches sur les armes biologiques . Comme Schmidt et ses collègues l’ont noté, le risque que l’IA soit utilisée à cette fin est « une préoccupation à très court terme ». Rien de ce que nous faisons actuellement ne l’empêche ; L’attention actuelle de l’administration Biden sur la Chine pourrait même encourager une telle activité.
L'équipe de sécurité nationale de Biden pense qu'il peut renommer le découplage économique « dérisque », puis planifier des réunions de haut niveau à Pékin. Mais ce n’est pas la voie vers une détente significative. Les États-Unis et la Chine doivent discuter de questions de fond, et le contrôle des armements (pas seulement l’IA, mais aussi les armes nucléaires, biologiques et autres armes de destruction massive) est le bon point de départ. En fait, je ne serais pas surpris si ce sont les Chinois qui le suggéraient. La volonté de contrôler les armements dans une guerre froide tend à venir du côté qui craint de perdre la course aux armements.
Quant au brillant M. Suleyman, il doit être prudent. Vous avez raison de mettre en garde contre les dangers d’une course effrénée à l’IA. Vous avez raison de demander le contrôle des armes par l’IA. Mais son argument en faveur d'institutions mondiales n'est pas sans rappeler celui d'Oppenheimer en 1946 en faveur d'une Autorité de développement atomique qui limiterait la souveraineté nationale sur la technologie nucléaire. Comme Oppenheimer, Suleyman a un passé politique de gauche. Et je crains que, comme Oppenheimer, il puisse un jour lui en vouloir, à mesure que la nouvelle guerre froide s’intensifie.
(c)Bloomberg
Continuer à lire: