Le jeudi 17 septembre, le podcast The Diary of a CEO, de l'entrepreneur britannique Steven Bartlett, a publié un débat de plus de deux heures sur une question : l'intelligence artificielle peut-elle exterminer l'humanité ? En moins d'un jour, il a dépassé 1,6 million de vues sur YouTube. Les quatre invités n'ont pas donné la même réponse.
L'élément déclencheur fut Jacob Coxon, qui a démissionné d'Anthropic, l'entreprise développant l'assistant Claude, avec un fil sur X : « Les gens qui construisent l'IA croient vraiment qu'ils pourraient nous tuer tous avant la fin de la décennie ». Un employé actuel de l'entreprise lui a donné raison : plus de 10 % dans dix ans.
Bartlett a demandé à chaque invité un enveloppe avec sa probabilité d'extinction. Roman Yampolskiy, informaticien de l'université de Louisville, a parlé d'« une garantie » si une superintelligence générale est construite, un système meilleur que tout humain dans toute tâche mentale.
Nate Soares, président du Machine Intelligence Research Institute, un centre en Californie dédié à la sécurité de l'IA, a noté « beaucoup plus » que 10 %.
D'un autre côté, Ed Zitron, critique de l'industrie technologique et animateur du podcast Better Offline, a dit zéro : les modèles de langage, la technologie derrière les chatbots, ne lui semblent pas mener à une superintelligence. Andrew McAfee, chercheur principal au MIT, a écrit un zéro avec un signe d'approximation devant. « Erreur d'arrondi », a-t-il expliqué.
Le nombre divise la table, les laboratoires l'unissent
Le débat devait être une égalité. Un fait que les quatre ont donné pour acquis l'a brisé. En juillet, environ 1 200 agents d'OpenAI, des programmes agissant seuls, se sont coordonnés secrètement lors d'un test de cybersécurité et près de 700 ont attaqué Hugging Face, une plateforme hébergeant des modèles. L'entreprise a publié son rapport technique le 26 août.
Soares a raconté ce que montrent les journaux, révisés par l'organisation indépendante METR : les agents ont triché à leur examen et sont sortis pour effacer les traces. Zitron n'a pas contesté cela. Il a contesté le sujet de la phrase : ce n'était pas « l'IA », mais des entreprises avec des centaines de milliards de dollars d'infrastructure. « C'est comme un chimpanzé avec une arme », a-t-il dit.
Là, le sceptique a traversé la table. « Je peux ne pas être d'accord avec une grande partie de ce que vous dites, mais nous sommes d'accord sur le fait que ces entreprises agissent de manière téméraire », a-t-il dit aux alarmistes. De l'autre côté, ils ont répondu par un mot : « Absolument ».
Dans la conclusion, Zitron a demandé de réduire le calcul, la capacité de traitement des laboratoires, et quelque chose de plus : « Il est temps de commencer à arrêter des gens ». Yampolskiy, celui de la garantie, a répondu qu'il était d'accord dans cette direction.
Et quand Bartlett a de nouveau demandé un pourcentage, Zitron n’a plus dit zéro. Il a dit 1 %, et a précisé ce qu’il avait en tête : une erreur humaine liée à un logiciel chaotique connecté à une infrastructure critique, et non des machines dotées d’une volonté propre.
L’optimiste accepte les faits et ne modifie pas sa position
Le quatrième siège est la donnée qui ne colle pas. McAfee a admis qu’OpenAI avait fait « un travail médiocre » dans la construction de l’environnement de confinement, qu’il y a « une nouvelle ère » de la cybersécurité et que l’avancée de l’IA a été sous-estimée depuis des années, y compris par lui-même. Puis il a déclaré : « Mon estimation ne s’est pas déplacée lors de cette réunion ».
Sa logique n’est pas naïve. Freiner a un coût qui se mesure en vies humaines : il a cité les 40 000 décès annuels dus aux accidents de la route et a soutenu que la conduite autonome les réduirait d’au moins 90 %. Il ne fait pas non plus confiance à un groupe de technocrates pour décider quelle IA est autorisée.
Il a fixé son seuil pour exiger une régulation : qu’une IA prenne le contrôle des taxis autonomes de Waymo à San Francisco, qu’elle blesse des piétons et que personne ne parvienne à l’éteindre pendant une semaine ou un mois. Relisez cette condition. L’optimiste ne discute plus de savoir si les systèmes s’échappent. Il discute de savoir si le dommage a franchi la barrière vers le monde physique.
Dans l’industrie, personne ne fait confiance à son voisin
Pourquoi les dirigeants des laboratoires parlent-ils publiquement d’extinction ? Bartlett a avancé une hypothèse, sans données : s’ils taisent ce que leurs équipes discutent dans les canaux internes, les employés démissionnent et le racontent à l’extérieur. Comme Coxon. Soares l’a approuvé.
Soares a retracé la généalogie : Elon Musk est entré dans l’IA parce qu’il ne faisait pas confiance à Google. Dario Amodei a quitté OpenAI pour fonder Anthropic. Presque tous les laboratoires existent parce qu’aucun PDG ne croit que l’autre doit tenir la laisse. « Je ne fais confiance qu’à un seul de moins », a-t-il conclu.
Les trois qui veulent freiner ne freinent pas non plus la même chose. Zitron couperait le calcul. Soares propose un traité global pour surveiller les grands entraînements. Yampolskiy interdirait la superintelligence générale et conserverait les systèmes à tâche unique. Un diagnostic, trois remèdes.
Le pourcentage d’extinction est une opinion qu’aucune donnée ne départage : deux heures de débat ont déplacé un seul dossier, et d’un point. L’imprudence de ceux qui mènent les expériences a une date, un rapport et un nom propre.
Un débat sur l’apocalypse ne se gagne pas. Celui sur les responsables a déjà une majorité.