La démission et la dénonciation de Jacob Coxon, un chercheur en intelligence artificielle qui a travaillé chez OpenAI puis chez Anthropic, contre la course qu'il juge « irresponsable » dans laquelle sont engagées les entreprises du secteur, sans mesurer les risques que leur « superintelligence » ne permette à l'IA de mener des cyberattaques et d'acquérir des ressources ou un pouvoir hors du contrôle de l'humanité, continue de faire grand bruit.
L'industrie de l'IA, a déclaré Coxon, « parie sur nos vies ». Evan Hubinger, responsable de l'« alignement » chez Anthropic, a estimé à près de 10 % la probabilité que l'IA tue tous les humains, Samuel Marks, chercheur en sécurité de l'entreprise, a soutenu « à titre personnel » que les développeurs d'IA croient possible l'extinction humaine ou des résultats comparables, et Dario Amodei lui-même, PDG d'Anthropic, a donné crédit à l'inquiétude de Coxon dans un texte où il reconnaissait la nécessité de modérer le rythme de progression de l'IA, tout en indiquant que la pression concurrentielle l'empêche de « freiner seul ».
La réaction d'Elon Musk a été différente, ayant remis en question Coxon et suggéré que sa série de publications sur le réseau X était une opération coordonnée, une sorte de « montage ». Cependant, aussi bien Musk que Sam Altman, PDG d'OpenAI, se sont déclarés d'accord pour ralentir le développement de l'IA.
La dénonciation de Coxon avait déjà suscité des réactions politiques aux États-Unis, comme celle de Bernie Sanders, sénateur socialiste du Vermont, qui en a profité pour insister sur le projet visant à interdire le développement de la Superintelligence Artificielle, présenté avec le démocrate Greg Casar quelques jours avant la dénonciation de Coxon. Ted Cruz, sénateur républicain du Texas, a défini l'IA comme un « risque catastrophique » et a déclaré que la publication de Coxon lui semblait très préoccupante, et Chris Van Hollen, sénateur démocrate, a réclamé un mécanisme de sauvegarde, un régime de tests et un dialogue avec la Chine, parmi d'autres réactions législatives.
Économie, IA et « effort cognitif »
C'était l'occasion attendue par Daron Acemoglu, prix Nobel d'économie 2024 et professeur au prestigieux Massachusetts Institute of Technology (MIT), pour reformuler une critique déjà esquissée dans des travaux antérieurs.
« Le problème est-il une Intelligence Artificielle (trop) avancée ou une intelligence déformée ? », s'est-il interrogé dans une longue publication sur X, où il a salué le fait que « enfin » les propres chercheurs en IA « se rendent compte que la course effrénée dans laquelle sont impliquées ces entreprises est irresponsable ».
Acemoglu estime qu'un problème non résolu est l'« alignement » des modèles, qui, dit-il, « font des choses qui ne sont pas en ligne avec les objectifs humains ». Selon lui, le problème n'est pas que les modèles d'IA soient trop avancés, mais qu'ils soient entraînés de manière à conduire à une « intelligence déformée ».
« Le problème ne réside pas dans les capacités —bien que celles-ci soient clairement réelles—, mais dans le fait que ces capacités servent certaines métriques quantitatives imparfaites —l'approbation des utilisateurs, leur interaction, des métriques simples d'achèvement de tâches, diverses notes dans des tests comparatifs— sur lesquelles l'apprentissage par renforcement optimise sans relâche. Que ce processus conduise ensuite à des comportements déformés, comme manipuler l'évaluation de métriques simples d'achèvement, tricher, montrer un excès de confiance dans des réponses erronées et flatter, ne devrait peut-être pas surprendre », a écrit Acemoglu.
Voiture sans frein
Pour clarifier sa critique, le lauréat du prix Nobel d'économie a recouru à l'exemple suivant. « Ce n'est pas que nous ayons entre les mains une super-voiture dotée d'une conscience propre, qui voudrait prendre le contrôle de la conduite parce qu'elle est supérieure au conducteur. Plutôt, nous avons une voiture dont le système de direction et de freinage ne fonctionne pas. Elle possède beaucoup des capacités des très bonnes voitures, et son moteur, son accélération et son interface graphique peuvent être très impressionnants. Mais si on ne peut pas la diriger correctement et si on ne peut pas actionner les freins quand c'est nécessaire, que peut faire une voiture ? Peut-être ne devrions-nous pas la conduire tant qu'elle n'est pas réparée », a-t-il expliqué.
L'explication d'Acemoglu coïncide avec celle soutenue en Argentine par l'économiste Eduardo Levy Yeyati, qui a décrit à un moment donné les algorithmes comme un « miroir qui flatte » et dans lequel les humains déléguent des décisions que l'IA assume à partir de calculs abstraits. Lorsque l'algorithme décide, soutient-il, les humains renoncent à l'« agence morale ».
Effort cognitif
Cependant, la critique d'Acemoglu ne se limite pas au problème de l'« alignement ». En mars dernier, dans un article conjoint avec Dingwen Kong et Asuman Ozdaglar, deux autres académiciens du MIT, il a modélisé que si l'IA peut améliorer des décisions et des tâches ponctuelles, elle porte en même temps atteinte à la production sociale du savoir en affaiblissant ce qu'il appelle l'« effort cognitif ». En d'autres termes, l'IA appliquée sans discernement tend vers le « effondrement du savoir humain », une sorte d'imbécillisation.
Une IA agentique, dit l'article publié par le National Bureau of Economic Research (NBER) des États-Unis, en offrant à chaque utilisateur, par exemple, des recommandations médicales ou financières personnalisées, agit comme substitut de l'effort cognitif. La réponse immédiate et apparemment bonne nuit à l'avantage d'étudier, de confronter les sources ou d'expérimenter par soi-même. En fin de compte, « effort cognitif ».
Les auteurs formalisent que l'effort augmente lorsque le savoir général accumulé est plus grand et diminue lorsque la précision de la recommandation de l'IA croît.
Un conflit de ce type, entre automatisation et effort cognitif, s'est présenté il y a plus de cinquante ans, lorsque les calculatrices de poche ont commencé à se diffuser. On a alors débattu parmi les enseignants et les pédagogues s'il avait du sens, par exemple, que les étudiants apprennent les tables de multiplication. La réponse reste que oui.