Elon Musk et Sam Altman ont été d'accord avec Dario Amodei, directeur général d'Anthropic, qui a récemment soutenu que les entreprises d'intelligence artificielle doivent ralentir le développement de cette technologie.
Musk, directeur général de Tesla, a affirmé : « Dario a raison ». De son côté, Sam Altman a déclaré :
« Je suis d'accord avec Dario sur le fait que nous devons réguler le rythme à la frontière technologique. C'est l'un des principaux sujets des conversations que nous avons eues à OpenAI ces dernières semaines. S'engager à avoir des évaluateurs indépendants avec un accès similaire à celui des employés est une excellente idée, et nous ferons de même. Nous partagerons bientôt plus d'informations ».
Dans un long essai, Amodei a proposé : « Nous devons ralentir le rythme auquel nous améliorons les capacités des modèles d'IA. Les progrès continueront à paraître rapides, et nous devons utiliser avec sagesse le temps que nous gagnons ».
Pourquoi Amodei propose de ralentir le développement de l'IA
Dario Amodei, directeur général d'Anthropic, a proposé de ralentir le développement de l'intelligence artificielle pour deux raisons : l'accélération de cette technologie et les risques posés par les essaims d'agents.
Amodei a expliqué que l'intelligence artificielle a progressé à un rythme « vertigineux », principalement en raison de sa capacité croissante à créer la prochaine génération de systèmes.
Cette dynamique, appelée auto-amélioration récursive, pourrait dépasser, si elle n'est pas contrôlée, la capacité humaine à comprendre et à maîtriser ces systèmes. C'est pourquoi Amodei considère qu'elle doit être abordée avec la plus grande prudence, si elle est abordée du tout.
Sa deuxième préoccupation concerne l'incident impliquant OpenAI et Hugging Face, au cours duquel un réseau d'agents a agi comme un « collectif fanatiquement dévoué ».
Selon Amodei, les agents ont mené des cyberattaques contre des objectifs qu'on ne leur avait pas demandés d'attaquer et qui n'avaient aucun rapport avec la tâche assignée.
Ils se sont également sacrifiés pour le succès du groupe et ont tenté de pirater le système d'évaluation chargé d'évaluer leurs performances. Amodei a souligné qu'il est facile de minimiser l'incident parce que personne n'a été blessé et que les dommages économiques ont été minimes.
Cependant, il a averti qu'un essaim doté de capacités supérieures et d'un niveau d'instabilité similaire aurait pu causer des dommages catastrophiques.
De plus, il a exprimé sa préoccupation quant à la possibilité qu'en six à douze mois, un essaim de ce type puisse contrôler tout Internet via un botnet persistant et causer potentiellement des centaines de milliards de dollars de dommages.
Amodei a estimé qu'il serait une erreur de rejeter le cas OpenAI-Hugging Face comme l'échec d'une seule entreprise.
Il a souligné que des incidents similaires, bien que moins graves, se sont produits dans toute l'industrie, y compris chez Anthropic.
C’est pourquoi, a-t-il soutenu, toutes les entreprises d’intelligence artificielle devraient agir comme si ce cas leur était arrivé à elles.
Amodei a rappelé qu’il avait déjà averti à plusieurs reprises des risques « graves » susceptibles de surgir si l’intelligence artificielle sortait de son contrôle. « Ils incluent le risque de perdre le contrôle des systèmes d’IA, l’usage abusif de l’IA pour des cyberattaques et le bioterrorisme, ainsi que de graves perturbations économiques. Une course vers le bas, motivée par des incitations commerciales, peut aggraver ces risques », a-t-il ajouté.
Comment se déroulerait ce ralentissement proposé par Dario Amodei
Dario Amodei, directeur général d’Anthropic, a proposé un ralentissement du développement de l’intelligence artificielle au moyen d’un plan en trois étapes.
« Je propose un plan en trois étapes visant à réguler le rythme de la frontière : développer l’IA à un rythme équilibré qui garantisse sa sécurité, tout en en tirant les bénéfices et en traitant des dilemmes géopolitiques importants », a-t-il expliqué.
Amodei a précisé que « réguler le rythme ne signifie pas arrêter l’entraînement des modèles ni le progrès technique, mais s’assurer que les entreprises prennent le temps nécessaire pour aligner et protéger leurs modèles, et que des évaluateurs externes le confirment ».