Anthropic a proposé que METR (Model Evaluation and Threat Research) joue un rôle central dans la supervision indépendante des systèmes d'intelligence artificielle (IA), alors que l'industrie débat de la manière de contrôler les risques associés au développement de modèles de plus en plus performants.
L'organisation, cependant, n'est pas un acteur étranger à l'écosystème des grandes entreprises d'IA : parmi ses membres se trouvent d'anciens employés de Anthropic, OpenAI et Google DeepMind, tandis que plusieurs de ses principaux financeurs sont liés au mouvement connu sous le nom d'Effective Altruism.
La proposition a été formulée par Dario Amodei, PDG d'Anthropic, dans une lettre appelant à l'établissement de mécanismes de contrôle plus stricts sur le développement de l'IA. L'exécutif soutient que les systèmes futurs pourraient acquérir des capacités capables de générer des risques graves pour la société et propose, entre autres mesures, d'autoriser l'accès permanent d'auditeurs externes et indépendants.
Dans ce contexte, Amodei a spécifiquement désigné METR comme une organisation adaptée pour réaliser ce type d'évaluations.
Qu'est-ce que METR et que fait-elle
METR est une organisation à but non lucratif dédiée à l'étude des capacités et des risques potentiels des systèmes avancés d'IA. Son objectif déclaré est d'évaluer scientifiquement si ces technologies pourraient représenter un danger catastrophique pour la société.
L'un de ses travaux les plus connus consiste à mesurer le temps de travail humain qu'un agent d'IA peut accomplir de manière autonome. Cette métrique est devenue une référence pour comparer les capacités des systèmes agéntiques, capables d'exécuter des tâches en plusieurs étapes avec une intervention humaine limitée.
METR réalise également des recherches sur la sécurité et développe des propositions liées à la gouvernance des modèles. Parmi ses travaux récents figure une recherche liée à un incident impliquant OpenAI et Hugging Face.
L'organisation est née au sein d'un centre de recherche en IA
METR n'a pas émergé comme une organisation complètement indépendante dès le départ. Ses origines se trouvent dans ARC Evals, une équipe appartenant à l'Alignment Research Center (ARC), dirigée par Paul Christiano, l'un des chercheurs les plus connus du domaine de l'alignement de l'IA et ancien employé d'OpenAI.
Pour diriger le nouveau projet, Beth Barnes a été embauchée, ayant précédemment travaillé chez DeepMind et OpenAI. L'équipe s'est agrandie et en 2023 elle s'est séparée de ARC pour devenir METR.
Barnes continue actuellement à la tête de l'organisation en tant que PDG et fondatrice. Son équipe comprend également des chercheurs et d'anciens employés issus de certains des principaux laboratoires d'IA. Parmi eux figurent des personnes ayant travaillé chez OpenAI, Anthropic et Google DeepMind.
Comment METR est financé
METR fonctionne comme une organisation à but non lucratif et dépend principalement de dons. En août, elle a annoncé avoir réussi à collecter 71 millions de dollars en six mois.
L'organisation affirme ne pas accepter de financement des entreprises d'IA dont elle évalue les modèles, ni de leurs employés. Toutefois, elle entretient des relations opérationnelles avec ces sociétés : OpenAI, Anthropic, Google DeepMind, Meta et d'autres entreprises lui fournissent un accès à leurs modèles et des quantités importantes de jetons pour réaliser les tests.
Parmi ses bailleurs de fonds figurent des fondations telles que la Sijbrandij Foundation, Schmidt Sciences, la Packard Foundation et la Pew Charitable Trusts, ainsi que des organisations liées à l'Altruisme Effectif, un mouvement philanthropique qui a consacré d'importants ressources à l'étude des risques potentiels de l'intelligence artificielle.
Les critiques concernant son indépendance
La relation entre METR et l'écosystème des grandes entreprises d'IA a suscité des critiques. David Sacks, conseiller technologique de l'administration Trump, a publiquement remis en question le fait que l'organisation soit considérée comme entièrement indépendante en raison de ses liens avec du personnel et des investisseurs liés à Anthropic.
Il existe également des critiques accusant METR et Anthropic de rechercher une régulation accrue qui pourrait nuire aux concurrents et aux projets d'IA open source. Cependant, aucune preuve ne démontre que METR agisse sur instruction d'Anthropic ni qu'il existe une stratégie coordonnée de capture réglementaire.
Le débat porte donc sur la signification réelle de l'indépendance d'un organisme. METR ne reçoit pas de financement direct d'Anthropic, mais partage une partie de son écosystème professionnel et reçoit un accès aux modèles de l'entreprise pour effectuer ses évaluations.
La proposition d'Amodei intervient par ailleurs dans un contexte d'avertissements de plus en plus sévères sur les risques de l'IA. Certains chercheurs d'Anthropic ont évoqué des scénarios dans lesquels des systèmes futurs pourraient représenter de graves menaces pour l'humanité.