Anthropic a proposé trois mesures pour mieux comprendre le rythme de progression de l'intelligence artificielle de frontière et déterminer comment le rôle de ces systèmes évolue au sein des laboratoires qui les développent.
Les indicateurs se concentrent sur l'automatisation du développement des modèles, la capacité à superviser les agents d'IA et le volume de ressources informatiques allouées au développement et à la protection de ces systèmes.
L'entreprise estime que ces mesures sont nécessaires car les modèles les plus avancés ne se contentent pas d'augmenter leurs capacités, ils commencent également à participer aux tâches liées à la recherche et au développement de nouvelles générations d'intelligence artificielle.
L'objectif d'Anthropic est d'obtenir une vision plus claire de la relation entre les ressources utilisées pour créer les modèles et les capacités que ces derniers finissent par acquérir. L'entreprise soutient que la meilleure compréhension de ce processus peut aider à anticiper l'évolution de l'IA et faciliter sa supervision.
Cette proposition intervient après les avertissements de Dario Amodei, directeur général d'Anthropic, concernant les risques associés au développement accéléré des systèmes d'IA de frontière.
Claude effectue déjà une partie du travail de développement
La première mesure analyse la part du travail de recherche et développement en intelligence artificielle que Claude, le modèle d'Anthropic, peut effectuer directement.
L'entreprise appelle cet outil l'Indice d'Automatisation de la R&D d'Anthropic et l'utilise pour connaître la proportion des travaux réalisés dans ses laboratoires qui est dirigée par sa propre IA.
Selon les données publiées par l'entreprise, depuis août, Claude dirige 26 % du travail de recherche et développement en IA d'Anthropic. De plus, il participe de quelque manière que ce soit à plus de 90 % de ces tâches.
La différence entre ces deux pourcentages permet de distinguer les activités dans lesquelles Claude collabore simplement de celles qu'il peut développer de manière plus directe.
Anthropic considère qu'il est important de suivre cette évolution car une accélération de l'automatisation pourrait rendre plus difficile pour les chercheurs humains de comprendre et de contrôler le processus de développement.
Anthropic mesure la supervision de ses agents
La deuxième mesure est liée à la supervision des agents d'intelligence artificielle. À mesure que ces systèmes effectuent davantage de tâches de manière autonome, l'importance de détecter et d'arrêter les comportements potentiellement problématiques augmente également.
Anthropic a analysé plus de 30 000 agents de recherche et d'ingénierie fonctionnant simultanément sur sa plateforme interne. Pour évaluer le fonctionnement de ses systèmes de supervision, elle utilise trois variables : la couverture, la latence et le taux de mise à l'échelle.
Dans l'analyse de plus d'un milliard de décisions, les systèmes de surveillance ont bloqué 0,002 % d'entre elles, soit une décision sur 47 000. Le système de supervision hors ligne, destiné à analyser ultérieurement certains enregistrements, identifie entre un et deux cas pour chaque 1 000.
L'entreprise souligne que les agents individuels présentent rarement des comportements inappropriés, mais met en garde contre le fait que les conséquences d'une décision pourraient s'accroître à mesure que l'automatisation augmente.
Quelle part de calcul est dédiée à la sécurité
La troisième métrique étudie la répartition de la puissance de calcul utilisée par une entreprise d'intelligence artificielle.
Anthropic considère pertinent de savoir quelle part de calcul est consacrée au développement des modèles et quelle part est dédiée aux questions liées à la sécurité, telles que l'alignement, l'interprétabilité et l'évaluation.
Lors d'une mesure réalisée pendant une semaine, du 13 au 20 juillet 2026, l'entreprise a calculé que 6 % du calcul utilisé pour la recherche et le développement de l'IA était consacré à des travaux de sécurité.
Lorsque les tâches de R&D réalisées avec l'aide d'agents d'IA ont été analysées spécifiquement, la part dédiée à la sécurité a atteint 12 %.
Anthropic reconnaît que ces pourcentages doivent être interprétés en tenant compte du fait que la recherche en sécurité peut nécessiter moins de capacité informatique que l'entraînement des modèles de pointe.
Ces trois métriques visent à offrir une image plus complète du développement de l'IA : combien de travail peut être automatisé, quelle capacité existe pour superviser ses actions et quelles ressources sont destinées à construire et protéger ces systèmes. Pour Anthropic, suivre ces indicateurs permettra de mieux comprendre la vitesse à laquelle avance une technologie qui participe de plus en plus à son propre processus de développement.