Le modèle d'intelligence artificielle Claude est désormais capable de gérer seul environ un quart des tâches nécessaires au développement de nouveaux modèles d'IA par Anthropic.
L'entreprise affirme que le système dirige actuellement 26 % des tâches de recherche et développement liées à la création de ses futurs modèles, une progression considérable par rapport aux 0 % enregistrés en février.
Ce chiffre montre comment les systèmes d'IA commencent à prendre en charge, au sein même des entreprises technologiques, des tâches traditionnellement réalisées par des chercheurs et des ingénieurs humains. Toutefois, Anthropic précise que Claude ne travaille pas encore de manière entièrement autonome : les chercheurs définissent les objectifs et les instructions générales et supervisent le travail effectué par le modèle.
L'entreprise souligne également que Claude participe d'une manière ou d'une autre à près de 90 % des tâches liées à la recherche et au développement de nouveaux modèles. La différence entre ces deux pourcentages est importante, car participer ne signifie pas nécessairement que le système est responsable de l'achèvement d'une tâche par ses propres moyens.
Claude commence à assumer les tâches des chercheurs
Anthropic utilise ces métriques pour mesurer la quantité de travail de développement que Claude peut effectuer directement et l'évolution de sa capacité à contribuer à la création de nouveaux systèmes d'intelligence artificielle.
En février, Claude ne dirigeait aucune des tâches utilisées par l'entreprise pour mesurer ce processus. Aujourd'hui, six mois plus tard, le modèle est directement responsable d'environ une sur quatre.
Ce changement ne signifie pas qu'Anthropic a confié à Claude le développement de ses futurs modèles. Les chercheurs continuent de prendre des décisions, de définir des objectifs et de superviser les différentes étapes. Le modèle fonctionne comme un outil capable d'exécuter une quantité croissante de travail au sein de ce processus.
L'entreprise considère que le suivi de l'évolution de ces capacités permet d'observer dans quelle mesure l'IA peut intervenir dans le développement de systèmes de plus en plus avancés.
Anthropic utilise déjà des milliers d'agents d'IA
La croissance de la participation de Claude s'accompagne de l'expansion de l'utilisation d'agents d'intelligence artificielle au sein des équipes d'Anthropic.
L'entreprise dispose actuellement d'environ 30 000 agents d'IA destinés à des tâches de recherche et d'ingénierie. Ces systèmes peuvent être utilisés pour différents travaux liés au développement de modèles, ce qui permet aux chercheurs de déléguer certaines tâches et de se concentrer sur d'autres activités.
Anthropic fournit également des données sur l'utilisation de son infrastructure informatique. Selon la compagnie, environ 6 % de sa capacité de calcul destinée à la recherche et au développement est utilisée dans des travaux liés à la sécurité de ses modèles.
La sécurité est particulièrement pertinente à mesure que l'autonomie de ces systèmes augmente. Un modèle capable d'exécuter plus de tâches par lui-même peut également intervenir dans un plus grand nombre d'étapes du développement, de sorte que la supervision reste un élément central.
L'objectif est de mesurer une possible amélioration récursive
Anthropic utilise les données sur la participation de Claude pour étudier un scénario connu sous le nom d'amélioration récursive de l'IA. L'idée consiste à ce que les systèmes d'intelligence artificielle puissent contribuer au développement de versions ultérieures et plus avancées de ces mêmes technologies.
Dans un tel scénario, une IA ne se limiterait pas à utiliser des outils créés par des chercheurs humains, mais pourrait également aider à concevoir, entraîner, évaluer et améliorer de nouveaux modèles.
Le fait que Claude dirige déjà 26 % de certaines tâches ne signifie pas que ce scénario est arrivé. Le système continue de nécessiter une supervision humaine et ne développe pas de manière indépendante une nouvelle génération de modèles.
Anthropic estime que la publication de ces métriques peut aider à comprendre comment le rôle de l'IA change au sein des laboratoires qui développent des modèles avancés. L'entreprise a également demandé à d'autres développeurs de publier des mesures similaires afin de comparer l'évolution de l'automatisation des tâches de recherche.