Une étude du projet CRUX a déterminé que les agents dintelligence artificielle ne peuvent pas encore réaliser de recherche scientifique originale de manière autonome : bien qu'ils soient capables d'écrire du code, de mener des expériences et de parcourir la littérature académique, le saut vers des travaux ouverts sans intervention humaine reste hors de leur portée.
Le test a été exigeant et, malgré cela, le résultat a été décevant. Après six jours de travail avec un accès complet à Internet, une capacité de calcul dédiée et près de 3 000 USD de crédits pour utiliser des modèles, les systèmes ont produit des articles qui ont reçu des évaluations de rejet sans équivoque : 2/6 et 1/6 dans l'évaluation générale effectuée par des examinateurs humains.
L'évaluation a examiné la capacité de l'IA à développer une recherche ouverte, une tâche différente de celle de répondre à des questions fermées ou de résumer des informations existantes. Cette classe de travail exige la formulation d'hypothèses, la refonte des expériences face à des résultats défavorables et le maintien d'un raisonnement scientifique cohérent.
Les auteurs de l'étude ont mis à l'épreuve des outils de pointe, décrits comme des systèmes conçus pour exécuter des tâches complexes et mult étapes de manière autonome. Pour ce faire, ils ont remis deux travaux de conférences sur l'IA qui n'avaient pas encore été publiés. Cette décision visait à empêcher les modèles de trouver des réponses déjà disponibles en ligne.
Les thèmes attribués étaient les suivants : la structure et la contrôlabilité des personnes des modèles de langage, et la conception d'un détecteur de changements de distribution dans des modèles fondamentaux tabulaires. Une fois le délai terminé, des chercheurs humains ont examiné les articles générés par l'IA selon les mêmes critères utilisés pour les soumissions à une conférence de premier niveau en intelligence artificielle.
Le résultat était clair : les agents ont compris les questions de recherche et ont proposé certaines lignes similaires à celles des chercheurs originaux, mais ont échoué dans le raisonnement scientifique. Les conceptions expérimentales étaient faibles et, face à des retours négatifs, ils ont tendance à ajouter des réserves sur des découvertes antérieures au lieu de reformuler leurs études.
La critique des examinateurs a été particulièrement sévère. David Africa, chercheur au UK AI Security Institute et examinateur expert de l'étude, a déclaré : “Les expériences et les décisions méthodologiques étaient étranges et difficiles à comprendre.”
Dans une autre évaluation, Viet Nguyen, chercheur à la Université de Toronto et co-auteur de l'étude, a remis en question la logique de l'une des conclusions.
La principale limite n'était pas seulement technique, mais aussi méthodologique
La recherche a également montré un problème de gestion du processus. Les agents ont mal géré le temps et utilisé moins de la moitié du budget d'API qui leur était alloué, malgré la possibilité d'explorer davantage et d'effectuer plus de tests.
Cette combinaison de précipitation, faible utilisation des ressources et défaillances méthodologiques a fait que les articles étaient très éloignés d'un standard publiable. Malgré un temps suffisant, les systèmes ont accéléré la clôture du travail au lieu d'approfondir l'exploration ouverte.
La découverte répond directement à l'une des promesses les plus souvent répétées sur l'avenir de l'intelligence artificielle : pour l'instant, les modèles ne sont pas en mesure de remplacer les scientifiques dans les recherches originales. Selon les chercheurs, l'endroit le plus probable de ces outils à court terme n'est pas celui de découvreurs autonomes, mais celui de d'assistants pour des tâches routinières en laboratoire.