RECLAIM mesure si les agents d’IA peuvent reproduire des résultats de recherche

Un test de reproduction, pas une tâche de programmation isolée

RECLAIM est un benchmark conçu pour mesurer si un agent d’intelligence artificielle peut reproduire un résultat précis décrit dans un article d’apprentissage automatique. Le préprint présente un ensemble de 100 articles de NeurIPS 2025 et définit une tâche pour chacun : l’agent doit s’appuyer sur le texte de l’article et les ressources publiées par ses auteurs, dans la limite d’un budget d’heures GPU fixé à l’avance.

La différence avec un test de programmation classique tient à l’ampleur du travail demandé. Pour parvenir à un résultat, un agent peut devoir installer des logiciels, résoudre des erreurs, comprendre la méthode, lancer des expériences et vérifier les résultats obtenus. L’évaluation cherche à couvrir cette chaîne de tâches, et pas seulement à déterminer si le système produit du code qui semble correct.

Le protocole fixe également à l’avance le résultat à reproduire et les conditions requises pour considérer la tentative comme réussie. C’est un choix important : sans objectif prédéfini, la comparaison entre agents pourrait dépendre d’appréciations différentes de ce qui constitue une reproduction satisfaisante. Le résumé du préprint ne précise pas les règles exactes appliquées à chaque article ; il ne permet donc pas de reconstituer la manière dont ce critère a été traduit dans tous les cas.

Trois niveaux selon les ressources publiées par les auteurs

RECLAIM classe les tâches en fonction des ressources disponibles. Au niveau Run, le code, les données et les poids du modèle sont disponibles. Au niveau Retrain, les poids manquent : l’agent doit donc entraîner le modèle. Au niveau Reimplement, le code n’est pas disponible et l’agent doit écrire une implémentation. Selon le préprint, c’est le contenu publié par les auteurs qui détermine le niveau de difficulté.

Cette classification aide à interpréter les résultats : toutes les tâches ne commencent pas dans les mêmes conditions. Exécuter un système déjà préparé, reconstruire ses poids par entraînement et réimplémenter une méthode correspondent à des travaux différents. C’est pourquoi un taux de réussite global, sans distinction entre les niveaux, masquerait des écarts importants.

Cette classification ne signifie pas non plus que toutes les tâches d’un niveau présentent des besoins identiques. Les articles peuvent proposer des méthodes et des expériences différentes. Le résumé disponible ne répertorie pas les ressources de chacun et n’indique pas dans quelle mesure leurs besoins varient. Les niveaux décrivent donc la disponibilité de certaines ressources ; ils ne garantissent pas une difficulté parfaitement équivalente entre les tâches.

Les résultats révèlent un écart entre les niveaux

Le préprint indique que quatre agents ont été testés, une fois par article. Le meilleur agent de chaque niveau a reproduit 41 % des articles Run, 27 % des articles Retrain et 15 % des articles Reimplement. Dans cet ensemble et selon la procédure décrite, le taux de réussite diminue à mesure que l’on retire des ressources nécessaires à la reconstruction du système.

Ces chiffres correspondent aux résultats du benchmark ; ils ne constituent pas une mesure universelle des capacités de tous les agents. Il ne faut pas non plus les interpréter comme une comparaison directe complète entre les agents : le résumé donne le meilleur résultat par niveau, mais ne précise pas le nom des quatre systèmes, leurs scores individuels ni suffisamment de détails pour reconstituer la variabilité des tentatives.

Le travail rapporte également que les tentatives infructueuses ont consommé, en moyenne, 29 % du budget alloué. Selon l’interprétation proposée dans le préprint, de nombreux agents se sont donc arrêtés alors qu’il leur restait du budget. Cette donnée suggère que la limite de calcul n’explique pas à elle seule tous les échecs ; elle ne démontre pas, à elle seule, pourquoi chaque tentative s’est interrompue ni quelle modification aurait suffi à réussir la reproduction.

Une autre erreur fréquente consistait à implémenter la méthode sans vérifier aucun élément en le comparant aux valeurs publiées dans l’article. Le résumé en fait état dans 63 des 400 exécutions. Cette observation met en évidence la différence entre produire une implémentation plausible et la confronter à des éléments probants : écrire la méthode ne garantit pas que l’agent ait reproduit les conditions pertinentes.

Ce que le benchmark évalue et ce qui reste hors de son périmètre

RECLAIM évalue si un agent peut obtenir un résultat sélectionné à l’avance avec les ressources disponibles et dans les limites d’un budget de calcul. D’après le résumé, une instance distincte d’un modèle de langage évalue les exécutions à partir des journaux et des sorties, plutôt que de s’appuyer sur le compte rendu rédigé par l’agent. L’objectif est d’évaluer ce qui s’est effectivement passé pendant l’exécution, et pas seulement ce que le système affirme avoir fait.

Cette définition délimite aussi la portée des conclusions. Reproduire un résultat précis ne vérifie pas automatiquement tous les choix méthodologiques d’un article, la qualité de ses données, la robustesse de ses analyses ou la validité de ses conclusions scientifiques. Inversement, l’échec d’une tâche dans le cadre du benchmark ne démontre pas, à lui seul, que le résultat original est incorrect : des causes techniques, des problèmes d’implémentation ou des contraintes de ressources peuvent intervenir, sans que le résumé les détaille.

Cette distinction compte pour les lecteurs et les équipes qui souhaitent utiliser le benchmark comme indicateur de progrès. Un faible taux de réussite peut révéler les difficultés des agents à reconstruire des expériences à partir d’informations incomplètes ; sans éléments supplémentaires, il ne doit pas être transformé en verdict sur l’article évalué.

La reproductibilité de l’évaluation nécessite elle aussi des précisions

Pour comparer des agents de manière indépendante, connaître la taille du benchmark et ses taux de réussite ne suffit pas. Il faudrait pouvoir consulter la sélection des articles, le résultat visé pour chaque tâche, le critère opérationnel de réussite, les budgets GPU précis et les règles relatives au temps. Les noms et configurations des agents, les consignes qu’ils ont reçues, les environnements, les ressources disponibles et les journaux ou sorties utilisés pour noter chaque exécution sont également importants.

Le résumé du préprint confirme que RECLAIM fixe pour chaque article le résultat à reproduire, le critère de réussite et un budget d’heures GPU, et que l’évaluation s’appuie sur les journaux et les sorties. Toutefois, les informations fournies ici ne précisent pas le montant de ces budgets, la méthode de sélection des cent articles, le nom des quatre agents ni si les environnements et scripts nécessaires à la répétition de l’évaluation sont publiés. Ces points doivent être vérifiés dans le document et ses ressources avant toute comparaison plus détaillée.

La présentation décrit RECLAIM comme un benchmark qui peut être reconstruit chaque année à partir de nouvelles conférences. Cela pourrait permettre de suivre l’évolution des capacités des agents, à condition que les prochaines éditions conservent des critères comparables ou documentent leurs modifications. La comparabilité d’une année à l’autre ne peut pas être présumée si les articles, les ressources ou les règles changent.

Une mesure de capacités, dont la portée reste limitée

La principale contribution de RECLAIM consiste à transformer une tâche étendue — reconstruire un résultat de recherche — en un benchmark où les objectifs et les ressources sont définis à l’avance. Ses trois niveaux rendent visible l’évolution du travail selon que l’on dispose du code, des données et des poids, qu’il faut entraîner le modèle ou qu’il faut le réimplémenter. Les résultats publiés montrent que, dans cette évaluation, les reproductions sont moins fréquentes lorsque les ressources disponibles diminuent.

La conclusion la plus solide est aussi la plus circonscrite : RECLAIM rend compte des performances de quatre agents sur cent tâches précises, selon des critères et des budgets définis par le benchmark. Pour juger de l’étendue des éléments disponibles, il faut consulter les détails complets de la sélection, de l’évaluation et de l’exécution. Et pour évaluer la science des articles, il faut mener des analyses différentes de la reproduction d’un résultat.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.