Une étude avertit qu’ajouter des tâches ne rend pas toujours un classement d’agents plus fiable

La fiabilité d’un classement dépend de ce que l’on veut comparer

La place d’un agent d’intelligence artificielle dans un classement semble répondre à une question simple : quel système est le plus performant ? Mais la réponse peut varier selon ce que l’on entend par « système ». Un agent déployé associe un modèle à une configuration d’exécution — les logiciels et les réglages qui l’entourent — et est évalué sur un ensemble de tâches. Le résultat observé correspond à cette combinaison, dans ces conditions, et pas nécessairement au modèle pris isolément.

Une étude publiée sous forme de prépublication sur arXiv examine cette distinction à partir de 22 benchmarks du Holistic Agent Leaderboard et du Harbor Index. Ses auteurs estiment que la fiabilité d’une évaluation dépend de l’affirmation que l’on souhaite étayer. Un classement peut être cohérent lorsqu’il s’agit de comparer des systèmes précis, chacun avec son modèle et sa configuration fixes, tout en apportant beaucoup moins de certitude sur le meilleur modèle sous-jacent une fois que l’on fait abstraction de cette configuration.

Cette distinction compte lorsqu’on interprète des titres ou qu’on prend des décisions d’achat et de déploiement. Si l’objectif est de choisir entre deux produits tels qu’ils sont proposés, les performances de chaque combinaison complète peuvent être la comparaison pertinente. En revanche, pour conclure qu’un modèle surpasse un autre indépendamment de l’outil qui l’entoure, il faut des éléments permettant de distinguer ces deux effets. À lui seul, un classement ne répond pas nécessairement à ces deux questions.

Le résumé de l’étude indique une fiabilité comprise entre 0,935 et 0,994 pour les classements de systèmes dont le modèle et la configuration sont fixes. Pour les classements des modèles sous-jacents, la plage rapportée est nettement plus large, avec une borne inférieure plus basse : de 0,148 à 0,841. Il s’agit de plages de résultats rapportées par l’étude, et non d’une garantie que chaque benchmark ou chaque comparaison présente ces valeurs.

Ce que distingue l’analyse : modèles, configurations et tâches

L’étude propose un cadre bayésien de décomposition de la variance conçu pour les classements d’agents reposant sur des données peu abondantes ou déséquilibrées. D’après le résumé, la méthode sépare le signal — les différences de performance pertinentes pour l’affirmation examinée — du bruit, c’est-à-dire les variations qui ne répondent pas à cette affirmation, mais peuvent tout de même modifier l’ordre des systèmes.

Concrètement, les scores peuvent varier parce que les modèles n’ont pas les mêmes performances, parce qu’une configuration favorise ou pénalise différemment chaque modèle, ou parce que les tâches retenues ne représentent pas convenablement le domaine sur lequel on souhaite tirer une conclusion. Le résumé souligne en particulier que le choix de la configuration peut modifier les conclusions et que la capacité des configurations à préserver le classement des modèles varie fortement d’une évaluation à l’autre.

Cela ne signifie ni que la configuration est sans importance, ni qu’il existe un ordre unique et « vrai » des modèles, quel que soit l’usage. Cela signifie qu’il faut d’abord préciser la question. Pour évaluer un agent livré avec un outil particulier, la configuration fait partie de l’objet évalué. Pour comparer des capacités attribuables au modèle, les différences de configuration deviennent une source de variation qu’il faut mesurer ou contrôler.

Le résumé disponible ne détaille pas les équations, les hypothèses du modèle bayésien, les unités exactes de tous les coefficients ni les intervalles d’incertitude associés à chaque estimation. Les plages doivent donc être lues comme des résultats résumés par les auteurs, et non comme une reconstitution complète de l’analyse statistique.

Pourquoi davantage de tâches ne dissipe pas toujours l’incertitude

Face à une évaluation instable, la réponse intuitive consiste à ajouter des tâches. Cette démarche peut aider lorsque l’incertitude vient d’un échantillon limité de tâches. L’étude avertit toutefois qu’ajouter des tâches construites de manière similaire ne supprime pas toutes les sources de variation. Si le principal problème est une couverture trop faible des configurations, multiplier les tâches dans des conditions voisines laisse ce problème presque intact.

Dans le résumé, les auteurs estiment que, même avec un nombre illimité de tâches construites de façon similaire, la fiabilité du classement des modèles d’un benchmark ne progresserait pas de plus de 0,097 lorsque l’incertitude est principalement due à une couverture limitée des configurations. Cette projection dépend du diagnostic et de la manière dont les tâches sont construites dans l’étude ; ce n’est pas une règle universelle qui plafonnerait les progrès de toutes les évaluations.

L’analyse présente également une autre possibilité : combiner des benchmarks divers pour comparer des systèmes sur des tâches agentiques variées. Selon la projection rapportée, regrouper des benchmarks fait passer la fiabilité des classements entre tâches de 0,44 à 0,75, à budget de tâches identique, et peut réduire le coût projeté jusqu’à 83 %. Ces chiffres correspondent aux projections de l’étude ; ils ne garantissent pas que n’importe quelle combinaison de benchmarks produira la même amélioration.

En pratique, le budget d’évaluation devrait être consacré à la source d’incertitude qui compte pour la question posée. S’il manque des tâches représentatives, en ajouter peut être utile. Si la diversité des configurations est insuffisante, il faut tester davantage de configurations. Et si l’objectif est de généraliser à un vaste ensemble de problèmes, combiner des évaluations diverses pourrait être plus informatif que d’élargir à répétition un seul benchmark.

Ce que l’on sait des benchmarks et ce qu’il reste à vérifier

L’étude indique avoir appliqué son cadre à 22 benchmarks issus du Holistic Agent Leaderboard et du Harbor Index. Le résumé disponible ne donne pas les noms des 22 benchmarks et ne décrit pas en détail les critères d’inclusion, d’exclusion ou de pondération. Il ne permet pas non plus de reconstituer la répartition des tâches et des configurations dans chaque benchmark. Ce manque de détails dans les éléments consultés limite la possibilité d’évaluer la représentativité de l’ensemble.

L’étude décrit bien le problème comme portant sur des données dispersées et déséquilibrées, et présente son cadre comme une réponse permettant d’estimer la fiabilité dans ces conditions. Toutefois, le résumé ne permet pas de déduire que tous les benchmarks ont la même composition, que le déséquilibre a été corrigé d’une manière précise, ou que les résultats peuvent être comparés directement sans réserve.

Les informations fournies ne confirment pas non plus si les auteurs ont publié des données, du code et des analyses suffisants pour reproduire les estimations. La prépublication et son résumé décrivent les principaux résultats, mais les éléments disponibles pour rédiger cet article ne permettent pas de vérifier si ces ressources sont accessibles ni quelle est leur portée. Une évaluation complète du travail nécessiterait de consulter le texte intégral, ses annexes et, le cas échéant, les artefacts de reproduction.

Quelles conclusions sont prudentes, et lesquelles demandent davantage d’éléments ?

La principale conclusion que l’on peut tirer du résumé est méthodologique : un classement doit être interprété en fonction de son objectif de mesure. La fiabilité d’une comparaison entre des produits configurés ne démontre pas automatiquement que l’effet de leurs modèles a été isolé. De même, un résultat agrégé sur plusieurs tâches ne garantit pas que l’ordre sera conservé pour une tâche particulière.

Les résultats rapportés étayent aussi deux mises en garde concrètes : la configuration peut modifier les conclusions et l’augmentation du nombre de tâches ne corrige pas toujours la principale source d’incertitude. La proposition de combiner des benchmarks divers mérite d’être examinée comme moyen potentiel d’utiliser le budget plus efficacement, mais les améliorations de fiabilité et de coût sont présentées comme des projections de l’étude, et non comme des promesses applicables sans vérifier les conditions propres à chaque cas.

Avant de généraliser, il faudrait consulter l’article complet et vérifier les hypothèses statistiques, la définition précise de la fiabilité, les benchmarks inclus, la couverture des modèles et des configurations, ainsi que le calcul des coûts. Il serait également utile de reproduire les résultats sur d’autres ensembles d’évaluations et de vérifier si les conclusions résistent à des changements dans la sélection des tâches et des configurations. En l’absence de ces étapes, la conclusion la plus solide reste circonscrite : la conception de l’évaluation peut influencer le classement, et la nature de l’affirmation visée détermine les éléments nécessaires pour l’étayer.

Pour les lecteurs qui suivent les nouvelles évaluations, la question utile n’est pas seulement de savoir qui arrive en tête. Il importe également de savoir ce qui est resté fixe, ce qui a varié, quelle population de tâches le benchmark représente et quelle incertitude accompagne l’ordre obtenu. Ces critères aident à comparer les classements avec prudence, sans confondre les performances d’un système déployé avec une mesure isolée de son modèle.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.