Un préprint remet en question le nombre de requêtes visuelles réellement nécessaires aux agents

Réussir une tâche ne prouve pas que chaque requête visuelle était nécessaire

Les agents visuels peuvent demander une image agrandie ou recadrée au cours d’une tâche, par exemple pour lire un détail qui n’est pas distinct sur la vue initiale. S’ils répondent correctement ensuite, une évaluation fondée uniquement sur le résultat peut considérer cet appel comme une réussite. Mais deux questions restent sans réponse : l’agent avait-il besoin de cette information pour résoudre la tâche ? Et, une fois l’image reçue, l’a-t-il réellement utilisée ?

Un préprint intitulé « When Should a VLM Look? Paying Only for Visual Calls That Were Needed and Used » soutient que ces questions comptent : la réussite d’un appel ne prouve, à elle seule, ni qu’il était nécessaire ni que les pixels obtenus ont été exploités. Ses auteurs présentent CounterCredit, une méthode d’entraînement qui vise à évaluer ces deux conditions pour chaque appel renvoyant une image.

Cette distinction importe pour interpréter les scores d’un agent. Un système peut répondre correctement tout en ayant effectué une requête redondante ; il peut aussi demander une région de l’image sans fonder sa réponse sur celle-ci. Dans les deux cas, récompenser automatiquement l’appel au seul motif que la réponse finale est correcte risque de lui attribuer une valeur injustifiée. Il s’agit d’une question d’évaluation et de conception de l’entraînement, et non de la preuve que tous les agents visuels actuels se comportent ainsi.

Comment CounterCredit distingue nécessité et utilisation

D’après le préprint, CounterCredit effectue ces deux vérifications dans l’état précis qui précède chaque appel. Pour estimer la nécessité, la méthode compare la branche où l’agent consulte l’image à la possibilité de répondre immédiatement, sans effectuer cette consultation. Pour estimer l’utilisation des éléments visuels, elle compare l’image renvoyée à des zones aléatoires de même taille, substituées à cette image dans le même appel. L’objectif est de distinguer la valeur du fait de regarder de celle de l’information visuelle spécifique qui a été reçue.

Le système s’appuie sur le score que la politique attribue elle-même à la réponse correcte, décrit dans le résumé comme un score de réponse de référence. Si l’appel passe les deux vérifications, il reçoit un remboursement ; les autres appels exécutés entraînent un coût, appelé « loyer » dans l’article. Les auteurs précisent que ce coût est plafonné afin que toute trajectoire correcte reste classée au-dessus de toute trajectoire incorrecte. Ils décrivent également un avantage GRPO à double canal, qui maintient le coût dans ses propres unités.

Ces opérations constituent les critères de la méthode proposée ; elles ne donnent pas un accès direct à l’intention interne du modèle. La comparaison avec une réponse immédiate et le remplacement par des zones aléatoires sont des tests définis par les auteurs. Leur validité dépend donc de leur capacité à représenter correctement le phénomène que l’on souhaite mesurer.

Les chiffres présentés et les tests auxquels ils correspondent

Le résumé du préprint rapporte plusieurs résultats, qu’il convient de rattacher aux ensembles d’évaluation concernés. Pour le checkpoint de départ à froid, les auteurs indiquent que seulement 10 à 12 % des appels visuels étaient à la fois nécessaires et utilisés. Pour les agents publiés, ils rapportent des taux d’appels superflus allant de 36 à 87 % selon les benchmarks individuels. Le résumé ajoute qu’environ deux tiers des récompenses accordées par un système fondé sur le résultat vont à des appels qui n’étaient ni nécessaires ni utilisés.

Avec le même point de départ, le même ensemble de prompts et le même budget, CounterCredit atteint 89,5 % sur V*, 80,2 % sur HR-Bench-4K et 76,4 % sur HR-Bench-8K. Les auteurs comparent ces scores à ceux de GRPO fondé uniquement sur le résultat et rapportent un avantage de 6,3 à 9,4 points, avec 1,78 appel par question contre 1,84. Ils indiquent également que la méthode ramène le taux d’appels superflus à une fourchette de 31 à 36 %, le niveau le plus faible parmi les agents qu’ils ont évalués.

L’article indique aussi que la même recette fait passer la moyenne d’un modèle de base Qwen3-VL-8B de 75,4 à 80,8. Ces chiffres sont des résultats rapportés par les auteurs dans leur préprint. Ils ne constituent pas une mesure universelle de la qualité des agents et ne permettent pas, à eux seuls, de conclure que la méthode améliore des tâches absentes de l’évaluation.

Ce que les benchmarks signifient — et ne signifient pas

V* est un benchmark associé à la recherche visuelle guidée ; l’article qui le présente permet d’en retracer l’origine. HR-Bench-4K et HR-Bench-8K sont des ensembles d’évaluation de la perception d’images à haute résolution, présentés dans un autre travail. Les scores de CounterCredit sur ces ensembles décrivent ses performances dans ces tests précis, mais ne démontrent pas automatiquement qu’il se comportera de la même façon en navigation, dans l’assistance visuelle quotidienne ou dans d’autres tâches.

Autre précaution : le taux d’appels superflus et le score final répondent à des questions différentes. Un taux plus faible suggère que, selon le critère de l’étude, moins d’appels ne satisfaisaient pas aux deux conditions. Cela ne prouve pas à lui seul que les réponses sont plus sûres, que le système exploite mieux tous les types d’images ou que le coût total est inférieur dans toutes les conditions. Il ne faut pas non plus confondre les résultats du checkpoint initial, ceux des agents publiés et l’expérience menée avec Qwen3-VL-8B : les auteurs les décrivent comme des comparaisons distinctes.

Un préprint, et des questions ouvertes sur la reproductibilité et la généralisation

L’article est présenté sous forme de préprint, et la fiche fournie indique qu’il est en cours d’examen. Ses chiffres doivent donc être considérés comme des résultats initiaux rapportés par les auteurs, et non comme des conclusions établies à l’issue d’une évaluation par les pairs achevée. La documentation disponible ici étaye la description de la méthode et les chiffres du résumé, mais ne suffit pas à déterminer de manière indépendante si chaque choix d’évaluation reste robuste avec d’autres modèles, images ou tâches.

Les sources disponibles pour cet article ne permettent pas non plus de confirmer si le code et les données publics suffisent à reproduire l’ensemble des expériences, ni si des équipes indépendantes ont répété les résultats. L’absence de ces informations dans les sources consultées ne prouve pas que ces ressources ou ces tests n’existent pas ; elle signifie qu’il ne convient pas de l’affirmer sans source permettant de le vérifier.

Pour déterminer si CounterCredit se généralise, des comparaisons indépendantes avec d’autres modèles et politiques, des benchmarks supplémentaires et des tests avec d’autres budgets et outils seraient utiles. Il serait également souhaitable de publier les détails nécessaires pour reproduire les choix d’évaluation, de comparer différentes variantes des critères de nécessité et d’utilisation, et de communiquer les résultats par tâche plutôt que sous forme de moyennes uniquement. De tels tests aideraient à établir si la méthode réduit les appels redondants sans pénaliser des consultations importantes dans d’autres contextes.

Pour l’instant, la conclusion la plus mesurée est la suivante : le préprint propose une manière explicite de récompenser les appels jugés nécessaires et exploités, et rapporte de meilleurs résultats que la référence fondée uniquement sur le résultat dans les benchmarks étudiés. La portée de ces améliorations au-delà de ces tests reste à établir.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.