Ein Preprint stellt infrage, wie oft visuelle Agenten tatsächlich nachsehen müssen

Eine Aufgabe zu lösen beweist nicht, dass jeder visuelle Aufruf nötig war

Visuelle Agenten können während einer Aufgabe ein vergrößertes oder zugeschnittenes Bild anfordern – etwa, um ein Detail zu lesen, das in der ursprünglichen Ansicht nicht zu erkennen ist. Antworten sie anschließend richtig, kann eine Bewertung, die nur das Ergebnis berücksichtigt, den Aufruf als erfolgreich einstufen. Dabei bleiben jedoch zwei Fragen offen: Brauchte der Agent diese Information tatsächlich, um die Aufgabe zu lösen? Und hat er sie nach Erhalt auch wirklich verwendet?

Ein Preprint mit dem Titel „When Should a VLM Look? Paying Only for Visual Calls That Were Needed and Used“ argumentiert, dass diese Fragen wichtig sind: Ein erfolgreicher Aufruf belegt für sich genommen weder, dass das Hinsehen notwendig war, noch, dass der Agent die dabei erhaltenen Pixel genutzt hat. Die Autoren stellen CounterCredit vor, eine Trainingsmethode, die beide Bedingungen für jeden Aufruf prüfen soll, der ein Bild zurückgibt.

Diese Unterscheidung ist wichtig, um die Bewertungen eines Agenten einzuordnen. Ein System kann eine Frage richtig beantworten und trotzdem eine überflüssige Abfrage vorgenommen haben. Ebenso kann es einen Bildausschnitt anfordern, seine Antwort aber gar nicht darauf stützen. In beiden Fällen könnte eine Belohnung allein aufgrund der richtigen Endantwort dem Aufruf einen Wert zuschreiben, der nicht gerechtfertigt ist. Dabei handelt es sich um eine Frage der Bewertung und des Trainingsdesigns – nicht um den Beleg, dass sich alle aktuellen visuellen Agenten so verhalten.

Wie CounterCredit Notwendigkeit und Nutzung voneinander trennt

Dem Preprint zufolge führt CounterCredit beide Prüfungen für den konkreten Zustand unmittelbar vor jedem Aufruf durch. Um die Notwendigkeit einzuschätzen, vergleicht die Methode den Zweig, in dem der Agent das Bild abfragt, mit der Möglichkeit, sofort zu antworten und auf diese Abfrage zu verzichten. Um die Nutzung der Evidenz zu bewerten, vergleicht sie das zurückgegebene Bild mit zufälligen Bildausschnitten gleicher Größe, die bei demselben Aufruf an seine Stelle gesetzt werden. So soll sich der Wert des Hinsehens vom Wert der konkret erhaltenen visuellen Information unterscheiden lassen.

Das System verwendet die eigene Bewertung der Policy für die richtige Antwort. Im Abstract wird sie als Bewertung der Goldantwort beschrieben. Besteht ein Aufruf beide Prüfungen, erhält er eine Rückerstattung; für alle übrigen ausgeführten Aufrufe fällt eine Gebühr an, die in der Arbeit als „Miete“ bezeichnet wird. Die Autoren geben an, diese Gebühr so zu begrenzen, dass jede korrekte Trajektorie weiterhin besser abschneidet als jede falsche. Außerdem beschreiben sie einen GRPO-Vorteil mit zwei Kanälen, der die Gebühr in ihren eigenen Einheiten belässt.

Diese Schritte sind Kriterien der vorgeschlagenen Methode und keine direkten Beobachtungen der internen Absichten des Modells. Der Vergleich mit einer sofortigen Antwort und der Austausch gegen zufällige Bildausschnitte sind Prüfverfahren, die von den Autoren festgelegt wurden. Ob sie das gewünschte Merkmal angemessen abbilden, hängt daher davon ab, wie aussagekräftig diese Vergleiche tatsächlich sind.

Welche Zahlen der Preprint nennt – und auf welche Tests sie sich beziehen

Das Abstract des Preprints berichtet mehrere Ergebnisse, die jeweils im Zusammenhang mit ihren Testdatensätzen betrachtet werden sollten. Für den Cold-Start-Checkpoint geben die Autoren an, dass nur 10 bis 12 Prozent der visuellen Aufrufe zugleich notwendig und genutzt waren. Bei veröffentlichten Agenten beschreiben sie auf einzelnen Benchmarks überflüssige Aufrufe in einer Bandbreite von 36 bis 87 Prozent. Dem Abstract zufolge entfällt außerdem etwa zwei Drittel der Belohnung eines ergebnisbasierten Systems auf Aufrufe, die weder notwendig waren noch genutzt wurden.

Mit demselben Ausgangspunkt, demselben Anweisungspool und demselben Budget erreicht CounterCredit 89,5 Prozent auf V*, 80,2 Prozent auf HR-Bench-4K und 76,4 Prozent auf HR-Bench-8K. Die Autoren vergleichen diese Werte mit GRPO, das ausschließlich auf dem Ergebnis beruht, und berichten einen Vorsprung von 6,3 bis 9,4 Punkten. Dabei stehen 1,78 Aufrufe pro Frage 1,84 gegenüber. Außerdem geben sie an, dass die Methode den Anteil überflüssiger Aufrufe auf 31 bis 36 Prozent senkt – den niedrigsten Wert unter den von ihnen untersuchten Agenten.

Die Arbeit berichtet außerdem, dass dieselbe Trainingsmethode den Durchschnittswert eines Qwen3-VL-8B-Basismodells von 75,4 auf 80,8 steigert. Bei diesen Zahlen handelt es sich um Ergebnisse, die die Autoren im Preprint angeben. Sie sind weder eine allgemeingültige Messung der Leistungsfähigkeit visueller Agenten noch reichen sie für sich genommen aus, um Verbesserungen bei Aufgaben zu belegen, die nicht Teil der Evaluation waren.

Was die Benchmarks aussagen – und was nicht

V* ist ein Benchmark für visuelle Suche mit Anleitung. Die Arbeit, in der er vorgestellt wurde, hilft dabei, die Herkunft des Tests nachzuvollziehen. HR-Bench-4K und HR-Bench-8K sind Testdatensätze zur Wahrnehmung hochauflösender Bilder, die in einer anderen Arbeit eingeführt wurden. CounterCredits Werte auf diesen Benchmarks beschreiben seine Leistung in genau diesen Tests. Sie belegen nicht automatisch, dass sich die Methode ebenso bei der Navigation, im alltäglichen Einsatz als Sehhilfe oder bei anderen Aufgaben bewährt.

Außerdem beantworten die Rate überflüssiger Aufrufe und der Endwert unterschiedliche Fragen. Eine niedrigere Rate deutet darauf hin, dass nach dem Kriterium der Studie weniger Aufrufe erfolgten, die nicht beide Anforderungen erfüllten. Für sich genommen beweist sie weder, dass die Antworten sicherer sind, noch, dass das System jede Art von Bild besser nutzt oder unter allen Bedingungen geringere Gesamtkosten verursacht. Auch die Ergebnisse des anfänglichen Checkpoints, der veröffentlichten Agenten und des Experiments mit Qwen3-VL-8B sollten nicht miteinander vermengt werden: Die Arbeit beschreibt sie als getrennte Vergleiche.

Ein Preprint – und offene Fragen zur Reproduzierbarkeit und Übertragbarkeit

Die Arbeit wurde als Preprint veröffentlicht; in den bereitgestellten Angaben wird sie als in Begutachtung befindlich geführt. Ihre Zahlen sollten daher als vorläufige Ergebnisse der Autoren und nicht als durch abgeschlossene Peer-Review-Verfahren etablierte Schlussfolgerungen verstanden werden. Die hier verfügbaren Informationen stützen die Beschreibung der Methode und der Zahlen im Abstract. Sie reichen jedoch nicht aus, um unabhängig zu beurteilen, ob jede Entscheidung bei der Evaluation auch mit anderen Modellen, Bildern oder Aufgaben robust bleibt.

Aus den für diesen Beitrag verfügbaren Quellen lässt sich ebenfalls nicht feststellen, ob Code und Daten öffentlich zugänglich sind, um sämtliche Experimente zu reproduzieren, oder ob unabhängige Forschungsgruppen die Ergebnisse wiederholt haben. Dass diese Informationen in den herangezogenen Quellen fehlen, beweist nicht, dass entsprechende Ressourcen oder Tests nicht existieren. Es bedeutet lediglich, dass sich eine solche Aussage ohne überprüfbare Quelle nicht treffen lässt.

Um festzustellen, ob CounterCredit auf andere Situationen übertragbar ist, wären unabhängige Vergleiche mit weiteren Modellen und Policies, zusätzliche Benchmarks sowie Tests mit anderen Budgets und Werkzeugen hilfreich. Ebenso sollten genügend Details veröffentlicht werden, um die Bewertungsentscheidungen zu wiederholen. Sinnvoll wären außerdem Vergleiche verschiedener Kriterien für Notwendigkeit und Nutzung sowie nach Aufgaben aufgeschlüsselte Ergebnisse statt ausschließlich Durchschnittswerte. Solche Prüfungen könnten klären, ob die Methode redundante Aufrufe reduziert, ohne Abfragen zu benachteiligen, die in anderen Szenarien wichtig sind.

Die derzeit am besten gestützte Schlussfolgerung ist daher begrenzt: Der Preprint stellt ein explizites Verfahren vor, das Aufrufe belohnt, die nach seinen Kriterien notwendig waren und deren Informationen genutzt wurden. Für die untersuchten Benchmarks berichtet er Verbesserungen gegenüber einer Referenz, die nur das Ergebnis berücksichtigt. Ob sich diese Verbesserungen auch außerhalb der Tests erzielen lassen, bleibt offen.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.