Open-Endedness Bench: Was sich sagen lässt – und was weiterhin ungeprüft ist

Die Idee ist relevant – konkrete Belege sind jedoch nicht bestätigt

Einen Agenten nur anhand seiner endgültigen Antwort zu bewerten, kann bei offenen Aufgaben zu kurz greifen. In solchen Fällen gibt es möglicherweise keine eindeutige Lösung, mit der sich das Ergebnis vergleichen lässt. Dann zählt auch, wie der Agent zu seiner Antwort gekommen ist, welche Prüfungen er durchgeführt hat und ob er nach widersprechenden Hinweisen seine Richtung geändert hat. Genau diesen Bedarf soll der Vorschlag namens Open-Endedness Bench (OEB) aufgreifen. Im vorliegenden redaktionellen Material wird er als Methode beschrieben, mit der sich Ausführungsprotokolle von Agenten untersuchen lassen.

Die für diese Prüfung verfügbaren Unterlagen erlauben es allerdings nicht, das zitierte Preprint, seinen Inhalt oder ergänzende Materialien zu bestätigen. Auch der Originalartikel, Evaluationsanweisungen, Protokolle, Code oder reproduzierbare Ergebnisse liegen nicht vor. Deshalb lassen sich weder die angeblich von OEB verwendeten Kriterien noch die untersuchten Agenten oder deren erzielte Punktzahlen als Tatsachen darstellen. Der Vorschlag lässt sich als überprüfungsbedürftige Idee beschreiben, nicht als validierter Benchmark.

Diese Unterscheidung ist wichtig: Zu erklären, warum es sinnvoll sein könnte, den Forschungsprozess zu messen, ist nicht dasselbe wie nachzuweisen, dass eine konkrete Methode ihn zuverlässig misst. In diesem Beitrag werden Überlegungen zu Hypothesen, Experimenten und Überarbeitungen deshalb als Fragen und nützliche Prüfkriterien für eine solche Evaluation behandelt – nicht als bestätigte Eigenschaften von OEB.

Worauf ein Forschungsprotokoll geprüft werden müsste

Eine Prozessbewertung müsste mehr erfassen als eine überzeugend formulierte Abfolge von Nachrichten. Um die operativen Schritte eines Agenten untersuchen zu können, müsste sich aus dem Protokoll unterscheiden lassen, was das System vorgeschlagen, welche Schritte es tatsächlich ausgeführt und welche Ergebnisse es erhalten hat. Ohne diese Trennung könnte eine nachträgliche Erzählung plausible Experimente beschreiben, ohne zu belegen, dass sie stattgefunden haben.

Außerdem müsste sich die Verbindung zwischen einer Hypothese und einer Prüfung rekonstruieren lassen. Stellt der Agent beispielsweise die Hypothese auf, eine Änderung der Konfiguration werde ein Ergebnis verbessern, sollte das Protokoll die getestete Konfiguration, die Vergleichsbedingungen, die beobachtete Ausgabe und die anschließende Entscheidung zeigen. Es genügt nicht, dass all diese Bestandteile irgendwo auftauchen: Sie müssen sich auf dieselbe Fragestellung beziehen und genügend Kontext enthalten, damit andere die Interpretation überprüfen können.

Auch die Überarbeitung von Hypothesen könnte ein relevantes Signal sein. Ein Agent, der trotz widersprechender Ergebnisse an einer Erklärung festhält, könnte Hinweise ignorieren. Ändert er seine Schlussfolgerung, sollte erkennbar sein, welche Beobachtung diesen Schritt ausgelöst hat. Ein einzelnes Protokoll beantwortet jedoch nicht automatisch die Frage, ob die Überarbeitung angemessen war. Dafür braucht es ausdrücklich festgelegte Kriterien, eine Definition relevanter Evidenz und – falls Menschen an der Bewertung beteiligt sind – Angaben dazu, wie ihre Urteile verglichen wurden.

Das sind Anforderungen, auf die man bei jedem Benchmark für automatisierte Forschung achten sollte. Solange kein überprüfbarer Artikel das Verfahren beschreibt, lassen sie sich OEB jedoch nicht als tatsächliche Bestandteile zuschreiben.

Endergebnis und Prozess sind unterschiedliche Bewertungsgegenstände

Benchmarks für klar abgegrenzte Aufgaben können eine Ausgabe mit einer erwarteten Antwort oder einem überprüfbaren Ergebnis vergleichen. Bei offener Forschung lässt sich Qualität dagegen nicht immer auf eine richtige Antwort reduzieren. Sie kann auch von der Auswahl der Experimente, der Interpretation unvollständiger Daten und der Fähigkeit abhängen, eine Erklärung zu überarbeiten. Das macht Kennzahlen zum Endergebnis nicht nutzlos; es bedeutet vielmehr, dass sie eine andere Frage beantworten.

Als eng begrenzter Kontext beschreibt OpenAI SWE-bench Verified als eine von Menschen validierte Teilmenge von SWE-bench, die die Fähigkeit von Modellen zur Lösung von Softwareproblemen zuverlässiger bewerten soll. Das Beispiel veranschaulicht, dass die Validierung von Aufgaben und Ergebnissen Teil des Designs eines Benchmarks sein kann. Es belegt jedoch weder, dass ein System offene Forschung bewertet, noch dass es die Qualität von Hypothesen eines Agenten misst.

Um einen Vorschlag wie OEB beurteilen zu können, müsste man mindestens wissen, welche Aufgaben er umfasst, welche Agenten verglichen werden, welche Einheiten bewertet werden und wie Qualitätsmaßstäbe festgelegt sind. Ebenso müsste bekannt sein, ob die Punktzahlen anhand menschlicher Bewertungen validiert wurden, ob die Übereinstimmung zwischen den Bewertenden gemessen wurde und ob das Verfahren mit irreführenden, unvollständigen oder ohne ausgeführte Aktionen verfassten Protokollen getestet wurde. Ohne diese Angaben lässt sich eine mögliche Punktzahl nicht als Beleg für wissenschaftliche Sorgfalt interpretieren.

Was noch fehlt, um den Vorschlag zu beurteilen

Die Veröffentlichung eines Preprints wäre nur der erste Schritt zur Bewertung des Vorschlags. Um methodische Aussagen zu überprüfen, bräuchte es Materialien, mit denen sich die Evaluation reproduzieren lässt: eine Beschreibung der Aufgaben, Bewertungsraster, Beispiele für Protokolle, Anweisungen für die Bewertenden und aufgeschlüsselte Ergebnisse. Der Zugang zu Code und Originalprotokollen würde außerdem helfen festzustellen, ob die Punktzahlen vom Format der Aufzeichnung oder von bestimmten Entscheidungen des Forschungsteams abhängen.

Eine unabhängige Prüfung müsste sowohl die Validität als auch die Robustheit untersuchen. Validität bedeutet, dass die Punktzahlen tatsächlich den Prozess widerspiegeln, den sie messen sollen – und nicht etwa die Länge eines Protokolls oder die sprachliche Flüssigkeit seiner Formulierungen. Robustheit bedeutet zu prüfen, ob sich die Schlussfolgerungen auch bei anderen Agenten, Aufgaben und Bewertenden halten. Verwendet die Methode menschliche Annotationen, wären zudem Angaben zur Übereinstimmung und zu strittigen Fällen wichtig, nicht nur ein zusammengefasster Durchschnittswert.

Die institutionelle Seite von OpenAI zu SWE-bench Verified bietet Kontext zu einem anderen Benchmark und dessen menschlicher Validierung. Sie ist kein Beleg dafür, dass OEB einer vergleichbaren Evaluation unterzogen wurde. Ebenso bestätigt eine Arbeit zu einem anderen Agenten-Benchmark weder die Daten noch das Design von OEB. Thematische Ähnlichkeit zwischen Projekten ersetzt keine Primärquelle zu der konkreten Studie, über die berichtet werden soll.

Fazit: Einen plausiblen Vorschlag nicht mit einem gesicherten Ergebnis verwechseln

Die von Open-Endedness Bench aufgeworfene Frage – wie sich messen lässt, was ein Agent während seiner Forschung tut, und nicht nur, was er am Ende antwortet – ist für Aufgaben ohne leicht feststellbare Musterlösung relevant. Mit den bereitgestellten und überprüften Quellen lässt sich jedoch weder bestätigen, dass das zitierte Preprint unter diesem Titel existiert, noch lassen sich seine Methodik oder Ergebnisse verantwortungsvoll beschreiben. Es gibt auch keine ausreichende Grundlage für Aussagen dazu, welche Agenten untersucht wurden, welche Punktzahlen sie erreichten oder ob ihre Protokolle und Werkzeuge verfügbar sind.

Die praktische Schlussfolgerung bleibt daher vorläufig: Bevor OEB als einsatzbereiter Benchmark behandelt wird, müssen seine Primärquelle und die zugehörigen Materialien gefunden und geprüft werden. Bis dahin sollte die allgemeine Motivation – Hypothesen, Prüfungen und Überarbeitungen zu bewerten – klar von spezifischen Aussagen über die Methode getrennt bleiben. Diese Vorsicht entwertet die Idee nicht; sie verhindert, dass ihr Ergebnisse zugeschrieben werden, die bislang nicht belegt sind.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.