Evaluierungen von Claude Opus 4.5: Was die Tests vergleichen – und welche Schlüsse sie zulassen

Eine Punktzahl ist nur zusammen mit ihrem Prüfprotokoll aussagekräftig

Evaluierungen von Sprachmodellen messen keine einzelne, einheitliche Fähigkeit. Ein Test kann untersuchen, wie ein Agent mit Werkzeugen Programmieraufgaben löst; ein anderer kann die Leistung in einer internen Testsuite erfassen; ein dritter kann Antworten auf Wissensfragen bewerten. Auch wenn alle eine Zahl oder eine Platzierung veröffentlichen, folgt daraus nicht, dass sie dasselbe messen oder sich die Modelle anhand dieser Ergebnisse beliebig miteinander vergleichen lassen. Um eine Punktzahl einzuordnen, braucht man mindestens Angaben zur Aufgabe, zum ausgewerteten Datensatz, zur Metrik und zu den Ausführungsbedingungen.

Im Fall von Claude Opus 4.5 verweisen die bereitgestellten Quellen auf mehrere Arten von Material: eine Mitteilung von Anthropic, die Tests mit Junie erwähnt, die System Card des Modells, eine unabhängige Arbeit zu Modellen als IDE-Agenten und ein aggregiertes Benchmark-Profil. Außerdem sollte eine Analyse von Artificial Analysis geprüft werden. Unter den bereitgestellten und verifizierten Quellen findet sich jedoch keine Seite dieser Organisation. Daher lässt sich hier weder die Methode noch die dem Modell dort zugeschriebene Position dokumentieren.

Mit den verfügbaren Angaben lässt sich der allgemeine Gegenstand einiger Dokumente beschreiben und benennen, welche Details anhand der vollständigen Fassungen noch zu prüfen wären. Die Angaben reichen dagegen nicht aus, um vollständige Prüfprotokolle zu rekonstruieren, jedes Ergebnis zu verifizieren oder eine allgemeine Rangliste aufzustellen. Das ist keine Aussage über die Qualität des Modells, sondern eine Grenze dessen, was sich anhand des vorliegenden Materials belegen lässt.

Was die aufgefundenen Quellen beitragen

Die offizielle Anthropic-Seite zu Claude Opus 4.5 ist eine Quelle des Anbieters. Der verfügbare Auszug besagt, dass Opus 4.5 in Tests mit Junie, dem Coding-Agenten von Anthropic, Sonnet 4.5 bei den in der Mitteilung genannten Benchmarks übertroffen und weniger Schritte zur Lösung von Aufgaben benötigt habe. Das bereitgestellte Material führt diese Benchmarks jedoch nicht auf und erläutert weder die konkreten Aufgaben noch die Anzahl der Durchläufe, die eingesetzten Werkzeuge oder die genaue Bedeutung von „weniger Schritte“. Die Aussage sollte daher als Angabe von Anthropic gekennzeichnet werden, nicht als unabhängig nachvollzogener Vergleich mit rekonstruiertem Prüfprotokoll.

Der Prüfvermerk zu derselben Seite erwähnt zusätzlich GitHub Copilot, während der zitierte Auszug Junie nennt. Aus den bereitgestellten Angaben lässt sich nicht ermitteln, ob sich die Hinweise auf verschiedene Bereiche der Seite beziehen, ob eine Beschreibung ungenau ist oder ob ein Widerspruch in der Erfassung vorliegt. Bevor die verwendete Umgebung präzise beschrieben wird, sollte die vollständige Seite geprüft werden. Die Unklarheit darf nicht dadurch aufgelöst werden, dass man ohne Beleg annimmt, Junie und GitHub Copilot seien Teil desselben Tests gewesen.

Die System Card von Anthropic ist ein originales institutionelles Dokument. Den vorliegenden Angaben zufolge vergleicht sie Opus 4.5 mit anderen Modellen in einer Testsuite. Die bereitgestellte Notiz enthält jedoch weder die Namen der Prüfungen noch Metriken oder konkrete Testbedingungen. Dass das Dokument einen Vergleich enthält, reicht nicht aus, um zu behaupten, alle Aufgaben beträfen Programmierung oder den Einsatz von Agenten. Dafür müsste der vollständige Inhalt geprüft werden.

Die auf arXiv aufgefundene Arbeit untersucht Modelle als IDE-Agenten in realen Umgebungen und erwähnt der verfügbaren Notiz zufolge eine Variabilität bei Opus 4.5. Die bereitgestellte Zusammenfassung nennt weder die konkreten Aufgaben noch die verglichenen Modelle, das Harness, die Anzahl der Durchläufe oder die Berechnung dieser Variabilität. Insbesondere lässt sich damit der in den Prüffragen genannte Standardabweichungswert von 0,027 nicht verifizieren. Auch ist unklar, auf welche Metrik oder Ergebnisgruppe sich der Wert beziehen würde.

BenchLM bietet schließlich ein aggregiertes Profil, das Opus 4.5 eine Platzierung und eine Gesamtpunktzahl auf Grundlage der dort angezeigten Ergebniszeilen zuweist. Das ist eine sekundäre Aggregation und keine Primärbeschreibung der ursprünglichen Prüfprotokolle. Solange unklar ist, wie die Zeilen ausgewählt, normalisiert und kombiniert werden, sollte die Punktzahl nicht als allgemeines Maß der Modellfähigkeit behandelt werden.

Tests mit Junie: eine Aussage des Anbieters, kein vollständiges Prüfprotokoll

Der Anthropic-Auszug macht eine konkrete Aussage sichtbar: In Tests mit Junie soll Opus 4.5 Sonnet 4.5 bei den genannten Benchmarks übertroffen und weniger Schritte zur Lösung von Aufgaben benötigt haben. Diese Formulierung stammt von Anthropic und sollte dem Unternehmen zugeschrieben werden. Mit dem bereitgestellten Material lassen sich weder die Testdatensätze noch der Stichprobenumfang bestätigen. Ebenso wenig ist ersichtlich, ob beide Modelle denselben Kontext, dieselben Werkzeuge und dasselbe Ausführungsbudget erhielten.

„Weniger Schritte“ bedeutet für sich genommen auch nicht automatisch eine bessere Gesamtleistung. Um diese Kennzahl zu interpretieren, müsste man wissen, was als Schritt gezählt wird, ob erfolglose Versuche oder Werkzeugaufrufe berücksichtigt werden, ob die Aufgaben korrekt abgeschlossen werden müssen und wie Teillösungen behandelt werden. Eine geringere Zahl von Interaktionen kann in einer bestimmten Umgebung relevant sein, sagt aber nicht automatisch etwas über Kosten, Latenz, Zuverlässigkeit oder Codequalität aus.

In den Notizen wird die Seite zu Opus 4.5 außerdem mit GitHub Copilot in Verbindung gebracht. Da der vollständige Text, der diesen Hinweis erklären könnte, nicht vorliegt, lässt sich nicht feststellen, ob er einen anderen Evaluierungskontext, eine Integration oder eine andere Aufgabe beschreibt. Eine sorgfältige Prüfung würde beide Erwähnungen getrennt halten, bis ihre jeweiligen Bedingungen überprüft sind, statt sie zu einem einzigen Experiment zusammenzuführen.

System Card: eine relevante Quelle, deren Details noch zu prüfen sind

Die System Card von Claude Opus 4.5 ist eine Primärquelle des Anbieters und damit der richtige Ort, um nachzuvollziehen, welche Evaluierungen Anthropic veröffentlicht und wie das Unternehmen sie darstellt. Die verfügbare Prüfnotiz bestätigt lediglich, dass das Dokument Opus 4.5 mit anderen Modellen in einer Testsuite vergleicht. Sie nennt keine Aufgaben und erlaubt es nicht, Ergebnisse nach Kategorien zu rekonstruieren.

Um diese Testsuite einzuordnen, müsste man für jede Prüfung nachvollziehen, welche Fähigkeit sie messen soll, welche Modelle verglichen werden und welche Metrik zum Einsatz kommt. Außerdem wäre zu klären, ob die Modelle dieselben Anweisungen, Werkzeuge und Ausführungsbudgets erhielten. Wenn die System Card Ergebnisse zu unterschiedlichen Aufgaben enthält, sollte man sie nicht so zusammenfassen, als wären sie eine einheitliche Messung von „Intelligenz“ oder Programmierleistung.

Die Plattformdokumentation von Anthropic verweist auf eine Übersichtsseite zu Opus 4.5, die zur Überprüfung von Modellkennungen und Limits herangezogen werden kann. Die bereitgestellte Notiz enthält jedoch weder die genaue Kennung noch konkrete Limits oder eine Zuordnung zwischen dieser Dokumentation und den jeweiligen Benchmark-Durchläufen. Deshalb lässt sich nicht behaupten, dass die genannten Tests eine bestimmte Konfiguration verwendeten, bevor die vollständigen Dokumente und die Zuordnung von Version und Prüfung überprüft wurden.

Unabhängige Evaluierung von IDE-Agenten: Was zur Einordnung der Variabilität fehlt

Der auf arXiv aufgefundene Artikel bietet eine andere Perspektive als die Mitteilungen des Anbieters: Er untersucht Modelle als IDE-Agenten in realen Umgebungen. Laut Prüfnotiz befasst sich die Arbeit mit der Variabilität der Ergebnisse von Opus 4.5. Die abweichende Herkunft der Studie ist relevant, reicht aber nicht aus, um ihre methodische Unabhängigkeit zu bewerten oder ihre Zahlen mit denen von Anthropic zu vergleichen. Dafür müssen die vollständige Methode, die Daten und das Evaluierungsverfahren untersucht werden.

Variabilität lässt sich nur einordnen, wenn bekannt ist, welches Ergebnis unter welchen Bedingungen wiederholt wird. Eine Standardabweichung kann Unterschiede zwischen Durchläufen, Aufgaben, Instanzen oder einer anderen Untersuchungseinheit beschreiben. Jede dieser Möglichkeiten verändert ihre Bedeutung. Das verfügbare Material bestätigt nicht, wofür der in den Prüffragen genannte Wert 0,027 steht, wie viele Durchläufe ihm zugrunde liegen oder ob er sich auf eine Erfolgsmetrik, eine Punktzahl oder eine andere Variable bezieht. Daher sollte dieser Wert nicht als verifiziertes Ergebnis dargestellt werden.

Wichtig ist außerdem, die Variabilität zwischen Durchläufen von der Variabilität zwischen Aufgaben zu unterscheiden. Ein Agent kann bei wiederholten Versuchen mit derselben Aufgabe ähnliche Resultate erzielen und zugleich zwischen verschiedenen Aufgaben sehr unterschiedlich abschneiden. Um beide Effekte auseinanderzuhalten, benötigt man zumindest Angaben zur Zahl der Aufgaben und Wiederholungen, zur statistischen Untersuchungseinheit, zur Definition der Metrik und zum Verfahren, mit dem Ergebnisse zusammengefasst werden.

Auch die Bezeichnung „reale Umgebungen“ legt nicht von selbst fest, welche Bedingungen nachgebildet wurden. Um den Umfang des Tests zu verstehen, müsste man Projekte oder Repositories, Anweisungen, den Zugriff auf Terminal und Werkzeuge, Zeit- oder Interaktionslimits sowie die Bewertung einer erfolgreichen Änderung überprüfen. Die bereitgestellten Notizen enthalten diese Angaben nicht. Daher lässt sich anhand der Studie hier nicht behaupten, sie bilde die alltägliche Arbeit sämtlicher Entwicklungsteams ab.

Artificial Analysis und Aggregatoren: Eine Platzierung ersetzt keine Methodik

Der redaktionelle Vorschlag sieht vor, den Omniscience Index von Artificial Analysis und die Opus 4.5 zugeschriebene Platzierung zu überprüfen. In der Liste der verifizierten Quellen ist jedoch keine Seite von Artificial Analysis enthalten. Deshalb lässt sich nicht bestätigen, was der Index misst, nach welcher Methode er berechnet wird, welches Ergebnis dem Modell zugewiesen wird oder mit welcher Konfiguration dieses Ergebnis erzielt worden sein soll. Diese Frage muss offenbleiben, bis die entsprechende Quelle vorliegt und geprüft wurde.

Das Profil von BenchLM gehört zu den aufgefundenen Materialien. Laut Notiz nennt es eine Platzierung, eine Gesamtpunktzahl und eine Reihe von Benchmark-Ergebnissen, die auf der Seite aufgeführt sind. Diese Angaben beschreiben, was der Aggregator veröffentlicht; sie bestätigen für sich genommen weder die Auswahl der Tests noch das Verfahren, mit dem unterschiedliche Ergebnisse zusammengeführt werden. Um eine Platzierung einzuordnen, wären die Regeln für Normalisierung, Gewichtung, Aufnahme von Quellen und Aktualisierung der einzelnen Zeilen erforderlich.

Eine aggregierte Rangliste kann hilfreich sein, um Ergebnisse zu sondieren oder Tests zu finden. Sie sollte aber nicht ohne Begründung als neutrales Maß der allgemeinen Modellfähigkeit dargestellt werden. Werden unterschiedliche Aufgaben in einer Punktzahl zusammengefasst, können eine veränderte Auswahl oder Gewichtung die Platzierung beeinflussen. Fehlt außerdem die Rückverfolgbarkeit zu den ursprünglichen Veröffentlichungen, lässt sich weder prüfen, ob die Bedingungen aller Einträge vergleichbar sind, noch ob sie sich auf dieselbe Modellversion beziehen.

Vergleichbarkeit, Kontamination und Reproduzierbarkeit

Zwei Ergebnisse lassen sich nur dann direkt vergleichen, wenn ihre Bedingungen für die jeweilige Fragestellung hinreichend ähnlich sind. Bei Evaluierungen von IDE-Agenten bedeutet das unter anderem, das genaue Modell und seine Version, die Reasoning-Stufe, die Anweisungen, verfügbare Werkzeuge, das Harness zur Verbindung des Modells mit der Umgebung und die Ausführungslimits zu prüfen. Die zusammengefassten Quellen enthalten diese Angaben nicht für alle genannten Tests. Daher lässt sich nicht feststellen, ob die Verfahren gleichwertig sind.

Eine mögliche Kontamination der Testdatensätze muss gesondert untersucht werden. Um dieses Risiko einzuschätzen, müsste man wissen, wie die Aufgaben erstellt wurden, wann sie aufgenommen wurden, ob Aufgabenstellungen oder Lösungen in Trainingsdaten vorgekommen sein könnten und welche Kontrollen die Autoren durchgeführt haben. Die Notizen zu den bereitgestellten Quellen beschreiben für die System Card, die Junie-Tests, die Studie zu IDE-Agenten oder die BenchLM-Aggregation keine Kontaminationsprüfungen oder -analysen. Das bedeutet, dass das Risiko hier nicht bewertet wurde; es bedeutet nicht, dass eine Kontamination nachgewiesen ist.

Reproduzierbarkeit hängt von mehr ab als von der Veröffentlichung einer Punktzahl. Hilfreich sind Prompts, Evaluierungsdaten, der Code des Harness, die Modellkonfiguration, Bewertungskriterien und Ausführungsprotokolle. Wird eines dieser Elemente nicht veröffentlicht, sollte erläutert werden, welcher Teil des Ergebnisses dadurch nicht unabhängig wiederholt oder geprüft werden kann. Anhand der vorliegenden Zusammenfassungen lässt sich weder bestätigen, welche Materialien die einzelnen Dokumente begleiten, noch ob sie für eine Reproduktion ausreichen.

Diese Lücken sind als offene Prüffragen zu behandeln, nicht als nachgewiesene Mängel der Evaluierungen. Eine spätere Sichtung der vollständigen Dokumente könnte Einzelheiten liefern, die in den Notizen fehlen. Bis dahin ist es methodisch angemessen, die Ergebnisse getrennt zu halten, jede Aussage ihrer Quelle zuzuordnen und Schlussfolgerungen über eine allgemeine Platzierung zu vermeiden.

Eingrenzung der Schlussfolgerungen

Mit den verifizierten Quellen und Notizen lässt sich sagen, dass Anthropic für Opus 4.5 bei Tests mit Junie im Vergleich zu Sonnet 4.5 günstige Ergebnisse kommuniziert; dass die System Card Opus 4.5 in einer Testsuite mit anderen Modellen vergleicht; dass eine unabhängige Studie zu Modellen als IDE-Agenten existiert, die Variabilität bei Opus 4.5 erwähnt; und dass BenchLM eine aggregierte Punktzahl und Platzierung veröffentlicht. Jede Aussage gehört zu einer anderen Quelle und einer anderen Art von Evidenz.

Mit diesem Material lassen sich die vollständigen Prüfprotokolle nicht rekonstruieren. Ebenso wenig lässt sich feststellen, ob die Tests dieselbe Modellkennung, dieselben Werkzeuge, dasselbe Budget, dasselbe Harness oder dieselbe Metrik verwenden. Auch der Wert und die Bedeutung der angesprochenen Standardabweichung, Kontaminationskontrollen, die Verfügbarkeit reproduzierbarer Materialien und die Methodik von Artificial Analysis lassen sich nicht verifizieren. Die Punktzahlen bilden daher keine gemeinsame Rangliste und rechtfertigen keine allgemeine Aussage darüber, welches Modell besser ist.

Für ein Team, das Opus 4.5 beim Programmieren oder als IDE-Agent bewertet, ist es sinnvoll, die Dokumentation zu den Tests heranzuziehen, die dem eigenen Arbeitsablauf am nächsten kommen. Es sollten vergleichbare Aufgaben gegenübergestellt, Qualität und Abschlussquote gemessen, Kosten und Latenz berücksichtigt und Schwankungen zwischen Wiederholungen beobachtet werden. Ist die Methodik nicht veröffentlicht, muss diese Einschränkung neben dem Ergebnis stehen; eine isolierte aggregierte Platzierung sollte nicht die alleinige Entscheidungsgrundlage sein.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.