OpenProblemBench prüft KI an 82 ungelösten wissenschaftlichen Problemen

Eine Bewertung jenseits bekannter Antworten

OpenProblemBench ist ein Benchmark, der KI-Systeme mit ungelösten Problemen aus Mathematik und theoretischer Physik konfrontiert. Die am 8. Oktober 2026 als Preprint auf arXiv veröffentlichte Arbeit stellt 82 Probleme aus der Fachliteratur dieser Disziplinen zusammen. Der Ansatz soll etwas anderes prüfen als die Fähigkeit, Fragen mit bereits bekannten Lösungen zu beantworten: nämlich, ob ein Modell gültige Schritte zu einer wissenschaftlichen Fragestellung beitragen kann, die weiterhin offen ist.

Eine Antwort kann überzeugend klingen, ohne mathematischen oder wissenschaftlichen Fortschritt darzustellen. Bei offenen Problemen gibt es nicht immer eine Referenzlösung, mit der sich eine Ausgabe automatisch vergleichen lässt. Der Benchmark versucht, diese Schwierigkeit durch Forschungskontext und die Bewertung der eingereichten Antworten durch Evaluationsmodelle anzugehen. Die Zusammenfassung der Arbeit beschreibt Design und Ergebnisse, reicht aber für sich genommen nicht aus, um festzustellen, wie sämtliche Kriterien bei jedem einzelnen Problem angewendet wurden.

Was der Problemsatz umfasst

Die Autoren beschreiben die 82 Fälle als ungelöste Probleme aus der mathematischen und theoretisch-physikalischen Fachliteratur. Zu jedem Problem stellt der Benchmark Forschungskontext, Annahmen und bisherige Fortschritte bereit. So sollen die Systeme nicht mit einer isolierten Frage beginnen, sondern mit Informationen, die für die Untersuchung des Problems relevant sind.

Die Auswahl konzentriert sich auf Fragen, bei denen sich die entscheidenden mathematischen oder computergestützten Behauptungen vergleichsweise klar prüfen lassen. Damit ist zugleich eingegrenzt, welche Art von Problemen enthalten ist: Der Satz bildet nicht zwingend alle Bereiche der theoretischen Wissenschaft oder sämtliche offenen Forschungsfragen ab. Die verfügbare Zusammenfassung nennt weder die Einschlusskriterien für jeden einzelnen Fall noch, wie der ungelöste Status der Probleme festgestellt wurde oder welche Unterlagen zu jeder Aufgabenstellung gehören. Für Aussagen zur Abdeckung oder Reproduzierbarkeit müsste man daher den vollständigen Text und die zugehörigen Materialien prüfen.

Wie die Antworten bewertet werden

Laut Zusammenfassung des Preprints prüfen vier Evaluationsmodelle jede Einreichung unabhängig voneinander. Sie bewerten drei Dimensionen: Korrektheit, Vollständigkeit und den Grad des Fortschritts. Die Bewertung erfolgt ohne Referenzlösungen. Das ermöglicht die Arbeit mit offenen Problemen, macht es aber umso wichtiger, die Bewertungsrichtlinien und die Grenzen automatisierter Beurteilungen zu verstehen.

Die Zusammenfassung besagt nicht, dass die vier Evaluatoren menschliche Fachleute oder formale Verifikationssysteme sind; auch ein Vergleich mit einem Expertenmaßstab wird darin nicht beschrieben. Ihre Urteile sind deshalb als Bewertungen durch Modelle zu verstehen, nicht als unabhängige Zertifizierung eines mathematischen Beweises. Eine entscheidende computergestützte Behauptung lässt sich in manchen Fällen direkter prüfen. Ob ein Beweis gültig ist oder ein Argument alle Fälle abdeckt, kann hingegen eine fachkundige Prüfung erfordern. Die verfügbaren Informationen erlauben keine genaue Aussage dazu, welche Prüfmethoden bei den einzelnen Aufgaben zum Einsatz kamen.

Welche Ergebnisse der Preprint berichtet

Für sieben untersuchte Konfigurationen berichtet die Arbeit, dass GPT-6-Astra mit einer durchschnittlichen, von Evaluatoren beurteilten Lösungsrate von 14,0 % am besten abschnitt. Die untersuchten offenen Modelle in voller Größe erreichten Werte zwischen 5,5 % und 6,7 %, während die Flash-Konfigurationen auf 2,4 % bis 3,7 % kamen. Diese Zahlen beschreiben die für die untersuchten Konfigurationen berichteten Ergebnisse. Sie sind weder ein universelles Maß für wissenschaftliche Leistungsfähigkeit noch ein Vergleich sämtlicher verfügbarer Modelle.

Anhand von Fallvergleichen bringen die Autoren bessere Ergebnisse außerdem mit Veränderungen der Problemrepräsentation, allgemeinen Argumenten über eine begrenzte Evidenzmenge hinaus und Beweisen der Schritte in Verbindung, die zum Abschluss einer Lösung nötig sind. Diese Beobachtungen geben Hinweise darauf, welche Antworten besser bewertet wurden. Aus der Zusammenfassung lässt sich jedoch nicht ableiten, dass jedes dieser Muster allgemein eine Verbesserung verursacht oder sich auf andere Disziplinen und Benchmarks übertragen lässt. Eine positive Bewertung bedeutet auch nicht, dass Fachleute das Problem als gelöst anerkannt haben.

Was für Einordnung und Reproduzierbarkeit noch fehlt

Das Ergebnis muss in seinem dokumentarischen Rahmen betrachtet werden: Die vorliegenden Belege beziehen sich auf die erste Version der Arbeit auf arXiv. Es wird nicht angegeben, dass die Arbeit ein Peer-Review-Verfahren durchlaufen hat, unabhängig reproduziert oder extern validiert wurde. Das entwertet den Benchmark nicht, spricht aber dafür, die Schlussfolgerungen als vorläufige Ergebnisse der beschriebenen Studie zu behandeln.

Um die Aussagekraft beurteilen zu können, braucht es reproduzierbare Angaben zu den Aufgabenstellungen, Anweisungen und Bewertungsrichtlinien, den ausgewerteten Antworten, den Kriterien für einen Fortschritt und der Übereinstimmung zwischen den Evaluatoren. Ebenso wichtig ist, ob automatische Urteile mit Fachleuten oder formalen Prüfungen abgeglichen wurden und welche Maßnahmen es gegen eine mögliche Präsenz der Probleme oder Lösungen in den Trainingsdaten gab. Die verfügbare Zusammenfassung beantwortet diese Fragen nicht. Deshalb lässt sich hier weder behaupten, dass eine Kontamination vorlag, noch, dass sie ausgeschlossen wurde.

Ein Bewertungsinstrument, kein Entdeckungszertifikat

OpenProblemBench soll Fortschritte bei Aufgaben messbar machen, deren Antworten sich nicht einfach mit einer bekannten Lösung vergleichen lassen. Zu den zentralen Bestandteilen gehören ein Satz offener Probleme, Kontextinformationen und die Bewertung von Korrektheit, Vollständigkeit und Fortschritt durch vier Modelle. Der Ansatz greift eine tatsächliche Schwierigkeit traditioneller Benchmarks auf, hängt aber von der Qualität der Auswahl, der Klarheit der Prüfungen und der Zuverlässigkeit der Evaluatoren ab.

Die angemessenste Schlussfolgerung lautet: Der Preprint berichtet vielversprechende Ergebnisse innerhalb des eigenen Protokolls; GPT-6-Astra liegt unter den untersuchten Konfigurationen vorn. Um daraus umfassendere Evidenz zu machen, braucht es überprüfbare Details, fachkundige Bewertung und unabhängige Reproduktion. Bis dahin ist der Benchmark ein Vorschlag, um Fähigkeiten und Grenzen von KI in den theoretischen Grundlagenwissenschaften zu untersuchen – kein Nachweis, dass Systeme offene Probleme im wissenschaftlichen Sinn gelöst haben.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.