Schrittweise Verifizierer: Was Process Reward Models zeigen – und wie weit ihre Generalisierung reicht

Die Forschungsfrage: Bedeutet eine bessere Auswahl auch zuverlässiges Denken?

Wenn ein Modell ein Problem in mehreren Schritten löst, gibt es mehr als eine Möglichkeit, seine Antwort zu bewerten. Man kann ausschließlich die Schlussfolgerung beurteilen oder die Zwischenschritte betrachten und einschätzen, ob jeder davon gültig ist. Die zweite Möglichkeit scheint eine genauere Diagnose zu erlauben: Wird ermittelt, an welcher Stelle ein Fehler beginnt, könnte sich eine Lösung im Prinzip aussortieren lassen, bevor dieser Fehler den weiteren Gedankengang beeinflusst.

Ein Process Reward Model (PRM) ist ein Modell, das darauf trainiert wird, Lösungsschritte zu bewerten. Typischerweise soll es korrekte von inkorrekten oder hilfreiche von fehlerhaften Schritten unterscheiden. Ein Outcome Reward Model (ORM) bewertet dagegen die vollständige Lösung. Beide sind Evaluatoren; keines der beiden muss selbst eine Lösung erzeugen. Werden sie eingesetzt, um mehrere Antwortkandidaten zu ordnen, sind sie Teil einer Suche. Diese Suche ist ein zusätzlicher Vorgang und keine Fähigkeit, die durch eine Punktzahl allein nachgewiesen wäre.

Die durch die untersuchten Arbeiten gestützte These ist begrenzt: Unter bestimmten Aufgabenbedingungen und experimentellen Voraussetzungen können Prozessverifizierer bei der Auswahl von Lösungen helfen. Daraus folgt nicht, dass jeder bewertete Schritt korrekt ist, dass eine sichtbare Erklärung den internen Prozess des Modells getreu wiedergibt oder dass sich der Verifizierer in einem anderen Fachgebiet gleich verhält. Ergebnisse für eine konkrete Aufgabe müssen von weiterreichenden Aussagen über Zuverlässigkeit getrennt bleiben.

Vier Bausteine, die nicht verwechselt werden sollten

Prozesssupervision liefert Labels zu Zwischenschritten. Ergebnissupervision liefert Labels für vollständige Lösungen oder deren finale Antworten. Ein PRM lernt, Signale über den Prozess zu nutzen; ein ORM lernt aus Signalen über das Ergebnis. Ein allgemeines Kritikermodell kann eine Lösung entgegennehmen und eine Bewertung in natürlicher Sprache abgeben, ohne zwangsläufig ein PRM zu sein, das mit Schritt-Labels trainiert wurde.

Auch Verifikation und gesteuerte Suche sind nicht dasselbe. Verifikation bedeutet, einer Lösung oder ihren Schritten ein Urteil oder einen Score zuzuweisen. Bei einer Suche erzeugt ein Modell Alternativen, und eine Auswahlregel entscheidet, welche davon weiterverfolgt oder erkundet werden. Ein PRM kann als solche Regel dienen. Das Endergebnis hängt jedoch ebenso vom Generator, der Kandidatenzahl, dem Suchverfahren und dem verfügbaren Rechenbudget ab.

Diese Unterscheidungen sind für die Interpretation von Ergebnissen wichtig. Erzielt eine Konfiguration mit PRM mehr korrekte Antworten als eine mit ORM, kann das dafür sprechen, dass das PRM bei dieser Kombination aus Aufgabe, Modell und Suchverfahren nützlich ist. Daraus folgt nicht automatisch, dass es Fehler besser erkennt oder dass die Verbesserung ausschließlich darauf beruht, dass es den Gedankengang besser versteht.

Let’s Verify Step by Step: Evidenz aus mathematischen Aufgaben

„Let’s Verify Step by Step“ untersucht Prozesssupervision im Vergleich zu Ergebnissupervision beim mathematischen Schlussfolgern. Die Arbeit stellt PRM800K vor, einen Datensatz mit 800.000 Labels zur Korrektheit einzelner Schritte in Modelllösungen für MATH-Aufgaben. Die Annotationseinheit ist entscheidend: Mit diesen Labels lassen sich Zwischenurteile zu dieser Art von Material trainieren und auswerten. Sie bilden jedoch keine universelle Sammlung von Regeln für Schlussfolgerungen.

Die Arbeit berichtet, dass Prozesssupervision in ihren Experimenten mit mathematischen Aufgaben die Auswahl von Lösungen gegenüber Ergebnissupervision verbessern kann. Dieses Ergebnis ist im Rahmen des dort beschriebenen Versuchsaufbaus zu lesen: MATH-Aufgaben, von Modellen erzeugte Lösungskandidaten und Verifizierer, die mit den angegebenen Daten und Verfahren trainiert wurden. Es zeigt nicht, dass jedes PRM jedes ORM übertrifft – unabhängig von Generator, Aufgabe oder sonstigen Bedingungen.

Außerdem ist es nicht dasselbe, eine Antwort korrekt auszuwählen und jeden einzelnen Schritt richtig zu beurteilen. Ordnet ein Verifizierer die Lösungen eines Tests erfolgreich, misst das seinen Nutzen als Auswahlmechanismus in diesem Test. Soll belegt werden, dass er Fehler zuverlässig lokalisiert, muss die Identifikation korrekter und inkorrekter Schritte direkt und anhand geeigneter Referenzen geprüft werden. Eine aggregierte Kennzahl für finale Antworten ersetzt diese Analyse nicht.

ProcessBench: den ersten Fehler lokalisieren

ProcessBench stellt eine unmittelbarere Frage zur Bewertung von Schritten: Kann ein Evaluator bei einem fehlerhaften Gedankengang den ersten inkorrekten Schritt erkennen? Der Benchmark umfasst 3.400 Fälle und verwendet menschliche Annotationen von Fachleuten, um den ersten Fehler zu markieren. Damit lässt sich etwas anderes untersuchen als die bloße Auswahl einer finalen Antwort: nämlich die Fehlerlokalisierung in einer Folge von Denkschritten.

Die Studie vergleicht PRMs mit Kritikermodellen und berichtet Ergebnisse zu Aufgaben des mathematischen Schlussfolgerns. Diese Vergleiche bieten den im Benchmark enthaltenen Systemen eine gemeinsame Testgrundlage. Ihre Aussagekraft ist jedoch durch die enthaltenen Aufgaben, Lösungen und Annotationskriterien begrenzt. Ein gutes Ergebnis auf ProcessBench spricht für Leistung in genau dieser Evaluation; es belegt keine gleichwertige Fähigkeit bei Programmierung, Naturwissenschaften oder anderen Formen des Schlussfolgerns.

Auch die Annotation des ersten Fehlers beantwortet nicht alle Fragen zu einer Lösung. Es kann begründete Uneinigkeit darüber geben, wie ein Schritt abzugrenzen ist. Transkriptionsfehler sind möglich, und manchmal wirkt ein Schritt inkorrekt, obwohl die spätere Schlussfolgerung auf einem anderen Weg richtig ist. Deshalb sollte man neben dem Gesamtscore prüfen, wie die Bewertungseinheiten definiert sind, welche Anweisungen die Annotierenden erhalten und wie Meinungsverschiedenheiten behandelt werden.

Das offizielle Projekt-Repository dokumentiert den Zugang zum Benchmark und seinen Ressourcen. Für eine Reproduktion genügt es nicht, nur den Namen des Benchmarks zu kennen. Festgehalten werden sollten auch die verwendete Datenversion, das Eingabeformat, das Modell, die Anweisungen und die Konfiguration.

Rewarding Progress und ThinkPRM: andere Wege, Verifizierer zu entwickeln und zu testen

„Rewarding Progress“ stellt Process Advantage Verifiers vor und untersucht ihren Einsatz bei Schlussfolgerungsaufgaben, darunter gesteuerte Suche und Reinforcement Learning mit Verifizierern. Für diese Diskussion ist besonders interessant, dass die Arbeit den Blick von der Frage „Welche Lösung hat den besten Score?“ darauf lenkt, wie ein Fortschrittssignal in Verfahren eingesetzt werden kann, die Lösungen erzeugen oder auswählen. Die Studie vergleicht Konfigurationen mit Prozess- und Ergebnisverifizierern. Der Vergleich gilt jedoch für die Modelle, Aufgaben und Budgets, die in den Experimenten festgelegt wurden.

Ein Ergebnis aus gesteuerter Suche vereint mehrere Entscheidungen: Welche Kandidaten das Modell erzeugt, welches Signal der Verifizierer verwendet, wie viele Iterationen stattfinden und wie viel Rechenleistung zur Verfügung steht. Steigt die Quote korrekter Lösungen, gehört die Verbesserung zur Gesamtkonfiguration. Um sie dem Verifizierer selbst zuzuschreiben, muss das Experiment die anderen Variablen kontrollieren und die Kosten offenlegen – nicht nur die finale Qualität.

ThinkPRM untersucht Prozessverifizierer, die ihre Bewertung der Schritte durch eigene Schlussfolgerungen erzeugen. Die Arbeit berichtet Evaluationen auf ProcessBench, MATH-500 und AIME ’24 sowie Tests außerhalb der Trainingsdomäne auf GPQA und LiveCodeBench. Damit erweitert sie die Evidenz gegenüber einem einzelnen mathematischen Test. Die Ergebnisse sind dennoch keine Garantie für uneingeschränkte Generalisierung. Jeder Datensatz deckt einen bestimmten Bereich ab; die Leistung kann je nach Aufgabe, Verteilung und Darstellung der Schritte variieren.

Der Name einer Methode sagt für sich genommen weder aus, wie viele oder welche Arten von Labels sie benötigt, noch welcher Baseline-Vergleich angemessen ist. Um diese Arbeiten miteinander zu vergleichen, müssen für jede Studie Trainingsdaten, verwendete Labels, Generator- und Evaluatormodelle, Anweisungen, Budgets und Metriken erfasst werden. Sind diese Angaben nicht gleich, wäre eine einfache Rangliste der „Gewinner“ irreführend.

Grenzen: kostspielige Labels, Bewertungsfehler und Überoptimierung des Proxys

Schrittsupervision kann informativer sein als ein finales Label. Dafür muss jedoch entschieden werden, was als einzelner Schritt gilt und ob dieser korrekt ist. PRM800K zeigt den Umfang einer Ressource, die Labels für Schritte in mathematischen Aufgaben bereitstellt. Dieser Umfang beseitigt nicht die Kosten, die für die Erzeugung, Prüfung und Pflege zuverlässiger Labels anfallen. Außerdem lassen sich Annotationsregeln für mathematische Lösungen nicht automatisch auf Aufgaben übertragen, deren Kriterien weniger eindeutig sind.

Auch ein Verifizierer kann sich irren. Ein falsch positives Urteil akzeptiert einen fehlerhaften Schritt; ein falsch negatives weist einen gültigen zurück. Werden viele Antworten ausgewählt, müssen diese Fehler nicht gleich schwer wiegen: Eine fälschlich hohe Bewertung kann eine inkorrekte Lösung nach vorn bringen. Deshalb sollten beide Fehlertypen gemessen und Beispiele überprüft werden, statt sich auf eine durchschnittliche Kennzahl zu beschränken.

Ein weiteres praktisches Risiko ist die Überoptimierung des Proxys. Wird ein Generator wiederholt darauf optimiert, hohe Scores bei einem Verifizierer zu erzielen, könnte er Muster lernen, die der Evaluator belohnt, ohne dass sich die tatsächliche Korrektheit verbessert. Das bedeutet nicht, dass dies immer geschieht. Es ist aber eine Möglichkeit, die untersucht werden sollte: durch den Vergleich der PRM-Bewertung mit unabhängigen Prüfungen, die Prüfung ausgewählter Lösungen und die Suche nach Fällen, in denen eine überzeugend klingende Argumentation oder eine oberflächliche Formulierung trotz eines Fehlers hoch bewertet wird.

Schließlich beweist die Bewertung eines schriftlich dargestellten Gedankengangs nicht, dass dieser Text eine getreue Abschrift der internen Berechnungen des Modells ist. Experimente zur Auswahl oder Fehlerlokalisierung untersuchen beobachtbares Verhalten bei klar definierten Aufgaben. Sie reichen nicht aus, um interne Transparenz nachzuweisen oder zu behaupten, dass der Einsatz eines PRM eine Anwendung sicher macht.

Ein praktisches Protokoll zur Bewertung eines eigenen PRM

Ein Team, das ein PRM einsetzen möchte, kann mit einem kleinen, kontrollierten Test beginnen. Dabei sollte der Vergleich von Evaluatoren nicht mit einer vollständigen Produktevaluation verwechselt werden. Das Ziel muss vor dem Experiment feststehen: Geht es darum, bessere Antworten auszuwählen, den ersten Fehler zu erkennen, Aufrufe eines Kritikermodells zu verringern oder eine Suche zu verbessern? Je nach Ziel werden andere Daten und Metriken benötigt.

Für einen Systemvergleich braucht es einen eingefrorenen Aufgabensatz, Fälle, die nicht zum Anpassen der Anweisungen verwendet wurden, und Referenzurteile, die von Menschen oder unabhängigen Verfahren geprüft wurden. Soll der Vergleich die Evaluatoren betreffen, müssen Generatoren und Kandidaten gleich gehalten und das Auswahlbudget konstant sein. Verbraucht das PRM mehr Aufrufe oder darf es mehr Möglichkeiten erkunden als die Baseline, muss dieser Unterschied im Vergleich ausgewiesen werden.

Zum Vergleich sollten mindestens ein PRM, ein allgemeines Richtermodell und ein Ergebnisverifizierer gehören. Das Richtermodell beurteilt die Lösung anhand einer Anweisung in natürlicher Sprache. Ein Ergebnisverifizierer prüft nur die Schlussfolgerung – sofern die Aufgabe eine zuverlässige Prüfung erlaubt. Keiner von beiden ist eine universelle Kontrollbedingung. Sie helfen vielmehr festzustellen, ob Schrittinformationen gegenüber konkreten Alternativen einen zusätzlichen Nutzen bieten.

Neben der Hauptmetrik sollten Treffer und Fehler getrennt erfasst werden. Wo es relevant ist, gehören dazu auch die Qualität der Lokalisierung des ersten Fehlers, die Kosten pro Kandidat, die Zahl der Kandidaten und die Quote korrekter Lösungen bei unterschiedlichen Budgets. Ein Teil der Aufgaben sollte für Änderungen des Fachgebiets oder Schwierigkeitsgrads reserviert bleiben. Außerdem empfiehlt es sich, eine Stichprobe der Fälle manuell zu prüfen, in denen PRM und Baselines zu unterschiedlichen Urteilen kommen.

Welche Schlussfolgerungen vertretbar sind

Die Forschung zu PRMs liefert Evidenz dafür, dass die Bewertung von Zwischenschritten bei der Auswahl von Lösungen nützlich sein kann und sich in dafür entwickelten Benchmarks zur Untersuchung der Fehlererkennung einsetzen lässt. „Let’s Verify Step by Step“ dokumentiert Prozesssupervision bei mathematischen Aufgaben; ProcessBench richtet eine Evaluation auf die Lokalisierung des ersten Fehlers aus; „Rewarding Progress“ untersucht Verifizierer in Such- und Lernverfahren; ThinkPRM erweitert die Tests auf mathematische Datensätze und konkrete Evaluationen außerhalb der Trainingsdomäne.

Die Schlussfolgerung ist nicht, dass es einen universellen Gewinner gibt. Aufgaben, Daten, Labels, Modelle, Budgets und Erfolgskriterien unterscheiden sich. Die belastbarste Aussage ist daher bedingt: Ein PRM kann in einer untersuchten Konfiguration einen Nutzen haben. Dieser Nutzen sollte anhand vergleichbarer Baselines gemessen werden – einschließlich einer ausdrücklichen Analyse von Kosten und Fehlern.

Wer entscheiden muss, ob ein PRM in einen eigenen Arbeitsablauf passt, sollte nicht nur fragen, ob seine Bewertungen überzeugend klingen. Entscheidend ist, ob sie das operative Ziel verbessern, bei welchen Fällen sie versagen und wie sie sich bei einer veränderten Datenverteilung verhalten. Dabei müssen die Korrektheit der Antwort, die Gültigkeit der einzelnen Schritte und die Treue des sichtbaren Gedankengangs getrennt betrachtet werden. Diese Trennung macht die Evidenz vorsichtiger, aber auch nützlicher.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.