Das Problem der Zustandsverfolgung in langen Kontexten
Zustandsverfolgung ist wichtig, wenn ein Sprachmodell lange Dokumente, Code oder Erzählungen verarbeitet. Es muss nachvollziehen, wie sich Eigenschaften von Entitäten im Text ändern – etwa die Position eines Gegenstands, der Wert einer Variablen oder der Aufenthaltsort einer Figur. Gehen solche Änderungen verloren, kann die Antwort widersprüchlich werden, obwohl die ursprünglichen Angaben noch im Kontext stehen.
Auch wenn heutige Modelle Kontexte mit Zehntausenden Tokens verarbeiten können, ist das nicht gleichbedeutend mit zuverlässiger Zustandsverfolgung über lange Änderungsketten hinweg. Das Allen Institute for AI (AI2) hat StateBench entwickelt, um unterschiedliche Formen dieser Aufgabe getrennt zu prüfen: von der Wiederherstellung eines unveränderten Werts bis zum Nachverfolgen komplexer Abhängigkeiten zwischen Variablen.
Vier Schwierigkeitsstufen in StateBench
StateBench unterscheidet vier Stufen der Zustandsverfolgung. Die Abstufung ist an der Krohn-Rhodes-Theorie orientiert, die beschreibt, wie sich Zustandsprobleme in elementare Operationen zerlegen lassen. Jede Stufe erlaubt eine anspruchsvollere Art der Variablenzuweisung und macht damit sichtbar, bei welchen Operationen ein Modell Schwierigkeiten bekommt.
Auf der einfachsten Stufe, R-trivial, bleibt eine Variable unverändert; das Modell muss nur ihren ursprünglichen Wert wiedergeben. Aperiodic erlaubt eine Neuzuweisung durch einen Wert, sodass die jüngste Zuweisung zählt. Soluble ergänzt selbstbezügliche Aktualisierungen, bei denen ein neuer Wert vom bisherigen abhängt. General Finite erlaubt Zuweisungen durch Bezug auf den aktuellen Wert einer anderen Variablen und erzeugt so Abhängigkeiten über mehrere Änderungen hinweg.
Die vier Stufen von StateBench
Die Stufen unterscheiden sich danach, welche Art von Aktualisierung das Modell nachverfolgen muss.
| Stufe | Art der Zuweisung | Codebeispiel | Alltagsbeispiel |
|---|---|---|---|
| R-trivial | Unveränderlich | let x = 4 | Geburtsdatum |
| Aperiodic | Zuweisung eines neuen Werts | x = 4; x = 2 | Thermostat |
| Soluble | Selbstbezügliche Aktualisierung | x = x + 5 | Spielstand |
| General Finite | Zuweisung durch Referenz | x = y; swap(x, y) | Bälle unter Bechern |
Ergebnisse mit vortrainierten und führenden Modellen
AI2 untersuchte offene vortrainierte Modelle auf den Stufen R-trivial, Aperiodic und General Finite. Dazu gehörten Olmo 3, ein Transformer, und Olmo Hybrid mit Gated-DeltaNet-Schichten. Fast alle getesteten Modelle schnitten bei R-trivial gut ab, verloren bei längeren Eingaben aber bei Aperiodic an Genauigkeit und lagen bei General Finite nahe am Zufallsniveau. Auch das Aufgabenformat spielte eine Rolle: Einige kleinere hybride und Gated-DeltaNet-Modelle erzielten bei RULER-artigen Aufgaben gute Ergebnisse, bei einer Darstellung als Tabellenänderungen dagegen nahezu Zufallswerte.
Anschließend prüfte AI2 Gemini 3.8 Flash, Claude Opus 5.5 sowie GPT-6 Sol und Luna. Diese Modelle schnitten bei R-trivial und Aperiodic gut ab. Bei Soluble und General Finite sank die Genauigkeit jedoch mit zunehmender Eingabelänge deutlich; bei den längsten General-Finite-Aufgaben lag sie bei 13 Prozent oder darunter. Das Ergebnis beschreibt die getesteten Aufgaben und Konfigurationen. Es belegt nicht, dass die Modelle bei sämtlichen langen Dokumenten dieselben Schwierigkeiten zeigen.
Direktes Training und Unterschiede zwischen Architekturen
Um die Architektur von den Auswirkungen des Vortrainings zu unterscheiden, trainierte AI2 mehrere Modelle mit 275 Millionen Parametern von Grund auf direkt auf StateBench. Verglichen wurden Transformer-Varianten, hybride Modelle und Gated-DeltaNet-Varianten mit unterschiedlichen Einschränkungen bei der Aktualisierung ihres Speichers. Das Training umfasste Sequenzen mit bis zu 256 Zuweisungen; getestet wurden Sequenzen mit bis zu 64.000 Zuweisungen – das 250-Fache der maximalen Trainingslänge.
In diesem direkten Trainingsszenario generalisierten Gated-DeltaNet- und hybride Modelle bei R-trivial, Aperiodic und Soluble laut AI2 nahezu perfekt bis zu den längsten getesteten Sequenzen. Transformer lernten die leichteren Stufen, bauten bei längeren Sequenzen jedoch ab und lernten General Finite nicht. Bei der schwierigsten Stufe reichte die Variante von Gated DeltaNet mit flexiblerer Speicheraktualisierung am weitesten: Sie blieb bis ungefähr zum Zehnfachen der längsten Trainingssequenzen nahe an perfekten Ergebnissen. Diese Befunde betreffen die untersuchten Modelle und Trainingsbedingungen; sie beweisen keine generelle Überlegenheit einer Architektur.
Die Ergebnisse unterscheiden sich außerdem je nach Trainingsgeschichte. Vortrainierte hybride und Gated-DeltaNet-Modelle lösten manche schwierigeren Aufgaben nicht zuverlässig, während direktes Training auf StateBench bei entsprechenden Varianten deutlich bessere Resultate brachte. Das deutet in diesem Versuchsaufbau darauf hin, dass das Training einen Teil der Schwierigkeiten erklärt. Transformer lernten die schwierigste Stufe auch unter direktem Training nicht.
Grenzen des Benchmarks und offene theoretische Fragen
StateBench setzt eine feste Zahl von Variablen voraus. In Gesprächen und anderen realen Abläufen können jedoch neue Personen und Gegenstände hinzukommen, die das Modell erst ab ihrem Auftreten verfolgen muss. Diese dynamische Einführung neuer Entitäten deckt der derzeit beschriebene Rahmen nicht ab. Die Ergebnisse lassen sich daher nicht ohne Weiteres auf Aufgaben übertragen, bei denen die Menge der zu verfolgenden Entitäten wächst.
Auch die theoretische Einordnung einer Variante von Gated DeltaNet ist noch nicht vollständig geklärt. Ein neuer Beweis im Beitrag besagt, dass eine Variante mit eingeschränkter Speicheraktualisierung und nichtnegativen Eigenwerten unter den dort festgelegten Bedingungen alle aperiodischen Aufgaben sowie bestimmte periodische Aufgaben lösen kann. Offen bleibt unter anderem, ob sie alle Soluble-Aufgaben bewältigt und wie sich numerische Genauigkeit oder zusätzliche Aufmerksamkeits-Schichten auswirken. Diese Fragen begrenzen die theoretische Aussagekraft, widerlegen aber nicht die berichteten Ergebnisse für die tatsächlich getesteten Aufgaben.
StateBench bietet eine feinere Aufschlüsselung als ein einzelner Gesamtwert: Ein gutes Ergebnis bei unveränderlichen Zuweisungen sagt wenig darüber aus, ob ein Modell lange Ketten gegenseitiger Änderungen verfolgen kann. Für die Interpretation zählen Schwierigkeitsstufe, Eingabelänge und Trainingsbedingungen. Die Daten und der Code sind über die Veröffentlichung zugänglich; die berichteten Resultate stammen aus AI2s eigener Evaluation und stellen für sich genommen keine unabhängige Replikation dar.
Ergebnisse sinnvoll einordnen
Bei einem Vergleich mit StateBench sollte die gemessene Leistung stets zusammen mit dem Aufgabentyp und dem Versuchsaufbau betrachtet werden. Ein gutes Ergebnis auf einer einfachen Stufe belegt nicht, dass das Modell auch komplexe Abhängigkeiten bewältigt.
- 01Feststellen, welche Stufe der Zustandsverfolgung geprüft wird.
- 02Die getestete Eingabelänge mit der Trainingslänge vergleichen.
- 03Beobachten, wie sich die Genauigkeit mit zunehmender Sequenzlänge verändert.
- 04Berücksichtigen, ob das Modell vortrainiert oder direkt auf der Aufgabe trainiert wurde.
Weiter entdecken
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen