StateBench evalúa la capacidad de los modelos para seguir cambios de estado en documentos largos
Imagen generada por el Equipo Editorial de Inferama
01

El problema del seguimiento de estado en contextos extensos

El seguimiento de estado es una capacidad fundamental para que los modelos de lenguaje comprendan documentos largos, código o narrativas. Implica rastrear cómo cambian las propiedades de las entidades a lo largo del texto, como la posición de un objeto, el valor de una variable o el estado de un personaje. Sin esta habilidad, un modelo puede perder la coherencia al procesar información que se actualiza repetidamente.

Aunque los modelos actuales manejan bien contextos de decenas de miles de tokens, su capacidad para seguir cadenas de cambios encadenados sigue siendo limitada. StateBench, desarrollado por el Allen Institute for AI (AI2), busca medir con precisión estos límites mediante una jerarquía de tareas que van desde la recuperación de un valor inicial hasta el seguimiento de dependencias complejas entre múltiples variables.

02

Cuatro niveles de complejidad en StateBench

StateBench organiza las tareas en cuatro niveles de dificultad basados en la teoría de Krohn-Rhodes, que describe cómo los problemas de seguimiento de estado se pueden descomponer en primitivas algebraicas. Cada nivel introduce un tipo de actualización de variable más complejo que el anterior, permitiendo evaluar dónde exactamente falla un modelo.

El nivel más básico, R-trivial, utiliza asignaciones inmutables donde el valor de una variable nunca cambia. El modelo solo necesita recuperar el valor inicial. El siguiente nivel, Aperiodic, permite reasignar valores, exigiendo al modelo identificar la última actualización. Estos dos niveles son manejables para la mayoría de los modelos preentrenados.

Niveles de dificultad de StateBench

Comparación de los cuatro niveles de StateBench con sus equivalentes en programación y ejemplos cotidianos.

NivelTipo de asignaciónEjemplo en códigoEjemplo cotidiano
R-trivialInmutablelet x = 4Fecha de nacimiento
AperiodicReasignación por valorx = 4; x = 2Termostato
SolubleActualización autorreferencialx = x + 5Puntuación de un juego
General FiniteAsignación por referenciax = y; swap(x, y)Bolas bajo copas
03

Resultados en modelos preentrenados y de frontera

AI2 evaluó una serie de modelos abiertos y de frontera en los niveles R-trivial, Aperiodic y General Finite. Los modelos preentrenados, como Olmo 3 (transformer) y Olmo Hybrid (con capas Gated DeltaNet), mostraron un rendimiento sólido en los niveles básicos, pero perdieron precisión en los problemas Aperiodic a medida que los inputs se hacían más largos. En los problemas General Finite, todos los modelos preentrenados se mantuvieron cerca del azar.

Los modelos de frontera, incluyendo Gemini 3.8 Flash, Claude Opus 5.5 y GPT-6 Sol y Luna, rindieron bien en los niveles R-trivial y Aperiodic. Sin embargo, en los niveles Soluble y General Finite, su precisión cayó drásticamente con la longitud del input, descendiendo por debajo del 13% en los problemas más largos. Esto sugiere que la sensibilidad a los errores acumulados en cadenas largas es un límite significativo para las arquitecturas actuales.

04

Entrenamiento directo y diferencias arquitectónicas

Para determinar si las limitaciones provienen de la arquitectura o de los datos de preentrenamiento, AI2 entrenó modelos de 275 millones de parámetros desde cero directamente en StateBench. Se compararon variantes de transformers, híbridos y Gated DeltaNet. Los modelos se entrenaron con secuencias de hasta 256 asignaciones y se evaluaron con secuencias de hasta 64,000 asignaciones, 250 veces la longitud máxima de entrenamiento.

Los resultados mostraron una divergencia clara: los modelos Gated DeltaNet e híbridos generalizaron casi perfectamente en los niveles R-trivial, Aperiodic y Soluble hasta las secuencias más largas. En cambio, los transformers aprendieron los niveles fáciles pero degradaron en secuencias largas y no lograron aprender el nivel General Finite. Esto indica que, para los modelos recurrentes e híbridos, el problema es de entrenamiento, mientras que para los transformers es una limitación arquitectónica fundamental.

05

Límites y preguntas abiertas

StateBench asume un número fijo de variables, lo que no refleja completamente tareas reales donde nuevas entidades aparecen durante la conversación o el documento. Además, la posición exacta de ciertas variantes de Gated DeltaNet en la jerarquía teórica sigue abierta, especialmente en relación con la precisión numérica y la combinación con capas de atención.

A pesar de estos límites, StateBench ofrece una herramienta valiosa para los investigadores. Permite identificar con gran granularidad dónde fallan los modelos y guía el desarrollo de nuevas arquitecturas con capacidades de seguimiento de estado más robustas. La disponibilidad de datos y código facilita la replicación y la extensión de estos experimentos.

Cómo interpretar los resultados de StateBench

Al evaluar un modelo con StateBench, es crucial considerar el nivel de dificultad y la longitud del input. Un buen rendimiento en R-trivial no garantiza éxito en General Finite. La generalización más allá de la longitud de entrenamiento es un indicador clave de la robustez arquitectónica.

  1. 01Identificar el nivel de dificultad de la tarea (R-trivial a General Finite).
  2. 02Comparar la longitud del input con la longitud máxima de entrenamiento del modelo.
  3. 03Evaluar si la degradación de precisión es gradual o abrupta al aumentar la longitud.
  4. 04Considerar si el modelo fue entrenado directamente en la tarea o solo preentrenado.
06

Continúa explorando

Fuentes consultadas

03

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.

Proponer una corrección