StateBench valuta la capacità dei modelli di tracciare le variazioni di stato in documenti lunghi
Immagine generata dalla Redazione di Inferama
01

Il problema del tracciamento dello stato in contesti estesi

Il tracciamento dello stato è una capacità fondamentale affinché i modelli linguistici comprendano documenti lunghi, codice o narrazioni. Implica tracciare come cambiano le proprietà delle entità lungo il testo, come la posizione di un oggetto, il valore di una variabile o lo stato di un personaggio. Senza questa abilità, un modello può perdere coerenza quando elabora informazioni che vengono aggiornate ripetutamente.

Sebbene i modelli attuali gestiscano bene contesti di decine di migliaia di token, la loro capacità di seguire catene di modifiche concatenate rimane limitata. StateBench, sviluppato dall'Allen Institute for AI (AI2), mira a misurare con precisione questi limiti attraverso una gerarchia di task che vanno dal recupero di un valore iniziale al tracciamento di dipendenze complesse tra più variabili.

02

Quattro livelli di complessità in StateBench

StateBench organizza i task in quattro livelli di difficoltà basati sulla teoria di Krohn-Rhodes, che descrive come i problemi di tracciamento dello stato possano essere decomposti in primitive algebriche. Ogni livello introduce un tipo di aggiornamento della variabile più complesso del precedente, consentendo di valutare esattamente dove un modello fallisce.

Il livello più basilare, R-trivial, utilizza assegnazioni immutabili in cui il valore di una variabile non cambia mai. Il modello deve solo recuperare il valore iniziale. Il livello successivo, Aperiodic, consente la riassegnazione di valori, richiedendo al modello di identificare l'ultimo aggiornamento. Questi due livelli sono gestibili dalla maggior parte dei modelli pre-addestrati.

Livelli di difficoltà di StateBench

Confronto dei quattro livelli di StateBench con i loro equivalenti nella programmazione e esempi quotidiani.

LivelloTipo di assegnazioneEsempio in codiceEsempio quotidiano
R-trivialImmutabilelet x = 4Data di nascita
AperiodicRiassegnazione per valorex = 4; x = 2Termostato
SolubleAggiornamento auto-riferitox = x + 5Punteggio di un gioco
General FiniteAssegnazione per riferimentox = y; swap(x, y)Palline sotto i bicchieri
03

Risultati nei modelli pre-addestrati e di frontiera

AI2 ha valutato una serie di modelli aperti e di frontiera nei livelli R-trivial, Aperiodic e General Finite. I modelli pre-addestrati, come Olmo 3 (transformer) e Olmo Hybrid (con layer Gated DeltaNet), hanno mostrato prestazioni solide nei livelli basilari, ma hanno perso precisione nei problemi Aperiodic man mano che gli input diventavano più lunghi. Nei problemi General Finite, tutti i modelli pre-addestrati sono rimasti vicino al caso.

I modelli di frontiera, inclusi Gemini 3.8 Flash, Claude Opus 5.5 e GPT-6 Sol e Luna, hanno performato bene nei livelli R-trivial e Aperiodic. Tuttavia, nei livelli Soluble e General Finite, la loro precisione è crollata drasticamente con la lunghezza dell'input, scendendo sotto il 13% nei problemi più lunghi. Questo suggerisce che la sensibilità agli errori accumulati in catene lunghe sia un limite significativo per le architetture attuali.

04

Addestramento diretto e differenze architetturali

Per determinare se i limiti derivino dall'architettura o dai dati di pre-addestramento, AI2 ha addestrato modelli da 275 milioni di parametri da zero direttamente su StateBench. Sono state confrontate varianti di transformer, ibride e Gated DeltaNet. I modelli sono stati addestrati su sequenze di fino a 256 assegnazioni e valutati su sequenze di fino a 64.000 assegnazioni, 250 volte la lunghezza massima di addestramento.

I risultati hanno mostrato una divergenza chiara: i modelli Gated DeltaNet e ibridi hanno generalizzato quasi perfettamente nei livelli R-trivial, Aperiodic e Soluble fino alle sequenze più lunghe. Al contrario, i transformer hanno appreso i livelli facili ma si sono degradati in sequenze lunghe e non sono riusciti ad apprendere il livello General Finite. Questo indica che, per i modelli ricorrenti e ibridi, il problema è di addestramento, mentre per i transformer è un limite architetturale fondamentale.

05

Limiti e domande aperte

StateBench assume un numero fisso di variabili, il che non riflette completamente i task reali in cui nuove entità appaiono durante la conversazione o il documento. Inoltre, la posizione esatta di certe varianti di Gated DeltaNet nella gerarchia teorica rimane aperta, specialmente in relazione alla precisione numerica e alla combinazione con layer di attenzione.

Nonostante questi limiti, StateBench offre uno strumento prezioso per i ricercatori. Consente di identificare con grande granularità dove i modelli falliscono e guida lo sviluppo di nuove architetture con capacità di tracciamento dello stato più robuste. La disponibilità di dati e codice facilita la replicazione e l'estensione di questi esperimenti.

Come interpretare i risultati di StateBench

Quando si valuta un modello con StateBench, è cruciale considerare il livello di difficoltà e la lunghezza dell'input. Una buona performance in R-trivial non garantisce il successo in General Finite. La generalizzazione oltre la lunghezza di addestramento è un indicatore chiave della robustezza architetturale.

  1. 01Identificare il livello di difficoltà del task (da R-trivial a General Finite).
  2. 02Confrontare la lunghezza dell'input con la lunghezza massima di addestramento del modello.
  3. 03Valutare se la degradazione della precisione è graduale o brusca al crescere della lunghezza.
  4. 04Considerare se il modello è stato addestrato direttamente sul task o solo pre-addestrato.
06

Continua a esplorare

Fonti consultate

03

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.

Proponi una correzione