O problema do rastreamento de estado em contextos extensos
O rastreamento de estado é uma capacidade fundamental para que os modelos de linguagem compreendam documentos longos, código ou narrativas. Implica rastrear como mudam as propriedades das entidades ao longo do texto, como a posição de um objeto, o valor de uma variável ou o estado de um personagem. Sem essa habilidade, um modelo pode perder a coerência ao processar informações que se atualizam repetidamente.
Embora os modelos atuais lidem bem com contextos de dezenas de milhares de tokens, sua capacidade de seguir cadeias de mudanças encadeadas continua limitada. O StateBench, desenvolvido pelo Allen Institute for AI (AI2), busca medir com precisão esses limites por meio de uma hierarquia de tarefas que vai da recuperação de um valor inicial ao rastreamento de dependências complexas entre múltiplas variáveis.
Quatro níveis de complexidade no StateBench
O StateBench organiza as tarefas em quatro níveis de dificuldade baseados na teoria de Krohn-Rhodes, que descreve como os problemas de rastreamento de estado podem ser decompostos em primitivas algébricas. Cada nível introduz um tipo de atualização de variável mais complexo que o anterior, permitindo avaliar onde exatamente um modelo falha.
O nível mais básico, R-trivial, utiliza atribuições imutáveis onde o valor de uma variável nunca muda. O modelo só precisa recuperar o valor inicial. O próximo nível, Aperiódico, permite reatribuir valores, exigindo que o modelo identifique a última atualização. Esses dois níveis são gerenciáveis para a maioria dos modelos pré-treinados.
Níveis de dificuldade do StateBench
Comparação dos quatro níveis do StateBench com seus equivalentes em programação e exemplos do cotidiano.
| Nível | Tipo de atribuição | Exemplo em código | Exemplo cotidiano |
|---|---|---|---|
| R-trivial | Imutável | let x = 4 | Data de nascimento |
| Aperiódico | Reatribuição por valor | x = 4; x = 2 | Termostato |
| Solúvel | Atualização autorreferencial | x = x + 5 | Pontuação de um jogo |
| Finito Geral | Atribuição por referência | x = y; swap(x, y) | Bolas sob copos |
Resultados em modelos pré-treinados e de fronteira
O AI2 avaliou uma série de modelos abertos e de fronteira nos níveis R-trivial, Aperiódico e Finito Geral. Os modelos pré-treinados, como Olmo 3 (transformer) e Olmo Hybrid (com camadas Gated DeltaNet), mostraram um desempenho sólido nos níveis básicos, mas perderam precisão nos problemas Aperiódicos à medida que as entradas ficavam mais longas. Nos problemas Finito Geral, todos os modelos pré-treinados permaneceram perto do acaso.
Os modelos de fronteira, incluindo Gemini 3.8 Flash, Claude Opus 5.5 e GPT-6 Sol e Luna, tiveram bom desempenho nos níveis R-trivial e Aperiódico. No entanto, nos níveis Solúvel e Finito Geral, sua precisão caiu drasticamente com o comprimento da entrada, descendo para menos de 13% nos problemas mais longos. Isso sugere que a sensibilidade a erros acumulados em cadeias longas é um limite significativo para as arquiteturas atuais.
Treinamento direto e diferenças arquitetônicas
Para determinar se as limitações provêm da arquitetura ou dos dados de pré-treinamento, o AI2 treinou modelos de 275 milhões de parámetros do zero diretamente no StateBench. Foram comparadas variantes de transformers, híbridos e Gated DeltaNet. Os modelos foram treinados com sequências de até 256 atribuições e avaliados com sequências de até 64.000 atribuições, 250 vezes o comprimento máximo de treinamento.
Os resultados mostraram uma divergência clara: os modelos Gated DeltaNet e híbridos generalizaram quase perfeitamente nos níveis R-trivial, Aperiódico e Solúvel até as sequências mais longas. Em contraste, os transformers aprenderam os níveis fáceis, mas degradaram em sequências longas e não conseguiram aprender o nível Finito Geral. Isso indica que, para os modelos recorrentes e híbridos, o problema é de treinamento, enquanto para os transformers é uma limitação arquitetônica fundamental.
Limites e questões em aberto
O StateBench assume um número fixo de variáveis, o que não reflete completamente tarefas reais onde novas entidades aparecem durante a conversa ou o documento. Além disso, a posição exata de certas variantes de Gated DeltaNet na hierarquia teórica continua em aberto, especialmente em relação à precisão numérica e à combinação com camadas de atenção.
Apesar desses limites, o StateBench oferece uma ferramenta valiosa para os pesquisadores. Permite identificar com grande granularidade onde os modelos falham e guia o desenvolvimento de novas arquiteturas com capacidades de rastreamento de estado mais robustas. A disponibilidade de dados e código facilita a replicação e a extensão desses experimentos.
Como interpretar os resultados do StateBench
Ao avaliar um modelo com o StateBench, é crucial considerar o nível de dificuldade e o comprimento da entrada. Um bom desempenho em R-trivial não garante sucesso em Finito Geral. A generalização além do comprimento de treinamento é um indicador chave da robustez arquitetônica.
- 01Identificar o nível de dificuldade da tarefa (de R-trivial a Finito Geral).
- 02Comparar o comprimento da entrada com o comprimento máximo de treinamento do modelo.
- 03Avaliar se a degradação de precisão é gradual ou abrupta ao aumentar o comprimento.
- 04Considerar se o modelo foi treinado diretamente na tarefa ou apenas pré-treinado.
Continue a explorar
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção