Le problème du suivi d'état dans les contextes étendus
Le suivi d'état est une capacité fondamentale pour que les modèles de langage comprennent les documents longs, le code ou les narrations. Il implique de suivre comment changent les propriétés des entités au fil du texte, comme la position d'un objet, la valeur d'une variable ou l'état d'un personnage. Sans cette habileté, un modèle peut perdre en cohérence lors du traitement d'informations mises à jour de manière répétée.
Bien que les modèles actuels gèrent bien des contextes de dizaines de milliers de jetons, leur capacité à suivre des chaînes de changements enchaînés reste limitée. StateBench, développé par l'Allen Institute for AI (AI2), vise à mesurer précisément ces limites à l'aide d'une hiérarchie de tâches allant de la récupération d'une valeur initiale au suivi de dépendances complexes entre plusieurs variables.
Quatre niveaux de complexité dans StateBench
StateBench organise les tâches en quatre niveaux de difficulté basés sur la théorie de Krohn-Rhodes, qui décrit comment les problèmes de suivi d'état peuvent être décomposés en primitives algébriques. Chaque niveau introduit un type de mise à jour de variable plus complexe que le précédent, permettant d'évaluer précisément où un modèle échoue.
Le niveau le plus basique, R-trivial, utilise des affectations immuables où la valeur d'une variable ne change jamais. Le modèle n'a besoin que de récupérer la valeur initiale. Le niveau suivant, Aperiodic, permet de réaffecter des valeurs, exigeant du modèle qu'il identifie la dernière mise à jour. Ces deux niveaux sont gérables par la plupart des modèles pré-entraînés.
Niveaux de difficulté de StateBench
Comparaison des quatre niveaux de StateBench avec leurs équivalents en programmation et des exemples courants.
| Niveau | Type d'affectation | Exemple en code | Exemple courant |
|---|---|---|---|
| R-trivial | Immutable | let x = 4 | Date de naissance |
| Aperiodic | Réaffectation par valeur | x = 4; x = 2 | Thermostat |
| Soluble | Mise à jour auto-référentielle | x = x + 5 | Score d'un jeu |
| General Finite | Affectation par référence | x = y; swap(x, y) | Billes sous des gobelets |
Résultats sur les modèles pré-entraînés et de frontière
AI2 a évalué une série de modèles ouverts et de frontière aux niveaux R-trivial, Aperiodic et General Finite. Les modèles pré-entraînés, comme Olmo 3 (transformer) et Olmo Hybrid (avec des couches Gated DeltaNet), ont montré des performances solides aux niveaux basiques, mais ont perdu en précision sur les problèmes Aperiodic à mesure que les entrées devenaient plus longues. Sur les problèmes General Finite, tous les modèles pré-entraînés sont restés proches du hasard.
Les modèles de frontière, y compris Gemini 3.8 Flash, Claude Opus 5.5 et GPT-6 Sol et Luna, ont bien performé aux niveaux R-trivial et Aperiodic. Cependant, aux niveaux Soluble et General Finite, leur précision a chuté drastiquement avec la longueur de l'entrée, descendant en dessous de 13 % sur les problèmes les plus longs. Cela suggère que la sensibilité aux erreurs accumulées dans les chaînes longues est une limite significative pour les architectures actuelles.
Entraînement direct et différences architecturales
Pour déterminer si les limites proviennent de l'architecture ou des données de pré-entraînement, AI2 a entraîné des modèles de 275 millions de paramètres depuis zéro directement sur StateBench. Des variantes de transformers, d'hybrides et de Gated DeltaNet ont été comparées. Les modèles ont été entraînés sur des séquences d'au plus 256 affectations et évalués sur des séquences d'au plus 64 000 affectations, soit 250 fois la longueur maximale d'entraînement.
Les résultats ont montré une divergence claire : les modèles Gated DeltaNet et hybrides ont généralisé presque parfaitement aux niveaux R-trivial, Aperiodic et Soluble jusqu'aux séquences les plus longues. En revanche, les transformers ont appris les niveaux faciles mais ont dégradé leurs performances sur les séquences longues et n'ont pas réussi à apprendre le niveau General Finite. Cela indique que, pour les modèles récurrents et hybrides, le problème est d'entraînement, tandis que pour les transformers, c'est une limitation architecturale fondamentale.
Limites et questions ouvertes
StateBench suppose un nombre fixe de variables, ce qui ne reflète pas entièrement les tâches réelles où de nouvelles entités apparaissent au cours de la conversation ou du document. De plus, la position exacte de certaines variantes de Gated DeltaNet dans la hiérarchie théorique reste ouverte, en particulier en ce qui concerne la précision numérique et la combinaison avec des couches d'attention.
Malgré ces limites, StateBench offre un outil précieux pour les chercheurs. Il permet d'identifier avec une grande granularité où les modèles échouent et guide le développement de nouvelles architectures avec des capacités de suivi d'état plus robustes. La disponibilité des données et du code facilite la réplication et l'extension de ces expériences.
Comment interpréter les résultats de StateBench
Lors de l'évaluation d'un modèle avec StateBench, il est crucial de considérer le niveau de difficulté et la longueur de l'entrée. De bonnes performances en R-trivial ne garantissent pas le succès en General Finite. La généralisation au-delà de la longueur d'entraînement est un indicateur clé de la robustesse architecturale.
- 01Identifier le niveau de difficulté de la tâche (de R-trivial à General Finite).
- 02Comparer la longueur de l'entrée avec la longueur maximale d'entraînement du modèle.
- 03Évaluer si la dégradation de la précision est progressive ou abrupte à mesure que la longueur augmente.
- 04Considérer si le modèle a été entraîné directement sur la tâche ou uniquement pré-entraîné.
Poursuivre l’exploration
Corrections et transparence
Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.
Proposer une correction