Présentation de StateBench, un banc d’essai mesurant comment les modèles d’IA suivent l’évolution des faits dans de longs documents

Un billet du blog de Hugging Face présente StateBench, un banc d’essai qui mesure dans quelle mesure les modèles de langage suivent les détails d’entités à mesure qu’ils changent au fil de longs documents.

StateBench se divise en quatre niveaux de difficulté, chacun autorisant des types de mises à jour d’état plus complexes que le précédent.

Au niveau le plus facile, appelé r-trivial, une valeur est fixée une seule fois et ne change plus ensuite.

Au niveau le plus difficile, appelé general finite, une variable peut copier la valeur actuelle d’une autre, un peu comme lorsqu’on suit une balle pendant que des gobelets sont intervertis.

Quatre modèles de pointe ont été évalués : GPT-6 Sol, GPT-6 Luna, Claude Opus 5.5 et Gemini 3.8 Flash.

Ces modèles de pointe ont obtenu de bons résultats sur les tâches r-trivial et apériodiques, mais leur précision a été de 13 % ou moins sur les tâches les plus longues du niveau general finite.

Les chercheurs ont construit à partir de zéro plusieurs modèles de 275 millions de paramètres avec StateBench, puis les ont évalués sur des séquences bien plus longues que toutes celles vues pendant l’entraînement.

Jusqu’à des dizaines de milliers d’affectations, les modèles Gated DeltaNet et hybrides sont restés quasi parfaits sur les trois niveaux les plus faciles ; les transformers ont perdu en précision sur les entrées plus longues et n’ont jamais appris le niveau general finite.

Selon le billet, les transformers n’ont pas pu apprendre le niveau le plus difficile, même lorsqu’ils étaient entraînés directement dessus.

De l’avis des auteurs, mieux comprendre les types de mises à jour que chaque architecture peut gérer pourrait aider à façonner la manière dont les futurs modèles sont construits et entraînés.