Бенчмарк StateBench: топовые нейросети путаются в изменениях состояния на длинных текстах

В блоге на Hugging Face представлен StateBench, бенчмарк для оценки того, как языковые модели отслеживают состояние сущностей в длинных документах, пока оно меняется. Такое отслеживание нужно и при чтении кода, где переменным присваивают и переприсваивают значения, и при чтении сюжета, где герои перемещаются, а предметы переходят из рук в руки. Пример из текста: если в детективе сказано «Джон передал Мэри нож» прямо перед убийством, важно понимать, что состояние каждого героя изменилось. Задачи бывают разной сложности: в простых достаточно найти последнее обновление, в сложных нужно проследить цепочку изменений, где один пропущенный шаг ломает итоговый ответ.

Мотивация авторов: у трансформеров есть хорошо описанные теоретические пределы на сложных вариантах отслеживания состояния с длинными цепочками зависимостей. Это подталкивает к рекуррентным и гибридным архитектурам вроде Gated DeltaNet, которые несут вперёд «бегущую память». Существующие тесты в основном берут самые трудные случаи, а авторам важно понять, какие именно виды отслеживания состояния доступны каждой архитектуре, включая более простые и, возможно, более частые.

Бенчмарк состоит из четырёх уровней сложности, которые программист может понимать как типы присваивания переменных. R-тривиальные задачи, неизменяемое присваивание: значение задано один раз, как дата рождения (в коде let x = 4). Апериодические задачи допускают переприсваивание по значению: нужно найти последнее значение, как настройку термостата (x = 4, позже x = 2). Разрешимые (soluble) задачи добавляют самоссылающиеся обновления: каждое изменение опирается на текущее значение, как счёт в игре (x = x + 5). Общие конечные задачи (general finite) добавляют присваивание по ссылке, когда одна переменная получает текущее значение другой (x = y, обмен значений). Пример, фокусник прячет шарик под одним из пяти стаканов и многократно меняет их местами; это задача S₅, отслеживание перестановок пяти объектов, она относится к самому сложному уровню. Различия между уровнями опираются на теорию Кроне, Роудса (раздел алгебры о разложении задач отслеживания состояния, то есть задач о слове над конечными моноидами, на атомарные примитивы). Для честного сравнения берут одну общую конечную последовательность присваиваний и выводят из неё три более простые версии: число переменных, число различных значений и места присваиваний совпадают, меняется только тип присваивания.

Предобученные модели. Авторы проверили открытые предобученные модели на r-тривиальном, апериодическом и общем конечном уровнях. По стандартным теоретическим допущениям трансформеры уверенно справляются с r-тривиальным уровнем (и в какой-то мере с апериодическим и разрешимым), но на общих задачах должны провалиться, а Gated DeltaNet с более гибким обновлением памяти в принципе способен решить все четыре уровня. В тест вошли две модели на 7 млрд параметров, Olmo 3 (трансформер) и Olmo Hybrid (добавляет слои Gated DeltaNet), и меньшие модели на 275 млн и 2,7 млрд параметров. Все предобучены на одних данных, контекст при обучении не превышал 64 000 токенов, а тестировали в основном на более длинных входах. Почти все хорошо решали r-тривиальные задачи, теряли точность на апериодических по мере роста входа и оставались на уровне случайного угадывания на общих конечных. Важен и формат: гибридная модель и модель Gated DeltaNet на 275 млн параметров почти идеально справлялись с r-тривиальными задачами в формате RULER, но были близки к случайному уровню на тех же задачах, оформленных как правки таблицы. Поэтому StateBench проверяет одну и ту же задачу в нескольких форматах.

Передовые модели. Четыре передовые модели, Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и Luna, должны были прочитать последовательность присваиваний и выдать итоговое значение каждой переменной. Все четыре хорошо решали r-тривиальные и апериодические задачи, но на разрешимых и общих конечных точность резко падала с ростом длины, до 13% и ниже на самых длинных общих конечных задачах. Одним из вероятных факторов авторы называют чувствительность: на сложных уровнях на итоговый ответ влияет гораздо больше шагов, и пропустить обновление без ошибки в результате почти невозможно.

Модели, обученные прямо на задаче. Чтобы понять, упирается ли проблема в саму архитектуру или в то, что предобучение этому не учит, авторы обучили с нуля несколько моделей на 275 млн параметров: два варианта трансформера, два гибрида и два варианта Gated DeltaNet с разными ограничениями на обновление памяти. Обучали на последовательностях до 256 присваиваний, тестировали на длине до 64 000 присваиваний, что в 250 раз больше максимальной обучающей длины. Gated DeltaNet и гибриды почти идеально обобщали на r-тривиальных, апериодических и разрешимых задачах вплоть до самых длинных проверенных последовательностей, десятков тысяч присваиваний. Трансформеры выучили лёгкие уровни, но деградировали на длинных последовательностях и так и не выучили общие конечные задачи. На самом сложном уровне дальше всех обобщил вариант Gated DeltaNet с более гибким обновлением памяти: он оставался почти безупречным примерно до 10-кратной длины самых длинных обучающих последовательностей. Для Gated DeltaNet и гибридов разрыв с предобученными версиями указывает на обучение, а не на архитектуру: при прямом обучении они освоили уровни, недоступные предобученным аналогам. Трансформеры же даже при прямом обучении самый трудный уровень не освоили.

Открытые вопросы. Новое доказательство авторов показывает, что Gated DeltaNet с более ограниченным обновлением памяти (неотрицательные собственные значения) решает все апериодические задачи и некоторые периодические, например проверку чётности числа повторений входа, при условии арифметики фиксированной точности с округлением из статьи. Его точное место в иерархии остаётся открытым: неясно, решает ли он все разрешимые задачи и как влияют численная точность и сочетание со слоями внимания. Кроме того, StateBench предполагает фиксированное число переменных, тогда как в реальных задачах новые сущности появляются по ходу, например в длинном разговоре, и эту ситуацию текущая схема пока не охватывает. Авторы надеются, что бенчмарк даст исследователям более точный способ находить, где модели ломаются, и поможет строить обучающие и оценочные данные для слабых мест.

Ключевые факты

• StateBench, бенчмарк отслеживания состояния в длинном контексте с четырьмя уровнями сложности: r-тривиальный, апериодический, разрешимый и общий конечный; уровни опираются на теорию Кроне, Роудса и соответствуют типам присваивания переменных.
• Четыре передовые модели (Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и Luna) хорошо решают лёгкие уровни, но на разрешимых и общих конечных задачах точность резко падает с ростом длины, до 13% и ниже на самых длинных общих конечных.
• Предобученные открытые модели, включая Olmo 3 (трансформер) и Olmo Hybrid (с Gated DeltaNet), на общих конечных задачах остаются на уровне случайного угадывания, а результат зависит от формата задачи.
• Модели на 275 млн параметров, обученные с нуля на последовательностях до 256 присваиваний и проверенные на длине до 64 000, показали, что Gated DeltaNet и гибриды обобщают почти идеально на трёх лёгких уровнях, а трансформеры деградируют и общие конечные задачи не выучили.
• Бенчмарк пока предполагает фиксированное число переменных и не покрывает появление новых сущностей по ходу текста.

Почему это важно

Отслеживание того, как со временем меняются значения переменных или состояние героев, лежит в основе чтения кода и длинных историй. Работа разделяет эту способность на четыре уровня и показывает, где именно ломаются разные архитектуры: передовые модели справляются с лёгкими уровнями, но на сложных теряют точность по мере роста входа. Отдельно заметен вывод, что рекуррентные и гибридные модели при прямом обучении обобщают на гораздо большую длину, чем трансформеры, а разрыв с предобученными версиями указывает на обучение, а не на архитектуру.

Кому это важно

Исследователям архитектур (рекуррентных, гибридных, трансформеров) и тем, кто готовит обучающие и оценочные данные для длинного контекста. Также тем, кто строит системы поверх нейросетей для работы с кодом или длинными документами и хочет понимать, на каких видах отслеживания состояния современные модели начинают ошибаться.

Как это применить

Авторы публикуют технический отчёт, данные и код (ссылки стоят в начале блога). Бенчмарк можно использовать как более тонкий инструмент диагностики: сравнивать модели по каждому из четырёх уровней и в нескольких форматах одной и той же задачи, например в формате RULER и в виде правок таблицы. Данные также можно брать для построения обучающих наборов по слабым местам моделей.

Можно ли доверять

Источник, блог на Hugging Face, сопровождаемый техническим отчётом, данными и кодом, то есть результаты в принципе можно перепроверить. В тексте блога не названы авторы и организация, не указана дата публикации. Точных цифр точности по отдельным передовым моделям не приводится, только общая оценка «13% или ниже» на самых длинных общих конечных задачах, и не сказано, какая модель лучше или хуже. Для предобученных и обученных с нуля моделей даны только качественные описания. Объяснение провалов передовых моделей через чувствительность подано как «один из вероятных факторов», а не как установленная причина.

Риски и подводные камни

Результат сильно зависит от формата задачи: модели с почти идеальным результатом в формате RULER оказывались близки к случайному уровню на тех же задачах в виде правок таблицы. Выводы о прямом обучении получены на моделях в 275 млн параметров и последовательностях до 256 присваиваний при обучении, так что переносить их на крупные предобученные модели нужно осторожно. Бенчмарк предполагает фиксированное число переменных, тогда как в реальных задачах новые сущности появляются по ходу, и этот случай пока не охвачен. Точное место Gated DeltaNet с ограниченным обновлением памяти в иерархии остаётся открытым вопросом, а доказательство опирается на арифметику фиксированной точности с округлением.

«Что ещё важнее, мы надеемся, что он станет путеводной звездой для исследователей, которые будут разрабатывать новые архитектуры с более надёжным отслеживанием состояния, чем у нынешних моделей.»

— Из блога StateBench на Hugging Face