Метод ELR избавляет циклические языковые модели от потери точности на одном цикле

Циклическая (латентно-рекуррентная) языковая модель многократно применяет один и тот же общий блок слоёв, поэтому один набор весов (чекпойнт) можно менять местами вычисления и точность, задавая число циклов. Проблема, на которую указывают авторы: на одном цикле такие модели обычно заметно уступают обычной, нециклической модели того же размера. Эту «пошлину одного цикла» авторы считают причиной, по которой при требовательности к задержке выгоднее брать отдельную обычную модель.

Статья предлагает Elastic Latent Recurrence (ELR), рецепт обучения циклических моделей без такой пошлины. По заявлению авторов, на одном цикле модель ELR стоит в обслуживании столько же, сколько обычная модель того же размера, и при обучении на тех же данных достигает похожей точности. Каждый следующий цикл даёт больше точности за счёт дополнительных вычислений при выводе.

Рецепт держится на трёх решениях: обновление состояния с вентилем (gated) и обучаемым размером шага; смешивание числа циклов внутри каждого шага оптимизатора; условие каждого прохода на номер цикла и бюджет. Первые два сохраняют точность на одном цикле, третье снижает ошибку (loss) на каждом дополнительном цикле.

Дополнительно описаны приёмы экономии. Смешанное число циклов можно вводить поздно, на этапе предобучения, чтобы ограничить рост стоимости обучения; при добавлении кондиционирования с нулевой инициализацией в момент переключения такой поздний график достигает меньшей ошибки, чем смешанное обучение с нуля. В MoE-моделях (смесь экспертов) повторное использование маршрутов экспертов первого цикла на последующих циклах сокращает время шага обновления при смешанной глубине на 11,7% без измеримого изменения точности. При выводе хранение только KV-кэша внимания последнего цикла удерживает память под него на уровне одного цикла и сохраняет большую часть выигрыша от дополнительных циклов.

Результаты: на плотной модели 4B и гибридной MoE-модели 30B-A3B ELR на одном цикле отстаёт от соответствующего базового варианта на 0,52 пункта (4B) и опережает его на 1,04 пункта (30B-A3B) в среднем по десяти задачам; четыре цикла добавляют 7,25 и 4,75 пункта соответственно. Рецепт, доведённый через пост-обучение, даёт Koi-4B, единый чекпойнт, оценка которого по индексу Artificial Analysis Intelligence Index составляет примерно 18 на одном цикле (на уровне Qwen3.5-4B) и 29 на четырёх циклах.

Ключевые факты

ELR, рецепт обучения циклических языковых моделей: на одном цикле стоимость обслуживания такая же, как у обычной модели того же размера, и точность похожая; каждый дополнительный цикл прибавляет точность за счёт вычислений при выводе.
Три решения: вентильное обновление состояния с обучаемым шагом, смешивание числа циклов внутри шага оптимизатора и условие прохода на номер цикла и бюджет.
На моделях 4B (плотная) и 30B-A3B (гибрид MoE) на одном цикле результат на 0,52 пункта ниже и на 1,04 пункта выше базового варианта по среднему из десяти задач; четыре цикла добавляют 7,25 и 4,75 пункта.
В MoE-моделях повторное использование маршрутов экспертов первого цикла сокращает время шага обновления на 11,7% без измеримого изменения точности.
Koi-4B: оценка индекса Artificial Analysis Intelligence Index около 18 на одном цикле (как у Qwen3.5-4B) и 29 на четырёх циклах.

Почему это важно

Циклические модели привлекательны тем, что один набор весов гибко меняет вычисления на точность. Но, по словам авторов, на одном цикле они обычно сильно проигрывают обычным моделям, поэтому при требовании к низкой задержке приходилось держать отдельную нециклическую модель. ELR претендует снять этот компромисс: один чекпойнт на одном цикле работает как обычная модель такого размера, а при наличии запаса вычислений наращивает качество циклами. Пример Koi-4B показывает рост оценки с 18 до 29 на индексе Artificial Analysis Intelligence Index при переходе от одного цикла к четырём.

Кому это важно

Исследователям архитектур с повторным применением слоёв и тем, кто обучает языковые модели и думает о гибком соотношении точности и стоимости вывода. Также стоит присмотреться командам, обслуживающим модели при разной нагрузке и требованиях к задержке: идея в том, чтобы одним чекпойнтом покрывать и быстрый, и более точный режим.

Как это применить

Статья описывает рецепт обучения, а не готовый продукт: три конструктивных решения (вентильное обновление состояния с обучаемым шагом, смешивание числа циклов в каждом шаге оптимизатора, кондиционирование на номер цикла и бюджет). Для ограничения стоимости обучения авторы советуют вводить смешанные глубины поздно в предобучении, а для MoE, переиспользовать маршруты экспертов первого цикла. При выводе сохранение KV-кэша только последнего цикла удерживает память внимания на уровне одного цикла, сохраняя большую часть выигрыша от дополнительных циклов.

Можно ли доверять

Все цифры взяты из аннотации статьи и представляют собой заявления самих авторов. Из текста не видно, какие именно десять задач входят в среднее и что представляют собой «соответствующие базовые варианты». Оценка Koi-4B на одном цикле названа «ориентировочной», при этом в тексте не сказано, кто её получил. Точные результаты Qwen3.5-4B не приведены, сказано лишь, что Koi-4B на одном цикле ему соответствует. Для окончательных выводов нужен полный текст статьи.

Риски и подводные камни

Прирост от четырёх циклов (7,25 и 4,75 пункта) в тексте описан словом «добавляют»; к чему именно он отнесён, к ELR на одном цикле или к базовому варианту, не уточнено. Стоимость дополнительных циклов в числах не приведена: сказано лишь, что каждый цикл даёт больше точности «за больше вычислений при выводе». Цифра 11,7% относится к времени шага обновления при обучении MoE-моделей, а не к ускорению вывода. Не сказано, доступны ли веса или код Koi-4B, и как растёт качество при числе циклов больше четырёх.

«Каждый дополнительный цикл даёт больше точности за счёт дополнительных вычислений при выводе.»

— из аннотации статьи об Elastic Latent Recurrence