Qwen3-1.7B прокачали с 48% до 58% на AIME 2024 RL-сигналом от слабой модели

Обучение с подкреплением по проверяемым наградам (RLVR, reinforcement learning with verifiable rewards), один из главных инструментов, которым лаборатории прокачивают способность языковых моделей рассуждать. Проблема в цене: чтобы дообучить таким способом каждую новую сильную модель, эта модель сама должна во время тренировки сгенерировать множество черновых прогонов (rollout), полных попыток решения задачи, и чем крупнее модель, тем дороже каждый такой прогон. По мере роста моделей это превращает пост-тренировку (донастройку после базового обучения) в узкое место.

Shiyuan Feng и соавторы предлагают способ обойти это узкое место: запускать RL не на самой крупной модели, а на маленькой, где каждый прогон стоит на порядки дешевле, а затем переносить извлечённый из этого запуска сигнал на более сильную целевую модель. Простое копирование весов маленькой модели после RL («дистилляция в лоб») не работает: финальная политика маленькой модели, это смесь из полезных находок RL и её собственных ограничений как небольшой модели, и вместе с пользой в крупную модель переносится и слабость учителя.

Вместо этого авторы предлагают метод Direct On-Policy Distillation (Direct-OPD, «прямая дистилляция по собственной политике»). Идея: сравнить веса модели-учителя до и после RL-обучения и взять логарифм отношения их вероятностей (log-ratio) как плотный неявный сигнал награды. Пара чекпоинтов «до» и «после» показывает, какие конкретные действия RL сделал для маленькой модели более вероятными, а какие, менее; Direct-OPD применяет этот же сигнал не к состояниям маленькой модели, а к собственным on-policy состояниям более крупной модели-студента. Так сигнал от RL-тренировки маленькой модели переиспользуется напрямую, без запуска дорогого RL с разреженной верифицируемой наградой на самой целевой модели.

В экспериментах Direct-OPD стабильно улучшал более сильные целевые модели за счёт более слабых моделей-учителей. Показательный результат: метод поднял точность Qwen3-1.7B на бенчмарке AIME 2024 с 48,3% до 58,3%, и это заняло всего 4 часа на 8 GPU A100. Direct-OPD обошёл по эффективности прямой RL с тем же числом шагов обучения (step-matched), а сдвиги политики от нескольких раундов такого переноса можно последовательно комбинировать друг с другом. Общий вывод авторов: результаты RL-тренировки можно переиспользовать между моделями разного размера не только как готовые веса для копирования, а как неявный сигнал награды, это открывает более дешёвый путь прокачки крупных моделей через маленькие.

Ключевые факты

RLVR дорого масштабировать: чем крупнее целевая модель, тем дороже прогоны (rollout) во время RL-тренировки, пост-тренировка становится узким местом для лабораторий.
Авторы (Shiyuan Feng и соавторы) предлагают Direct-OPD: RL прогоняют на маленькой, дешёвой в прогонах модели, а затем переносят наученный сигнал на более крупную целевую модель.
Сигнал переноса, log-ratio вероятностей действий модели-учителя до и после RL, используемый как плотная неявная награда для модели-студента на её собственных состояниях.
На AIME 2024 Direct-OPD поднял точность Qwen3-1.7B с 48,3% до 58,3% за 4 часа на 8 GPU A100, и обошёл по эффективности прямой RL с тем же числом шагов обучения.
Сдвиги политики от нескольких раундов переноса можно комбинировать последовательно; авторы делают вывод, что итоги RL можно переиспользовать между масштабами моделей как сигнал награды, а не только как готовые веса для копирования.

Почему это важно

RLVR стало одним из главных способов дообучать языковые модели рассуждению, но цена такого дообучения растёт вместе с размером модели: каждый шаг требует, чтобы сама целевая модель сгенерировала множество черновых прогонов-решений. Direct-OPD предлагает отвязать эту цену от размера целевой модели: дорогие прогоны во время RL берёт на себя маленькая модель, а крупная модель получает уже готовый, сжатый сигнал о том, что это обучение сочло полезным. Это созвучно выводу самих авторов: результаты RL можно переиспользовать между масштабами моделей как сигнал награды, а не только как готовые веса, то есть в перспективе RL-тренировку можно масштабировать так же, как масштабируют предобучение, за счёт более дешёвых экспериментов меньшего масштаба.

Кому это важно

Лабораториям и командам, которые дообучают большие языковые модели через RL и упираются в бюджет на вычисления, в тексте в качестве примера целевой модели фигурирует Qwen3-1.7B, то есть речь в первую очередь об открытых моделях сопоставимого масштаба. Исследователям RL для языковых моделей, которые ищут более дешёвые способы масштабировать RLVR. Инженерам, которые строят пайплайны пост-тренировки и хотят сократить время и стоимость дообучения крупных моделей.

Как это применить

Практически метод сводится к трём шагам: (1) обучить маленькую, дешёвую в прогонах модель обычным RLVR на нужной задаче; (2) сохранить её веса до и после RL и посчитать log-ratio вероятностей между этими двумя чекпоинтами, это и есть неявная плотная награда; (3) дообучить целевую (крупную) модель дистилляцией на её собственных, сгенерированных ею же ответах, используя этот log-ratio как сигнал награды вместо разреженной верифицируемой награды. В экспериментах авторов на это ушло 4 часа на 8 GPU A100 для модели уровня Qwen3-1.7B; по утверждению авторов, результат превосходит прямой RL с тем же числом шагов обучения (step-matched). Метод допускает и последовательное применение: сдвиги политики от нескольких раундов переноса можно комбинировать друг с другом.

Можно ли доверять

Заявления подкреплены конкретным числом, рост точности Qwen3-1.7B на AIME 2024 с 48,3% до 58,3%, и прямым сравнением с step-matched прямым RL, которое Direct-OPD превосходит. Судя по формулировкам («stronger target models», «более сильные целевые модели», множественное число), метод проверяли на нескольких целевых моделях, но по имени в доступном тексте названа только Qwen3-1.7B. Публикация вышла как препринт на Hugging Face Papers и на момент сборки собрала 101 отметку «нравится» и 3 комментария, это ранний сигнал интереса сообщества, а не независимое воспроизведение или рецензирование.

Риски и подводные камни

В доступном тексте по имени назван только один результат переноса, с маленькой модели на Qwen3-1.7B; неизвестно, насколько метод переносится между разными архитектурами и семействами моделей или на задачи, сильно отличающиеся от математики уровня AIME. Log-ratio как неявная награда логически зависит от качества RL-тренировки самого слабого учителя, шумный или переобученный сигнал учителя рискует передаться и студенту. Наконец, «экономия» считается относительно прямого RL на целевой модели, но метод всё равно требует отдельного полного RL-прогона на маленькой модели плюс шаг дистилляции, итоговая выгода зависит от конкретного соотношения стоимости прогонов между маленькой и большой моделью.

«Проще говоря, пара чекпоинтов показывает, какие действия RL сделал для слабой модели более или менее вероятными, а Direct-OPD применяет этот сигнал к собственным on-policy состояниям более сильного студента.»

— из аннотации к статье на Hugging Face Papers