Представлен Waypoint-OPD: дистилляция Qwen3 с отбором сдвигов после RL

В препринте предложен метод Waypoint-guided On-Policy Distillation (Waypoint-OPD). Он относится к дистилляции сдвига политики (policy-shift distillation): разница между логарифмами вероятностей учителя до и после обучения с подкреплением (RL) используется как обучающий сигнал на траекториях, которые сгенерировала сама модель-ученик.

Авторы указывают на слабое место такого подхода. Итоговый сдвиг политики, то есть разница между началом и концом обучения учителя, не показывает, менялись ли локальные предпочтения в выборе действий согласованно на протяжении обучения. Один и тот же итоговый сдвиг может получиться из раннего и позднего сдвигов, которые усиливают друг друга или частично компенсируют.

Поэтому исследователи проверяют, может ли согласие между ранним и поздним сдвигами политики учителя направлять выборочный перенос. Waypoint-OPD берёт промежуточный чекпойнт учителя из того же прогона RL и сравнивает ранний и поздний сдвиги в относительных предпочтениях действий на префиксах, которые посещает ученик. Итоговый сдвиг затем «пропускается через затвор» (gate) по направленному согласию раннего и позднего сдвигов: если они направлены в противоположные стороны, итоговый сдвиг подавляется. По сравнению с переносом только итогового сдвига метод требует лишь одного дополнительного прохода оценки замороженным учителем.

Эксперименты: учителями служили модели Qwen3-4B, обученные с RL, учениками, Qwen3-8B, Qwen3-14B и Qwen3-30B-A3B, области, математические рассуждения и рассуждения в коде. Во всех шести сочетаниях «область, ученик» Waypoint-OPD получил наивысший средний по области балл среди сравниваемых методов дистилляции. Абляции с учеником Qwen3-8B показали, что удаление или перемешивание затворов снижает качество математических рассуждений. Авторы заключают, что результаты поддерживают идею взвешивать итоговый сдвиг по направленному согласию раннего и позднего сдвигов учителя.

Ключевые факты

Waypoint-OPD использует промежуточный чекпойнт учителя из того же прогона RL, чтобы сравнить ранний и поздний сдвиги политики на префиксах, которые посещает ученик.
Итоговый сдвиг подавляется, когда ранний и поздний сдвиги направлены в противоположные стороны.
По сравнению с переносом только итогового сдвига нужен один дополнительный проход оценки замороженным учителем.
Учителя, Qwen3-4B после RL, ученики, Qwen3-8B, Qwen3-14B и Qwen3-30B-A3B; области, математические рассуждения и рассуждения в коде.
Во всех шести сочетаниях «область, ученик» метод показал наивысший средний балл среди сравниваемых методов дистилляции; удаление или перемешивание затворов снижает качество математики у Qwen3-8B.

Почему это важно

Обучение с подкреплением стало распространённым способом усиливать рассуждения моделей, а дистилляция позволяет передать этот эффект меньшим или другим моделям без повторного RL. Работа указывает на конкретный изъян существующей дистилляции сдвига политики: итоговая разница между учителем до и после RL скрывает, как предпочтения менялись по ходу обучения, и совпадающий итог может складываться из взаимно усиливающихся или частично гасящихся ранних и поздних сдвигов. Предложенный фильтр по согласию этапов, простая идея, которая, по заявлению авторов, даёт выигрыш во всех проверенных настройках.

Кому это важно

Прежде всего исследователям и инженерам, которые занимаются посттренировкой и дистилляцией языковых моделей, в том числе переносом результатов RL на модели другого размера. Работа также будет интересна тем, кто строит конвейеры обучения с сохранением промежуточных чекпойнтов: метод опирается на чекпойнт из середины прогона RL учителя.

Как это применить

Согласно описанию, метод требует промежуточного чекпойнта учителя из того же прогона RL и одного дополнительного прохода оценки замороженным учителем сверх переноса только итогового сдвига. Практически это значит, что чекпойнт из середины обучения учителя стоит сохранять заранее. Об открытом коде или выпуске моделей в источнике ничего не говорится, поэтому воспроизведение потребует реализации по описанию метода.

Можно ли доверять

Это препринт: все утверждения принадлежат авторам, независимой проверки в источнике нет. Для оценки приведены только словесные выводы: наивысший средний балл по области в шести сочетаниях, но без числовых значений и без величины отрыва от конкурирующих методов. Сами сравниваемые методы и тесты по математике и коду в тексте не названы. Авторы и организации в источнике не указаны.

Риски и подводные камни

Результаты получены только с учителями Qwen3-4B; в источнике не сказано, проверялись ли другие размеры учителей или другие семейства моделей, так что перенос выводов на них не подтверждён. Абляция затворов описана только для математических рассуждений на ученике Qwen3-8B; про код в абляциях ничего не сказано. Данных о затратах, кроме одного дополнительного прохода оценки, нет. Метод зависит от наличия подходящего промежуточного чекпойнта того же прогона RL.