Исследование on-policy дистилляции: какие различия моделей переносятся, а какие нет
On-policy дистилляция (OPD) обучает целевую модель на её собственных сгенерированных траекториях, используя пословную (на уровне токенов) подсказку более сильного учителя. Обычно такой подход требует, чтобы учитель был заметно способнее целевой модели. Недавние работы ослабляют это требование: переносится не абсолютное распределение эксперта, а относительная разница между экспертом и референсной политикой. При этом оставалось неясным, какие именно различия дают полезный сигнал и каким целевым моделям они помогают.
Авторы предлагают единый взгляд на задачу. В нём логарифм отношения вероятностей прокси-эксперта и прокси-референса задаёт неявную награду для оптимизации политики с KL-регуляризацией. Из такой формулировки следует on-policy обновление целевой модели, обычная OPD получается как частный случай, а перенос становится возможным «из любой модели в любую», между моделями, различающимися масштабом, этапом обучения или поколением.
Систематические эксперименты дали три вывода. Первый: более сильный эксперт, не обязательно лучший источник сигнала. Различия, которые появились из-за обучения под конкретную задачу, включая обучение с подкреплением (RL) и контролируемое дообучение (SFT), переносятся стабильно, а различия, вызванные одним лишь масштабом модели, переносятся слабо или не переносятся вовсе. Второй: эксперт и референс играют дополняющие роли, эксперт даёт переносимую способность, а референс отфильтровывает общее поведение и выделяет нужный остаток. Третий: даже полезное различие переносится не на любую целевую модель; для успеха обновление должно сдвигать целевую модель в сторону эксперта и обобщаться за пределы использованных траекторий.
Кроме того, сырая дистанция между политиками не предсказывает переносимость, а подходящий референс может спасти перенос, который иначе не удался бы. В итоге результаты описывают, когда относительные различия политик дают эффективный сигнал для OPD.
Ключевые факты
- Обычная OPD требует учителя, заметно более способного, чем целевая модель; новая формулировка переносит относительную разницу между экспертом и референсом и включает обычную OPD как частный случай.
- Различия, возникшие от обучения под задачу (RL и SFT), переносятся стабильно, а различия только от масштаба модели, слабо или не переносятся.
- Эксперт даёт переносимую способность, а референс убирает общее поведение и выделяет нужный остаток.
- Перенос зависит и от целевой модели: обновление должно сдвигать её к эксперту и обобщаться за пределы использованных траекторий.
- Сырая дистанция между политиками переносимость не предсказывает, а подходящий референс может спасти неудавшийся перенос.
Почему это важно
Дистилляцию принято считать способом передать знания от сильной модели слабой, и логично ожидать, что чем сильнее учитель, тем лучше результат. Работа оспаривает это ожидание: по выводам авторов, более сильный эксперт не обязательно лучший источник сигнала, а решает природа различия, следует ли оно из обучения под задачу (RL, SFT) или только из масштаба. Кроме того, авторы показывают, что одной дистанции между политиками недостаточно, чтобы предсказать успех переноса.
Кому это важно
Прежде всего исследователям и инженерам, которые занимаются дистилляцией и пост-обучением языковых моделей: тем, кто строит обучение с KL-регуляризованной оптимизацией политики и подбирает пары эксперт, референс. Для широкого читателя работа остаётся узкотехнической.
Как это применить
В источнике, только аннотация, готового рецепта, кода или перечня моделей в ней нет. Как ориентиры из выводов авторов следуют такие соображения: при выборе пары эксперт, референс смотреть на различие, возникшее от дообучения под задачу, а не только на разницу в размере; роль референса считать значимой и подбирать его осознанно; не полагаться на сырую дистанцию между политиками как на предсказатель успеха. Детали проверять в полном тексте статьи.
Можно ли доверять
Пересказ построен только по аннотации статьи со страницы Hugging Face Papers. В ней заявлены три вывода из систематических экспериментов, но не названы модели, размеры, наборы данных, тесты и количественные результаты, поэтому масштаб и устойчивость выводов по аннотации оценить нельзя. Все утверждения здесь, слова авторов о собственных результатах; независимой проверки в источнике нет.
Риски и подводные камни
Выводы сформулированы качественно и без цифр в аннотации, так что неизвестно, насколько они общие: на каких моделях и задачах проверялись. Сами авторы оговаривают, что даже полезное различие переносится не на любую целевую модель, поэтому механически переносить правило «берите различия от RL и SFT» нельзя. Как раз успех зависит от того, сдвигает ли обновление целевую модель к эксперту и обобщается ли оно за пределы сэмплированных траекторий.