Предложен BranchOPD: дистилляция модели с ветвлением траекторий
On-policy distillation (OPD, дистилляция на собственных траекториях ученика), это обучение, при котором модель-учитель даёт сигнал на тех траекториях, которые сгенерировала сама модель-ученик. Проблема, от которой отталкиваются авторы работы: одна траектория реализует лишь одно продолжение в каждой точке принятия решения, поэтому при ограниченном бюджете сэмплирования охват обучающего сигнала невелик.
Их ответ, метод BranchOPD (Branching On-Policy Distillation). Он выбирает информативные точки решения по двум признакам: неопределённость ученика и расхождение между учеником и учителем. Из общих префиксов в этих точках заново сэмплируются продолжения политики ученика, а токен-уровневый сигнал учителя применяется и к основным траекториям, и к веткам. В математике метод работает на уровне решений отдельных токенов, в агентных задачах, на уровне решений внутри одного хода.
Переиспользование общих префиксов, по оценке авторов, снижает затраты на токены, сгенерированные учеником, примерно на 19% на ALFWorld и на 31% на WebShop, по сравнению с семью независимыми траекториями. Дополнительно предложен protocol-boundary repair (PBR, «ремонт границ протокола»): целевой сигнал под ограничениями протокола, который смягчает повторы и лишнюю генерацию.
По утверждению авторов, BranchOPD превосходит и обычную OPD (Vanilla OPD), и многотраекторный вариант Multi-Rollout OPD (n=7) на всех проверенных бенчмарках. Прирост над Vanilla OPD составил 18,55 процентного пункта в средней точности на математике (среднее по 16 сэмплированным ответам, avg@16) и 13,8 пункта в среднем успехе на ALFWorld (ID/OOD). Механистический анализ и абляции отбора точек показали, что ветвление в неопределённых местах расширяет охват последующего поведения и работает лучше случайного выбора точек и ветвления в начале хода.
Ключевые факты
- BranchOPD ветвит продолжения модели-ученика из общих префиксов в точках, выбранных по неопределённости ученика и расхождению с учителем, и размечает основные траектории и ветки токен-уровневым сигналом учителя.
- Прирост над Vanilla OPD: 18,55 п.п. в средней точности на математике (avg@16) и 13,8 пункта в среднем успехе на ALFWorld ID/OOD.
- Переиспользование префиксов снижает затраты на токены ученика примерно на 19% на ALFWorld и на 31% на WebShop относительно семи независимых траекторий.
- Метод PBR (protocol-boundary repair) использует целевой сигнал под ограничениями протокола, чтобы уменьшить повторы и лишнюю генерацию.
- Ветвление в неопределённых точках, по данным абляций, лучше случайного выбора и ветвления в начале хода.
Почему это важно
Дистилляция на собственных траекториях ученика, один из способов дообучать модели с помощью более сильного учителя, и её узкое место, ограниченный бюджет генерации. Работа предлагает не просто брать больше независимых траекторий, а тратить их там, где ученик не уверен или спорит с учителем. Если заявленные цифры подтвердятся, это способ получить больший охват обучающего сигнала при меньших затратах на генерацию: на ALFWorld и WebShop затраты на токены ученика ниже, чем у семи независимых траекторий.
Кому это важно
Прежде всего исследователям и инженерам, которые занимаются дистилляцией и пост-обучением языковых моделей, как для математических рассуждений, так и для агентных задач вроде ALFWorld и WebShop. Для остальных читателей это сигнал о направлении: внимание в дистилляции смещается от количества траекторий к выбору мест, где сигнал учителя действительно информативен.
Как это применить
Практическое применение пока ограничено описанием метода. В тексте работы не сообщается, выложены ли код или модели. Идея, которую можно взять на вооружение уже сейчас: выбирать точки ветвления по неопределённости ученика и расхождению с учителем, а не случайно или только в начале хода, и сэмплировать продолжения из общего префикса, чтобы не платить за генерацию заново.
Можно ли доверять
Все цифры взяты из аннотации самой работы и представляют собой утверждения авторов. Абсолютные значения точности для BranchOPD, Vanilla OPD и Multi-Rollout OPD в тексте не приведены, только приросты над Vanilla OPD. Выигрыш над Multi-Rollout OPD (n=7) количественно не указан, сказано лишь, что BranchOPD его превосходит. Размер и тип моделей-учителя и ученика не названы. Независимой проверки результатов в материале нет.
Риски и подводные камни
Снижение затрат на токены указано только для ALFWorld и WebShop, для математики такая цифра не дана. Приросты заявлены относительно Vanilla OPD, а величина преимущества над сильным базовым вариантом с несколькими траекториями не раскрыта. Метод требует дополнительных настроек: выбор точек по неопределённости и расхождению, а также отдельный механизм PBR для ограничений протокола. Как он будет вести себя на других задачах и моделях, из аннотации не видно.