Self-OPD научил flow-matching-модели обходиться без учителя

Дистилляция на собственной политике (on-policy distillation, OPD), техника обучения, при которой заранее обученная специализированная модель-«учитель» на каждом шаге генерации даёт модели-«ученику» плотный обучающий сигнал. Техника хорошо показала себя при обучении больших языковых моделей (LLM), а в последнее время её стали применять и к flow-matching-моделям, классу генеративных моделей, которые превращают шум в данные, обучаясь предсказывать так называемое поле скоростей вдоль траектории генерации. Но у OPD с учителем есть две проблемы: во-первых, под каждую новую задачу приходится заново обучать отдельного специализированного учителя, что дорого по вычислениям; во-вторых, из-за расхождения между распределениями учителя и ученика по ходу генерации накапливаются ошибки.

Шии Чжан (Shiyi Zhang) с соавторами представили Self-OPD, вариант OPD, который вообще обходится без модели-учителя. Пошаговый обучающий сигнал берётся из самостоятельного исследования моделью-учеником собственного пространства решений.

На каждом шаге по времени Self-OPD не ограничивается одним детерминированным предсказанием следующего состояния: оно «ветвится» на K случайных кандидатов-продолжений, сгенерированных с помощью стохастического дифференциального уравнения (СДУ), а затем каждый кандидат доводится до конца обычным детерминированным сэмплером на основе обыкновенного дифференциального уравнения (ОДУ). Награду каждой ветви сравнивают с результатом, который дала бы обычная детерминированная траектория без ветвления, такой базовой линией, которую модель задаёт сама себе, без стороннего учителя, и получают нормализованные оценки преимущества: насколько та или иная ветвь оказалась лучше или хуже базовой. Поле скоростей модели обучают по принципу «притяжение-отталкивание» сразу по всем ветвям: ветви с высоким преимуществом притягивают модель-ученика к себе, а ветви с низким, отталкивают, при этом сила эффекта ослабляется с учётом направления ветви и нормализуется по дисперсии СДУ.

Когда модель нужно одновременно выравнивать по нескольким наградам, Self-OPD не складывает градиенты этих целей напрямую, это часто приводит к их конфликту, а объединяет нормализованные оценки ещё на уровне наград, до подсчёта градиента. По утверждению авторов, эксперименты на бенчмарках как с одной наградой, так и со смешанными наградами показывают, что Self-OPD превосходит предыдущие RL-методы и методы OPD, которым для работы всё ещё нужен специализированный учитель. Конкретные числа улучшения, состав методов для сравнения и значение K в статье не приводятся.

Ключевые факты

Self-OPD, метод дистилляции для генеративных flow-matching-моделей, который убирает необходимость в отдельной модели-учителе: пошаговое обучение строится на самостоятельном исследовании моделью-учеником собственных вариантов продолжения
Решает две проблемы прежнего подхода OPD с учителем: дорогое обучение отдельного учителя под каждую новую задачу и накопление ошибок из-за расхождения между распределениями учителя и ученика
На каждом шаге генерации модель ветвится на K случайных кандидатов через стохастическое дифференциальное уравнение (СДУ), доводит их до конца детерминированным ОДУ-сэмплером и сравнивает награду каждой ветви с базовой линией без ветвления, получая нормализованные оценки преимущества
Поле скоростей обучают по принципу «притяжение-отталкивание»: ветви с высоким преимуществом притягивают модель, с низким, отталкивают, с поправкой на направление ветви и дисперсию СДУ
При нескольких целевых наградах сразу Self-OPD объединяет их нормализованные оценки на уровне наград, а не градиентов, избегая конфликта градиентов; на бенчмарках с одной и с несколькими наградами метод обошёл прежние RL- и OPD-подходы с учителем

Почему это важно

Дистилляция с учителем, рабочая техника обучения генеративных моделей, но она предполагает, что под каждую новую задачу нужно заново обучать отдельную специализированную модель-учителя, это дорого по вычислениям. Хуже того: чем сильнее распределение учителя отличается от распределения ученика, тем быстрее по ходу генерации накапливаются ошибки. Self-OPD снимает обе проблемы разом, раз отдельного учителя больше нет, обучать его заново под каждую задачу не нужно, а сигнал для обучения берётся из собственного исследования модели, а не из чужого, потенциально неточного распределения. По данным авторов, метод при этом неплохо справляется что при одной награде, что при нескольких сразу, то есть решение получилось не узкоспециализированным под один сценарий.

Кому это важно

В первую очередь, исследователям и инженерам, которые дообучают генеративные flow-matching-модели (например, для генерации изображений, видео или траекторий движения) под конкретные критерии качества методами обучения с подкреплением. Особенно тем, кому нужно удовлетворить сразу несколько критериев одновременно (скажем, качество и соответствие условию, и безопасность разом), именно для такого случая в Self-OPD предусмотрено объединение наград без конфликта градиентов. Полезно это и тем, кто раньше отказывался от дистилляции просто потому, что обучение отдельного учителя под каждую задачу не окупалось по вычислениям.

Как это применить

Self-OPD встаёт на место этапа обучения учителя в пайплайне on-policy distillation: вместо того чтобы сначала обучить отдельную специализированную модель под конкретную задачу, а затем дистиллировать её в целевую flow-matching-модель, инженер сразу обучает эту модель методом Self-OPD, задав нужную функцию награды (или несколько функций сразу). Поддержка нескольких наград «из коробки», через объединение их нормализованных оценок на уровне наград, снимает с инженера задачу вручную балансировать конфликтующие градиенты разных целей.

Можно ли доверять

Это исследовательская статья, размещённая на HuggingFace Papers в конце августа 2026 года, с 69 отметками и одним комментарием на момент вычитки, заметный, но не образующий вирусного эффекта интерес. В тексте не указаны ни авторская организация, ни площадка публикации, а превосходство над прежними методами, это результат экспериментов самих авторов, без упоминания независимой проверки. Конкретных цифр (на сколько именно Self-OPD обходит предыдущие подходы, какие именно это подходы и чему равно число ветвей K) в статье не приводится, судить о масштабе улучшения по одному описанию нельзя.

Риски и подводные камни

Заявленное превосходство над предыдущими методами, оценка самих авторов по их же экспериментам, без упоминания независимого воспроизведения. В статье не названы ни конкретные величины улучшения, ни те самые «предыдущие RL- и OPD-методы», с которыми сравнивают Self-OPD, оценить масштаб выигрыша со стороны невозможно. Ветвление на K случайных кандидатов на каждом шаге генерации с последующим прогоном каждого через отдельный ОДУ-сэмплер само по себе требует вычислений, насколько это в сумме дешевле обучения отдельного учителя, в тексте не оценивается, хотя именно проблему вычислительных затрат авторы и решают.