ИИтог

D2PO: новый способ обучать диффузионные сэмплеры, через предпочтения, а не имитацию учителя

исследованияРедакция ИИтогarXiv🔥77Рейтинг ИИтог · значимость 67 · 1000000/ч

Диффузионные модели генерируют качественные изображения, но для этого им обычно нужно много шагов сэмплирования, высокое число NFE (number of function evaluations, число обращений к нейросети за один проход генерации). Чтобы ускорить генерацию, используют «быстрые» сэмплеры с малым числом шагов (low-NFE), которые обычно обучают по схеме «ученик-учитель»: лёгкая модель-ученик через прямую регрессию учится повторять результаты медленного, но качественного «учителя» с большим числом шагов. Авторы статьи указывают на фундаментальный изъян такого подхода: ученик, обученный регрессией, склонен сохранять общую (грубую) структуру изображения, но жертвует высокочастотными текстурными деталями, то есть цель обучения (максимально точно повторить учителя по формальной метрике) расходится с тем, что реально определяет перцептивное, воспринимаемое человеком качество картинки.

Чтобы решить эту проблему, авторы предлагают D2PO (Dynamic Direct Preference Optimization, «динамическая прямая оптимизация предпочтений»): фреймворк переформулирует обучение сэмплера, в первую очередь расписания временных шагов и веса classifier-free guidance (CFG, параметр, определяющий, насколько сильно генерация следует заданному условию или промпту), не как регрессию к учителю, а как задачу выравнивания по предпочтениям. За основу взят DPO (Direct Preference Optimization), метод, изначально созданный для выравнивания языковых моделей по человеческим предпочтениям через сравнение пар ответов («какой вариант лучше»), а не через точное повторение эталона.

DPO изначально рассчитан на дискретные сравнения, например, пары текстовых ответов, поэтому авторы адаптировали его для непрерывного процесса диффузионного сэмплирования: политику сэмплирования они моделируют как энергетическую модель (EBM, energy-based model), что превращает сравнение «какой сэмпл предпочтительнее» в вычислимую разницу энергетических значений, пригодную для оптимизации. Дополнительно предложена новая формула энергии, полученная напрямую из предобученной score-сети (сети, предсказывающей градиент плотности данных, базового компонента диффузионной модели). Это позволяет оценивать предпочтения в «возмущённых» (зашумлённых) пространствах, которые одновременно учитывают и структурную согласованность, и мелкие детали изображения, то есть напрямую устраняет изъян, описанный выше.

Ключевая идея, давшая название «динамическая» в D2PO: эталонные (предпочтительные) сэмплы, на которые ориентируется обучение, не зафиксированы заранее, а постепенно улучшаются по мере того, как сама политика сэмплирования становится лучше. Этот самоулучшающийся механизм заменяет жёсткий статичный контроль со стороны учителя итеративным процессом уточнения, управляемым предпочтениями, и по мере обучения сигнал для выравнивания становится всё сильнее.

По заявлению авторов, обширные эксперименты показывают, что D2PO точнее выравнивает диффузионные сэмплеры по перцептивному качеству, полнее раскрывает потенциал качественных «учителей» и стабильно превосходит классические регрессионные расписания шагов именно в режиме малого числа шагов (low-NFE), то есть там, где такие ускоренные сэмплеры практически применяются. Конкретные числовые результаты, названия бенчмарков, а также имена авторов и организация-разработчик в доступном тексте аннотации не указаны.

Ключевые факты

  • Быстрые сэмплеры диффузионных моделей с малым числом шагов (low-NFE) обычно обучают прямой регрессией к медленному «учителю» с большим числом шагов, из-за этого модель сохраняет общую структуру изображения, но теряет мелкие текстурные детали.
  • Авторы предлагают D2PO (Dynamic Direct Preference Optimization): вместо регрессии к учителю обучение сэмплера переформулировано как выравнивание по предпочтениям, тот же принцип, что лежит в основе DPO для языковых моделей.
  • Чтобы применить DPO к диффузии, политику сэмплирования моделируют как энергетическую модель (EBM) и вводят новую формулу энергии на основе предобученной score-сети, это позволяет одновременно учитывать структуру и мелкие детали при сравнении сэмплов.
  • Ключевая особенность, «динамические» предпочтения: эталонные сэмплы для обучения сами постепенно улучшаются по мере роста качества сэмплера, заменяя статичного учителя самоулучшающимся итеративным процессом.
  • По словам авторов, в экспериментах D2PO точнее выравнивает сэмплеры по перцептивному качеству и стабильно превосходит регрессионные расписания шагов именно в режиме малого числа шагов (low-NFE); конкретные цифры, бенчмарки, авторы и организация в аннотации не указаны.

Почему это важно

Скорость генерации, одно из главных практических ограничений диффузионных моделей: качественный результат обычно требует много шагов сэмплирования (высокого NFE), что делает генерацию медленной и дорогой. Стандартный способ ускорения, обучить лёгкий быстрый сэмплер имитировать медленный качественный через прямую регрессию, но у этого подхода есть системный изъян: ученик заучивает общую композицию, но теряет мелкие детали текстуры, потому что цель обучения (точное повторение учителя), не то же самое, что перцептивное качество картинки, воспринимаемое человеком. D2PO предлагает переосмыслить сам принцип обучения сэмплера: не имитация конкретного эталона, а выравнивание по предпочтениям, причём с эталоном, который сам становится лучше в процессе обучения. Если результаты подтвердятся, это устраняет фундаментальное противоречие между скоростью и качеством в быстрой генерации, а не просто немного улучшает существующие методы дистилляции.

Кому это важно

В первую очередь, исследователям и инженерам, которые разрабатывают и ускоряют диффузионные модели генерации изображений (и потенциально видео или аудио), а также авторам инструментов дистилляции и сэмплирования, ищущим способ сократить число шагов без потери качества. Компаниям, для которых стоимость и скорость инференса генеративных моделей, прямые эксплуатационные расходы: каждый лишний шаг сэмплирования, это время и вычисления на каждый сгенерированный результат. Также статья интересна исследователям на стыке методов выравнивания (DPO, RLHF) и генеративных моделей, работа переносит технику, доказавшую себя на языковых моделях, в принципиально другую, непрерывную предметную область.

Как это применить

Работа, препринт на arXiv, предлагающий метод обучения (фреймворк), а не готовый продукт или релиз весов: в тексте аннотации нет ни ссылки на код или контрольные точки модели, ни указания на открытую лицензию. Практическое применение D2PO на этом этапе означает, что разработчикам диффузионных моделей нужно самостоятельно реализовать описанную схему, энергетическую модель поверх политики сэмплирования и итеративный процесс динамических предпочтений, поверх собственной предобученной score-сети и существующего пайплайна быстрого сэмплера. Готова ли такая реализация «из коробки», публикуют ли авторы код отдельно и каких вычислительных ресурсов это потребует, из текста аннотации не следует.

Можно ли доверять

Материал, свежий препринт arXiv (номер 2607.06609; согласно принятой в arXiv нумерации это соответствует подаче в июле 2026 года), без указания имён авторов и организации в доступных метаданных, поэтому оценить репутацию исследовательской группы невозможно. Заявления о превосходстве D2PO над регрессионными методами опираются на «обширные эксперименты» авторов, но аннотация не называет ни конкретные бенчмарки, ни числовые результаты, ни базовые модели, на которых проводилось сравнение, проверить эти утверждения по самому тексту нельзя. Данных о рецензировании или публикации на профильной конференции в источнике нет: на данном этапе это самоотчёт авторов, для полной проверки которого нужны независимое воспроизведение экспериментов и чтение полного текста статьи.

Риски и подводные камни

Главный риск, отсутствие в аннотации проверяемых цифр: без доступа к полному тексту статьи невозможно оценить, насколько велик реальный выигрыш D2PO и на каких именно моделях и датасетах он получен. Есть и более общий методологический риск, характерный для подобных самоулучшающихся схем: если эталонные («предпочтительные») сэмплы для обучения постепенно улучшаются на основе выходов той же обучаемой модели, теоретически возможно закрепление и усиление собственных ошибок и артефактов модели вместо их устранения, какими механизмами авторы страхуются от такого дрейфа, в аннотации не сказано. Наконец, метод добавляет архитектурную сложность, энергетическую модель поверх score-сети и итеративное обучение по предпочтениям, по сравнению с прямой регрессией, что может усложнить воспроизведение результата и его внедрение в реальные пайплайны.