APEX для потокового видео: дистилляция DMD без отдельной fake-score сети

Генерация потокового видео за несколько шагов семплирования стоит дешевле, чем за много. Для обучения таких генераторов используют Distribution Matching Distillation (DMD, дистилляцию с сопоставлением распределений). По описанию авторов статьи, DMD опирается на отдельную сеть fake-score: она добавляет расход памяти и вычислений при обучении и должна поспевать за меняющимся генератором.
Авторы расширили на потоковое видео метод APEX. Они применили сдвиг условия (condition shifting), чтобы оценивать поле скоростей сгенерированного распределения внутри самого генератора. Исходное текстовое условие запускает обычную генерацию, а сдвинутое условие запускает «фейковую» оценку, причём параметры используются те же самые. Благодаря этому независимая fake-сеть не нужна. При этом сохранены компоненты S2-Avatar: замороженный опорный учитель, Self-Replay Forcing и перцептивная регуляризация.
Оценка проводилась на видео длиной 180 секунд: три вычисления основной сети на блок плюс одношаговый пространственный Refiner. Использовались исследование с участием людей на 70 случаях и сравнение StreamAV-Bench на 320 случаях.
По сравнению с S2-Avatar метод APEX показал чуть более высокое выполнение видеоинструкций на треке Progressive (3,856 против 3,831) и более высокую визуальную эстетику на обоих треках (0,641898 против 0,632606). Шкала этих оценок в тексте не указана. Люди-оценщики сильнее всего предпочли APEX по следованию инструкциям: чистое преимущество +30,0%. По согласованности и качеству видео оно составило +4,3% по каждому показателю. По качеству движения лучше S2-Avatar, по синхронизации звука и картинки в основном ничья, удобство использования не изменилось.
Отдельные замеры при одинаковых настройках обучения показали, что у APEX пиковая выделенная память GPU на одну карту на 4,4% ниже, а средняя длительность итерации на 9,2% короче, чем у DMD.
Ключевые факты
- APEX адаптирован к потоковому видео: сдвиг условия позволяет оценивать «фейковое» распределение в самом генераторе, без отдельной сети fake-score, которую требует DMD.
- Сохранены замороженный опорный учитель, Self-Replay Forcing и перцептивная регуляризация из S2-Avatar.
- Против S2-Avatar: инструкции на треке Progressive 3,856 против 3,831, эстетика 0,641898 против 0,632606; шкалы в тексте не указаны.
- Исследование с людьми (70 случаев): +30,0% чистого предпочтения APEX по инструкциям, по +4,3% по согласованности и качеству видео; по качеству движения лучше S2-Avatar.
- По сравнению с DMD при равных настройках: пиковая память GPU ниже на 4,4%, средняя итерация короче на 9,2%.
Почему это важно
Обучение быстрых генераторов видео упирается в память и время, а в DMD часть этих затрат создаёт отдельная сеть fake-score, которой нужно «поспевать» за генератором. Работа показывает способ обойтись без неё, используя те же параметры генератора для второй роли. Выигрыш по ресурсам скромный (4,4% памяти и 9,2% времени итерации), поэтому это шаг к упрощению обучения, а не прорыв.
Кому это важно
Исследователям и инженерам, которые дистиллируют потоковые видеогенераторы на несколько шагов и считают память GPU и время обучения. Конечным пользователям пока важно мало: статья описывает метод обучения, а не готовый продукт.
Как это применить
Практический вывод для специалиста: при дистилляции в духе DMD можно попробовать заменить независимую fake-сеть сдвигом текстового условия у того же генератора. Для оценки стоит ориентироваться на условия из статьи: видео по 180 секунд, три вычисления основной сети на блок, одношаговый Refiner. Выпуск кода или моделей в тексте не упоминается.
Можно ли доверять
Источник, аннотация препринта на Hugging Face, то есть заявления самих авторов, не прошедшие независимой проверки. Авторы и организации в тексте не названы. Разница по автоматическим метрикам небольшая, шкалы не указаны, статистическая значимость не обсуждается. Сравнение по памяти и времени с DMD измерено отдельно от оценок качества. Выборки сравнительно небольшие: 70 случаев у людей и 320 в StreamAV-Bench.
Риски и подводные камни
Выигрыш в качестве невелик, а по качеству движения APEX уступает S2-Avatar. Синхронизация звука и картинки в основном дала ничью, удобство не изменилось. Цифры по памяти и времени даны только в процентах относительно DMD, без абсолютных значений. Данных о скорости вывода, частоте кадров или задержке нет, поэтому перенос на другие модели и настройки остаётся непроверенным.