Wave Forcing: метод генерации длинного видео в реальном времени, 134,8 кадра/с на восьми H200
В статье, размещённой на Hugging Face Papers, предложен метод Wave Forcing (WF) для генерации длинного видео в реальном времени. Задача, как её формулирует аннотация: видео должно выводиться непрерывно, с устойчивым внешним видом и естественным движением.
Проблема существующих покусочных (chunk-wise) авторегрессионных методов, по словам авторов, двойная. Во-первых, эффективность: последовательное шумоподавление (денойзинг) и обновление кэша истории требуют двух прямых проходов модели даже при одношаговом денойзинге. Во-вторых, качество: при более длинной генерации оно может падать, а камера, «дрейфовать».
WF совместно проектирует генерацию, обучение и исполнение для непрерывного вывода видео с многошаговым денойзингом. Внимание устроено покусочно-причинным образом (chunk-wise causal attention): модель обращается к более ранним, «чистым» кускам ещё до того, как их денойзинг завершён. Ступенчатые этапы денойзинга и обновления кэша распределяются по полным копиям модели, что даёт режим 1F1C: один выходной кусок на один параллельный прямой проход после заполнения конвейера.
Обучение трёхстадийное: последовательно вводятся денойзинг со смешанным шумом, обучение на движении (motion supervision) и причинная адаптация на собственноручно сгенерированной истории.
Для эффективного исполнения служит среда Wave Runtime (WaveRT) с Wave Parallelism (WP): раннее получение K/V, перекрытие обмена данными и вычислений, оптимизированные ядра и конвейерное декодирование VAE.
Результаты. На Wan2.1-T2V-1.3B 5-шаговый WF сохраняет общее качество на уровне Rolling Forcing и даёт более высокий показатель Dynamic Degree (степень динамики) и на коротких, и на длинных видео. По эффективности 4-шаговый WF достигает 147,6 кадра/с по DiT и 134,8 кадра/с сквозной скорости на восьми GPU H200, что в 7,07 раза выше сквозной пропускной способности на одном GPU. В тестах только DiT с одинаковыми бэкендами SageAttention+W8A8, числом шагов денойзинга и числом GPU WP даёт до 2,53 раза большую пропускную способность, чем более быстрый из контекстно-параллельных базовых вариантов Ulysses и Ring, на шести масштабах моделей (1,3-14 млрд параметров).
Ключевые факты
- Wave Forcing (WF) устраняет два прямых прохода покусочных авторегрессионных методов: денойзинг и обновление кэша идут ступенчато на копиях модели, режим 1F1C, один выходной кусок на параллельный проход после заполнения конвейера.
- 4-шаговый WF: 147,6 кадра/с по DiT и 134,8 кадра/с сквозной скорости на восьми H200, то есть в 7,07 раза выше сквозной пропускной способности одного GPU.
- Wave Parallelism в тестах только DiT даёт до 2,53 раза большую пропускную способность, чем более быстрый из Ulysses и Ring, на шести масштабах (1,3-14 млрд).
- На Wan2.1-T2V-1.3B 5-шаговый WF по общему качеству сопоставим с Rolling Forcing и выше по Dynamic Degree на коротких и длинных видео.
- Обучение трёхстадийное: смешанный шум, обучение на движении, причинная адаптация на собственной истории.
Почему это важно
Генерация видео, которая не просто быстро выдаёт ролик, а непрерывно выводит поток без накопления артефактов, условие для интерактивных сценариев реального времени. Авторы указывают на конкретное узкое место покусочных авторегрессионных методов, два прямых прохода на кусок, и предлагают убрать его перестройкой обучения и исполнения. Заявленная сквозная скорость 134,8 кадра/с, на восьми H200 и для 4-шаговой конфигурации.
Кому это важно
Исследователям генерации видео и инженерам, которые занимаются инфраструктурой вывода: подход затрагивает и архитектуру внимания, и параллелизм между GPU. Тем, кто сравнивает методы длинной генерации, пригодится сопоставление с Rolling Forcing на Wan2.1-T2V-1.3B.
Как это применить
В аннотации не названы ни код, ни веса, поэтому готовой точкой входа материал не служит. Идеи, ступенчатое распределение денойзинга и обновления кэша по полным копиям модели, раннее получение K/V с перекрытием обмена и вычислений, конвейерное декодирование VAE, могут быть ориентиром для собственных систем потокового видео. Заявленная скорость достигнута на восьми H200; на иной конфигурации результат может отличаться.
Можно ли доверять
Источник, только аннотация статьи на Hugging Face Papers; все утверждения принадлежат авторам, независимой проверки в материале нет. Разрешение и длина видео, к которым относятся показатели кадров/с, не указаны. Качество описано словами («сопоставимо», «выше Dynamic Degree») без числовых значений метрик.
Риски и подводные камни
Не смешивайте цифры: 147,6 и 134,8 кадра/с относятся к 4-шаговой конфигурации, а сравнение качества с Rolling Forcing, к 5-шаговой. Показатель 2,53×, максимум («до») в тестах только DiT на шести масштабах моделей, а не ускорение сквозной генерации. Рост в 7,07 раза, относительно сквозной скорости одного GPU, абсолютное значение которой в аннотации не приведено. Качество сравнивается с Rolling Forcing только на Wan2.1-T2V-1.3B.