Speculative Forcing ускоряет генерацию видео: LongLive быстрее более чем в 1,5 раза

Few-step авторегрессионные генераторы видео (то есть генерирующие кадры последовательно за небольшое число шагов удаления шума) позволяют вести потоковую генерацию. Но каждый токен они прогоняют через последний шаг удаления шума, независимо от того, нужна ли ему такая доработка. Авторы статьи отмечают, что такие равномерные вычисления часто лишние: многие токены уже на первых шагах близко совпадают со своим итоговым результатом при полном числе шагов, а другим доработка нужна до самого конца.

На этом наблюдении построен Speculative Forcing, фреймворк, который рассматривает промежуточные «чистые» оценки как черновики и предсказывает, когда конкретный токен можно безопасно принять досрочно. Принятый токен замораживается как окончательный результат и больше не проходит удаление шума, при этом его закэшированные ключи и значения остаются доступны как контекст для остальных токенов.

Авторы исследуют два варианта проверяющего модуля (верификатора). Первый не требует обучения: он опирается на сходство с «чистым» содержимым и на стабильность оценки от шага к шагу. Второй, обучаемый: он читает промежуточные признаки замороженного генератора и оценивает, сколько каждому токену остаётся до его результата при полном числе шагов.

По заявлению авторов, на коротком видео, длинном видео и генерации «миров» метод сохраняет качество полношагового сэмплирования, существенно сокращая вычисления. На LongLive он соответствует четырёхшаговому генератору при примерно 1,7 шага удаления шума на токен и работает более чем в 1,5 раза быстрее, 41,7 и 37,8 кадра в секунду. На Lingbot-World 2.0, где движение камеры постоянно меняет видимое содержимое, качество сохраняется при примерно 2,5 шага на токен, а скорость выше в 1,35 раза и составляет 24,5 кадра в секунду.

Ключевые факты

Speculative Forcing трактует промежуточные оценки как черновики и предсказывает, какие токены можно принять досрочно; принятый токен замораживается и дальше не обрабатывается, а его кэш ключей и значений остаётся контекстом для остальных.
Предложены два варианта верификатора: без обучения (сходство с чистым содержимым и стабильность по шагам) и обучаемый (читает промежуточные признаки замороженного генератора).
На LongLive метод соответствует четырёхшаговому генератору при примерно 1,7 шага на токен и работает более чем в 1,5 раза быстрее, 41,7 и 37,8 кадра в секунду.
На Lingbot-World 2.0 при примерно 2,5 шага на токен качество сохраняется, скорость выше в 1,35 раза, 24,5 кадра в секунду.
Сохранение качества заявлено авторами для коротких видео, длинных видео и генерации миров.

Почему это важно

Потоковая генерация видео упирается в скорость: каждый токен проходит все шаги удаления шума. Работа показывает, что часть шагов можно пропускать для тех токенов, которые уже «готовы», и это даёт ускорение в 1,35 раза и более чем в 1,5 раза на двух разных системах. Идея похожа на спекулятивные подходы, знакомые по языковым моделям: сначала черновик, затем решение, принять его или доработать.

Кому это важно

Исследователям и инженерам, которые работают с авторегрессионной генерацией видео и «миров» (в статье, LongLive и Lingbot-World 2.0), а также командам, которым нужна генерация в реальном времени с высокой частотой кадров.

Как это применить

Это научная статья с описанием метода. Сведений о публикации кода или моделей в тексте аннотации нет, поэтому готового инструмента для использования здесь не описано. Практический вывод для разработчиков: в few-step генераторах стоит проверять, не тратится ли последний шаг на токены, которые уже совпали с итогом, а решение о досрочном принятии можно принимать либо без обучения (сходство с чистым содержимым и стабильность по шагам), либо обучаемым верификатором.

Можно ли доверять

Все цифры взяты из аннотации и приведены как заявление самих авторов. Метрики качества и их значения в тексте не названы: сохранение качества заявлено, но не измерено в числах. Не указано, какой из двух верификаторов дал приведённые скорости и какому режиму соответствуют 41,7 и 37,8 кадра в секунду. Ускорение на LongLive дано как «более чем в 1,5 раза» без точной цифры; оборудование для замеров не названо. Это препринт, независимой проверки в тексте нет.

Риски и подводные камни

Ускорение достигнуто на конкретных системах и неодинаково: на Lingbot-World 2.0, где камера постоянно меняет видимое содержимое, выигрыш меньше (1,35 раза против более чем 1,5 раза на LongLive), а число шагов на токен выше (примерно 2,5 против примерно 1,7). Раз качество не выражено числами, оценить цену досрочного принятия токенов по одной аннотации нельзя. Перенос на другие генераторы и условия в тексте не обсуждается.

«Speculative Forcing сохраняет качество полношагового сэмплирования при генерации коротких и длинных видео и миров, существенно сокращая вычисления.»

— из аннотации статьи