MovieRoll: фреймворк потоковой генерации видео до 60 секунд

MovieRoll: фреймворк потоковой генерации видео до 60 секунд

MovieRoll, это фреймворк для потоковой генерации видео, который должен сохранять качество за пределами длины роликов, на которых обучалась модель, и при этом справляться с накопленной самосгенерированной историей и растущей стоимостью кэша. Авторы строят его как цепочку «базовая модель → дистиллированная модель», соединяющую потоковое дообучение, дистилляцию на длинных прогонах и вывод на длинном горизонте.

Сначала создаётся устойчивая многошаговая базовая модель с помощью Window-wise Teacher Forcing (WinTF). Метод совместно убирает шум из фрагментов видео с нарастающим уровнем шума: внутри каждого окна внимание двунаправленное, а к предшествующей истории доступ только причинный (то есть из прошлого).

Чтобы экономно хранить историю, применяется иерархическое сжатие KV-кэша HieraKV. Оно использует различия в картинах внимания по слоям: в неглубоких слоях сохраняется вся история, в глубоких, только история вида sink, recent. По заявлению авторов, это сокращает память кэша до 78% и одновременно повышает качество генерации.

На базе этой модели обучается быстрый генератор с малым числом шагов. Метод CuLT-DMD (накопительное длинное дообучение с дистилляцией через сопоставление распределений) держит параметры неизменными на протяжении всего длинного самопрогона и усредняет локальные градиенты перед обновлением. Каждое обновление объединяет сигнал с разных временных позиций, но хранит лишь один локальный вычислительный граф, это и делает обучение на длинных прогонах эффективным.

Чтобы вести генерацию за пределами обучающего горизонта, пересчёт KV ограничивает контекст для обеих моделей, а ослабление guidance (AnnealCFG) снижает силу управления по мере приближения к чистому концу траектории, что стабилизирует MovieRoll-Base. Дополнительно эффективное обучение и потоковый вывод поддерживают внимание FBCA и декодирование PS-VAE.

Результаты на бенчмарке HeliosBench: MovieRoll-Base после обучения на видео длиной до 15 секунд остаётся конкурентоспособной на 30 секундах, а MovieRoll-Distilled, по утверждению авторов, получает наибольшие суммарные баллы среди сравниваемых методов в одно- и многособытийных оценках на длине до 60 секунд, сочетая устойчивую естественность с активным движением.

Ключевые факты

  • MovieRoll, фреймворк «база → дистиллированная модель» для потоковой генерации длинных видео: потоковое дообучение, дистилляция на длинных прогонах и вывод на длинном горизонте.
  • HieraKV хранит всю историю в неглубоких слоях и sink, recent историю в глубоких; кэш сокращается до 78% при том, что качество, по словам авторов, растёт.
  • CuLT-DMD усредняет локальные градиенты за длинный самопрогон и держит один локальный вычислительный граф, что удешевляет обучение быстрого генератора.
  • MovieRoll-Base, обученная на видео до 15 с, остаётся конкурентоспособной на 30 с в HeliosBench.
  • MovieRoll-Distilled получает наибольшие суммарные баллы среди сравниваемых методов на HeliosBench на длине до 60 с.

Почему это важно

Потоковая генерация длинных видео упирается в две проблемы: качество падает за пределами длины обучающих роликов, а кэш истории растёт вместе с видео. MovieRoll пытается закрыть обе сразу: сжатием KV-кэша (до 78% экономии памяти по заявлению авторов), ограничением контекста пересчётом KV и ослаблением guidance для стабильности. Значимость пока ограничена тем, что это заявления одной работы по аннотации.

Кому это важно

Исследователям генерации видео и потоковых диффузионных моделей, а также инженерам, которых волнует память под KV-кэш и стоимость обучения на длинных прогонах. Метод HieraKV и приём усреднения локальных градиентов в CuLT-DMD могут быть интересны и за пределами конкретной модели.

Как это применить

Прямого практического применения в описании нет: о выпуске кода, весов или демо в тексте не говорится. Пока это идеи для чтения и воспроизведения: разное по глубине хранение истории в кэше (вся история в неглубоких слоях, sink, recent в глубоких), накопительное длинное дообучение с дистилляцией и ослабление guidance при выводе.

Можно ли доверять

Все утверждения исходят от самих авторов и опираются на аннотацию. Числовых баллов HeliosBench в тексте нет, только утверждение о наибольших суммарных баллах; не названы и сравниваемые методы. Цифра 78%, максимум («до»), типичное значение и исходный размер кэша не указаны. Для базовой модели заявлена лишь конкурентоспособность на 30 с, не лидерство. Независимой проверки в источнике нет.

Риски и подводные камни

Оценка идёт на одном бенчмарке (HeliosBench) и до 60 секунд; про более длинную генерацию авторы не заявляют. Размер модели и требуемое оборудование не названы, поэтому сложно оценить стоимость воспроизведения. Сжатие кэша с выбросом части истории в глубоких слоях и ограничение контекста пересчётом KV по своей природе ограничивают то, что модель «помнит» о далёком прошлом видео; как это сказывается на согласованности длинных сюжетов, из аннотации не ясно.