LongE2V: восстановление, предсказание и интерполяция видео из данных событийных камер с помощью диффузионных моделей
Событийные камеры фиксируют не полные кадры, а только изменения яркости отдельных пикселей, это даёт низкую задержку и широкий динамический диапазон, но восстановить из такого разреженного потока привычное видео сложно. Существующие регрессионные методы (напрямую предсказывающие пиксели) размывают текстуры, а генеративные модели теряют устойчивость на длинных последовательностях, картинка «уплывает» со временем.
Авторы (Cheng-De Fan и соавторы) предлагают LongE2V, подход, который берёт предобученную видео-диффузионную модель общего назначения и дообучает её сразу под три задачи: восстановление видео из потока событий, предсказание будущих кадров и интерполяцию кадров между известными. За счёт использования готовых диффузионных «знаний» о видео метод достигает высокой эффективности по данным (нужно меньше обучающих примеров) и лучшего визуального качества по сравнению с обучением с нуля.
Чтобы бороться с накоплением ошибки на длинных сериях кадров, авторы вводят два приёма, Autoregressive Unrolling (авторегрессивное разворачивание последовательности при обучении) и Adaptive Context Switching (адаптивное переключение контекста), которые снижают временной «дрейф» изображения. Для согласованности при интерполяции кадров (чтобы результат одинаково хорошо стыковался с кадром до и после) предложена техника Reencoding Alignment with Cross Residual Correction. А чтобы модель одинаково хорошо работала с событийными сенсорами разного разрешения, добавлена аугментация Event Voxel Density Augmentation, искусственное варьирование плотности событий при обучении.
В экспериментах на реальных бенчмарках LongE2V превзошёл существующие state-of-the-art методы во всех трёх задачах (реконструкция, предсказание, интерполяция), показав заметно более высокую временную согласованность кадров и способность обобщаться на новые данные без дополнительного дообучения (zero-shot). Страница проекта с демонстрациями доступна по адресу cdfan0627.github.io/LongE2V-page.
Ключевые факты
- Событийные камеры регистрируют только изменения яркости пикселей, поток данных разреженный, и восстановление из него обычного видео долго было слабым местом: регрессионные методы размывают текстуры, генеративные, теряют стабильность на длинных роликах.
- LongE2V дообучает готовую предобученную видео-диффузионную модель сразу под три задачи: реконструкцию видео из событий, предсказание будущих кадров и интерполяцию пропущенных кадров.
- Для борьбы с накоплением ошибки на длинных последовательностях предложены Autoregressive Unrolling и Adaptive Context Switching.
- Для согласованной интерполяции кадров используется Reencoding Alignment with Cross Residual Correction, а для устойчивости к разным разрешениям сенсоров, Event Voxel Density Augmentation.
- На реальных бенчмарках метод превзошёл существующие state-of-the-art подходы во всех трёх задачах и показал хорошую генерализацию на новые данные без дополнительного дообучения.
Почему это важно
Событийные камеры, перспективный тип сенсора для задач с жёсткими требованиями к задержке и динамическому диапазону (робототехника, беспилотные системы, AR/VR), но их «сырой» поток нельзя напрямую посмотреть как видео. До сих пор восстановление из событий страдало либо от размытых текстур, либо от потери стабильности на длинных роликах. LongE2V показывает, что перенос знаний из предобученных видео-диффузионных моделей заметно продвигает качество и устойчивость такого восстановления, причём сразу для трёх смежных задач в одном методе.
Кому это важно
В первую очередь исследователям и инженерам, работающим с событийными сенсорами: в робототехнике, беспилотных автомобилях, дронах, AR/VR-устройствах, а также специалистам по генерации и обработке видео, которым интересны техники борьбы с временным дрейфом в диффузионных моделях.
Как это применить
Это исследовательская работа (препринт), а не готовый продукт: применение предполагает воспроизведение метода по описанию или, если авторы опубликуют код и веса на странице проекта, эксперименты на собственных данных с событийных камер. Прежде чем переносить метод в прикладную задачу, стоит проверить его вычислительные требования, диффузионные модели по природе тяжелее классических регрессионных подходов.
Можно ли доверять
Материал, научный препринт (HuggingFace Papers), результаты получены и заявлены самими авторами на собственных экспериментальных бенчмарках; независимой проверки или рецензирования в открытых источниках не приводится. Авторы дают ссылку на страницу проекта с демонстрационными материалами, что позволяет частично проверить заявления самостоятельно.
Риски и подводные камни
Заявления о превосходстве над state-of-the-art сделаны на выборе бенчмарков самих авторов, это типичная ситуация для препринтов, и такие цифры стоит воспринимать с поправкой до независимой репликации. Кроме того, диффузионные модели обычно требовательны к вычислениям и работают медленнее в разы, чем классические регрессионные методы, а именно низкая задержка является одним из главных преимуществ событийных камер, поэтому применимость LongE2V в реальном времени пока под вопросом.