OmniXRef: нейросеть правит видео по тексту, картинкам и видеореференсам
В статье на Hugging Face Papers описана OmniXRef, единая система для редактирования видео по нескольким референсам разных видов. Идея в том, что творческий замысел при монтаже можно выразить по-разному: текстовой инструкцией (например, «убери людей»), картинкой-референсом (скажем, внешность объекта), видеореференсом (например, движение камеры) или сочетанием всего этого. OmniXRef позволяет пользователю комбинировать переменное число текстовых, графических и видеореференсов, чтобы управлять разными свойствами исходного ролика.
Технически авторы описывают несколько частей. Во-первых, единый формат входных данных с интерфейсом «банка референсов» (reference bank) и приём R^2-RoPE, который, по их словам, помогает модели обобщаться на большее число референсов. Во-вторых, сама модель OmniXRef-Model: однопоточный диффузионный трансформер совместно обрабатывает исходное видео и мультимодальный контекст от MLLM (мультимодальной большой языковой модели) в виде чередующейся последовательности.
По данным авторов, обучающих примеров для редактирования по видеореференсу мало, поэтому они собрали набор OmniXRef-Data с помощью конвейеров синтеза данных для разных задач редактирования и разных сочетаний референсов. Обучение идёт по схеме curriculum learning (обучение по нарастанию сложности): постепенно растут сложность задач и разрешение.
Для системной оценки видео как способа управления представлен бенчмарк OmniXRef-Bench, набор для переноса атрибутов по видеореференсу по пяти категориям: камера, движение, содержание, стиль и визуальные эффекты (VFX). Итог, заявленный авторами: по результатам всесторонних оценок OmniXRef-Model превосходит специализированные базовые методы и коммерческие модели. Конкретные метрики, названия конкурентов и размеры модели и данных в тексте не приведены.
Ключевые факты
- OmniXRef, единая система редактирования видео, где можно сочетать переменное число текстовых, графических и видеореференсов.
- OmniXRef-Model, однопоточный диффузионный трансформер, совместно обрабатывающий исходное видео и мультимодальный контекст от MLLM; для обобщения на большее число референсов введён R^2-RoPE.
- Из-за нехватки данных авторы собрали набор OmniXRef-Data синтетическим путём и обучали модель по нарастанию сложности и разрешения.
- Бенчмарк OmniXRef-Bench оценивает перенос атрибутов по видеореференсу в пяти категориях: камера, движение, содержание, стиль и визуальные эффекты (VFX).
- Авторы заявляют, что модель превосходит специализированные базовые методы и коммерческие модели; числовых результатов в тексте нет.
Почему это важно
Обычно редактирование видео нейросетью управляется текстом, а такие свойства, как движение камеры или стиль, словами описать трудно. OmniXRef, попытка свести текст, картинки и видео в один механизм управления и заодно оценить видео как отдельный способ задавать правки. Это заявка авторов статьи, независимой проверки в источнике нет.
Кому это важно
Исследователям генерации и редактирования видео, разработчикам диффузионных моделей, а также тем, кто следит за инструментами для монтажа и визуальных эффектов: набор OmniXRef-Bench предлагает пять категорий атрибутов для сравнения методов переноса по видеореференсу.
Как это применить
Практического применения пока не видно: в имеющемся описании не упомянуты выпуск кода, весов или наборов данных, а также цены и доступ. Читателю стоит следить за публикацией материалов авторов, прежде чем рассчитывать на использование.
Можно ли доверять
Это препринт-описание на Hugging Face Papers, и вывод о превосходстве над специализированными базовыми методами и коммерческими моделями принадлежит самим авторам. В тексте нет количественных результатов, названий сравниваемых моделей, а также авторов и организаций, поэтому проверить заявление по этому материалу нельзя.
Риски и подводные камни
Обучающие данные для видеореференсов синтетические, и качество на реальных задачах может отличаться от результатов на собственном бенчмарке авторов. Бенчмарк создан теми же авторами, что и модель, а размер модели и данных, а также вычислительные затраты не названы.