MultiRef-Compass: бенчмарк для генерации аудио-видео по нескольким референсам
Задача генерации аудио-видео по нескольким референсам (multi-reference-to-audio-video, MR2AV) требует от модели создать связный аудио-видео ролик, опираясь одновременно на несколько исходных референсов (изображений, объектов, персонажей) и текстовую инструкцию. Модель должна не просто воспроизвести каждый референс по отдельности, а корректно связать и скомпоновать несколько referenced-сущностей в единое согласованное аудио-визуальное событие, да ещё синхронизировать звук с картинкой. Авторы отмечают, что существующие бенчмарки эту задачу не покрывают: одни оценивают только генерацию по тексту, другие, сохранение одного-единственного референсного объекта, третьи, согласованность звука и видео в отрыве друг от друга. Само направление MR2AV оставалось практически неисследованным.
Чтобы закрыть этот пробел, авторы предложили MultiRef-Compass, единый бенчмарк для MR2AV. Он состоит из 350 тщательно отобранных примеров, собранных через масштабируемый и управляемый конвейер компоновки данных из отдельных ассетов. Примеры охватывают три сценария: сохранение объекта при смене ракурса (multi-view subject preservation), связывание нескольких сущностей между собой (multi-entity binding) и композицию «человек, объект, сцена». Оценка построена на четырёх измерениях, базовое качество, согласованность с референсами, согласованность аудио и видео между собой, следование инструкции, которые раскладываются на 14 более мелких метрик. Помимо автоматических метрик, бенчмарк использует мультимодальную модель-судью (MLLM-as-a-Judge) с механизмом повторной перепроверки оценок (rejudging), что делает измерение масштабируемым и проверяемым.
Авторы прогнали через MultiRef-Compass восемь показательных систем для MR2AV-генерации и обнаружили, что по большинству измерений у них есть существенный запас для улучшения, то есть современные модели пока справляются с задачей далеко не идеально. Авторы позиционируют бенчмарк как основу для будущих исследований в этой области.
Ключевые факты
- MultiRef-Compass, первый единый бенчмарк для генерации аудио-видео по нескольким референсам и тексту (MR2AV)
- 350 примеров, собранных через управляемый конвейер компоновки данных из ассетов
- Оценка по четырём измерениям (базовое качество, согласованность с референсами, согласованность аудио-видео, следование инструкции) через 14 подметрик
- Комбинация автоматических метрик и MLLM-судьи с повторной перепроверкой оценок (rejudging)
- Тест восьми существующих MR2AV-систем показал существенный запас для улучшения по большинству измерений
Почему это важно
До сих пор не существовало единого способа проверить, насколько хорошо модель умеет генерировать аудио-видео сразу по нескольким референсам и инструкции, существующие бенчмарки оценивали либо только текстовую генерацию, либо сохранение одного референсного объекта, либо согласованность звука и видео отдельно от вопроса референсов. MultiRef-Compass впервые сводит все три грани задачи (сохранение референсов, связывание нескольких сущностей, синхронность аудио и видео) в один измеримый протокол.
Кому это важно
Бенчмарк адресован исследовательским командам и компаниям, разрабатывающим модели генерации видео и аудио с поддержкой нескольких референсов, то есть тем, кто строит инструменты для персонализированной генерации роликов с конкретными персонажами, объектами или сценами по образцам. Он также полезен тем, кто оценивает и сравнивает такие модели между собой.
Как это применить
Разработчики MR2AV-систем могут прогнать свою модель через 350 примеров MultiRef-Compass и получить оценку по 14 подметрикам в рамках четырёх измерений, это даёт конкретную картину, где модель слаба: в сохранении внешнего вида референсов, в правильном связывании нескольких сущностей между собой, в синхронности звука и картинки или в точности следования текстовой инструкции. Оценка совмещает автоматические метрики с мультимодальной моделью-судьёй, что позволяет проводить её без ручной разметки каждого примера.
Можно ли доверять
Это препринт, размещённый на площадке HuggingFace Papers; заметного отклика сообщества пока нет (на момент публикации, 29 отметок и 2 комментария). Методология описана подробно: авторы прозрачно раскрывают состав из 350 примеров, три покрываемых сценария, четыре измерения с 14 подметриками и механизм повторной перепроверки оценок MLLM-судьи, а выводы подкреплены тестами на восьми реальных системах, а не только теоретическими рассуждениями. Независимой проверки методологии другими исследовательскими группами в тексте не приводится.
Риски и подводные камни
Примеры бенчмарка собраны через синтетический конвейер компоновки ассетов, а не взяты из естественных данных, это может не в полной мере отражать то, как референсы используются в реальных сценариях. Оценка частично опирается на MLLM-судью, а любая модель-судья потенциально несёт собственные систематические смещения. Тест охватывает только восемь существующих систем, поэтому насколько результаты обобщаются на будущие модели с принципиально другой архитектурой, пока не известно.