VideoNexus: по данным авторов, 88,6% на LVBench без дообучения

В препринте представлен VideoNexus, фреймворк для понимания длинных видео, который не требует дообучения (training-free). Исходная проблема: чтобы ответить на вопрос по длинному ролику, нужно найти нужный фрагмент, разглядеть детали и собрать наблюдения в ответ, а делать всё это внутри длинной плотной последовательности кадров тяжело и для восприятия, и для рассуждения. Видеоагенты позволяют смотреть выборочно, но если возвращать кадры планировщику, визуальная информация всё равно копится в его контексте рассуждения. Передача восприятия другим компонентам снимает часть нагрузки, однако редкая выборка кадров может пропустить решающую деталь, а покадровые описания сохраняют рост контекста.
Решение авторов, разделить детальное восприятие видео и планирование с рассуждением на основе доказательств. Планировщик решает, куда смотреть, что именно уточнить и насколько плотно брать кадры. Субагенты восприятия обрабатывают исходное аудио и видео в независимых контекстах и возвращают компактные, привязанные ко времени свидетельства для итеративного поиска и проверки.
Результаты, о которых сообщают сами авторы. С Gemini 3.8 Flash и в роли планировщика, и в роли модуля восприятия VideoNexus достигает 88,6% точности на полном LVBench. Это на 3,6 и 1,1 пункта выше, чем у статичной загрузки видео и встроенной агентной обработки на той же базовой модели (соответственно), при этом стоимость API составляет 44% от измеренной стоимости встроенной агентной обработки. Парная абляция на подвыборке LVBench, по утверждению авторов, показывает меньший объём входных данных планировщика и более высокую точность; конкретных цифр для неё нет. С Kimi K3 в качестве общей базовой модели VideoNexus на 8,5 пункта превосходит официальную обвязку ReAct из Video-GAIA, по оценке самих авторов. Вывод авторов: результаты поддерживают идею обмена компактными свидетельствами как способа совместить детальное наблюдение с эффективным планированием и рассуждением.
Ключевые факты
- VideoNexus, фреймворк без дообучения: планировщик управляет тем, куда смотреть, что уточнять и как плотно брать кадры, а субагенты восприятия работают с аудио и видео в независимых контекстах.
- Субагенты возвращают планировщику компактные, привязанные ко времени свидетельства вместо кадров, чтобы визуальная информация не разрасталась в его контексте.
- С Gemini 3.8 Flash для планирования и восприятия: 88,6% на полном LVBench, на 3,6 пункта выше статичной загрузки видео и на 1,1 пункта выше встроенной агентной обработки на той же модели.
- Стоимость API, 44% от измеренной стоимости встроенной агентной обработки.
- С Kimi K3 в качестве общей базовой модели, прирост 8,5 пункта над официальной обвязкой ReAct из Video-GAIA по собственной оценке авторов.
Почему это важно
Длинное видео, одна из самых затратных задач для мультимодальных моделей: кадры быстро заполняют контекст, а редкая выборка рискует пропустить главное. VideoNexus предлагает не расширять контекст планировщика, а выносить детальный просмотр в отдельные контексты и передавать наверх только сжатые свидетельства. По заявленным цифрам это даёт и небольшой выигрыш в точности (1,1 пункта над встроенной агентной обработкой на той же модели), и заметную экономию, 44% от её стоимости API.
Кому это важно
Исследователям и инженерам, которые строят видеоагентов и системы вопросов-ответов по длинным роликам: подход описан как не требующий дообучения и опирается на уже существующие модели (в тексте упомянуты Gemini 3.8 Flash и Kimi K3). Тем, кто следит за бенчмарками LVBench и Video-GAIA, тоже есть что отметить.
Как это применить
Идея переносима на уровне архитектуры: планировщик задаёт, где и с какой плотностью смотреть, а отдельные субагенты в независимых контекстах разбирают фрагменты и возвращают короткие свидетельства с привязкой ко времени для итеративного поиска и проверки. Ни кода, ни условий использования в доступном тексте нет, поэтому готового инструмента для запуска из него не следует, только описание схемы.
Можно ли доверять
Все цифры, самоотчёт авторов препринта; независимого воспроизведения в тексте нет. Прирост 8,5 пункта над обвязкой Video-GAIA получен в собственной оценке авторов. Абсолютные точности базовых методов на LVBench не приведены, только разрывы в 3,6 и 1,1 пункта, а результат парной абляции описан без количественных данных. Сами авторы формулируют вывод осторожно: результаты «поддерживают» идею компактного обмена свидетельствами.
Риски и подводные камни
Цифры 88,6%, 3,6 и 1,1 пункта относятся к конкретной конфигурации с Gemini 3.8 Flash и к LVBench; перенос на другие модели и данные не показан, кроме одного сравнения с Kimi K3 на Video-GAIA. Экономия 44% указана только относительно встроенной агентной обработки, без абсолютных сумм. Как заметили сами авторы в постановке задачи, редкая выборка кадров может пропускать решающие детали, насколько хорошо VideoNexus справляется с этим на практике, из доступного текста по отдельным случаям не видно.