Video-Oasis: половина бенчмарков для видео-ИИ решается вообще без видео
Команда во главе с Гынтхэком Лимом представила Video-Oasis, диагностический набор для аудита существующих бенчмарков, которыми проверяют способность нейросетей (Video-LLM) понимать видео. Проблема, которую решает работа: когда модель хорошо отвечает на вопросы по видео, непонятно, что именно сработало, реальное восприятие происходящего на экране, языковое рассуждение или просто знания модели о мире, полученные при обучении на тексте. До сих пор большинство новых бенчмарков просто добавляли всё более сложные вопросы, но никто системно не проверял, действительно ли для ответа нужно смотреть видео.
Авторы не стали делать очередной бенчмарк, а провели аудит уже существующих. Результат: 55% заданий в этих бенчмарках можно решить вообще без визуального ряда и без понимания временной последовательности событий, то есть модель может угадать правильный ответ, опираясь только на текст вопроса и общие знания, ни разу не «посмотрев» видео.
Когда авторы отфильтровали такие «лазейки» и оставили только по-настоящему видео-зависимые задачи, картина изменилась радикально: лучшие современные модели показали результат лишь незначительно выше случайного угадывания. То есть заявленные высокие оценки Video-LLM на популярных бенчмарках во многом отражают не понимание видео, а способность угадывать ответ по косвенным подсказкам.
На этих отфильтрованных, честных задачах авторы дополнительно исследовали, какие архитектурные и алгоритмические решения на самом деле помогают моделям лучше понимать видео. Код и инструментарий Video-Oasis выложены в открытый доступ на GitHub (sejong-rcv/Video-Oasis), чтобы другие разработчики могли аудировать собственные бенчмарки и модели тем же способом.
Ключевые факты
- Video-Oasis, диагностический набор для проверки существующих бенчмарков понимания видео, а не новый бенчмарк сам по себе
- 55% заданий в изученных бенчмарках решаются без просмотра видео и без учёта временной последовательности кадров
- После удаления таких «лазеек» лучшие модели показывают результат лишь чуть выше случайного угадывания на честных, видео-зависимых задачах
- Авторы использовали отфильтрованные задачи как тестовую площадку, чтобы выяснить, какие архитектурные решения реально улучшают понимание видео
- Код и методика аудита выложены в открытый доступ на GitHub (sejong-rcv/Video-Oasis)
Почему это важно
Работа показывает, что значительная часть прогресса, о котором заявляют разработчики моделей понимания видео, может быть иллюзией: если больше половины вопросов бенчмарка решается без видео, высокий балл модели ничего не говорит о её способности реально «видеть» и понимать происходящее на экране. Это подрывает доверие к рейтингам и лидербордам, на которые ориентируется индустрия при выборе Video-LLM.
Кому это важно
В первую очередь, исследователям и инженерам, которые разрабатывают модели для понимания видео (Video-LLM) и составляют бенчмарки для их оценки. Также важно продуктовым командам, выбирающим модель для задач видео-аналитики: реальные возможности моделей могут оказаться заметно скромнее, чем показывают популярные тесты.
Как это применить
Video-Oasis выложен в открытый доступ на GitHub (sejong-rcv/Video-Oasis), им можно прогнать существующий бенчмарк и понять, какая доля его заданий решается «в обход» видео. Это позволяет либо очистить старый бенчмарк от лазеек, либо строить новые тесты сразу с учётом методики аудита, а не полагаться на оценки, полученные на старых, потенциально «дырявых» датасетах.
Можно ли доверять
Материал, научная работа, опубликованная на HuggingFace Papers, с открытым кодом на GitHub, что позволяет независимо проверить и воспроизвести аудит. Собрала 24 отметки и 1 комментарий на площадке на момент публикации, заметный, но не вирусный интерес в узком кругу специалистов по видео-ИИ.
Риски и подводные камни
В тексте не уточняется, на каком именно наборе бенчмарков и моделей проводился аудит, поэтому цифра «55%» может не обобщаться на все существующие тесты понимания видео без разбора. Также остаётся открытым вопрос, насколько сама методика Video-Oasis устойчива к новым типам лазеек, которые могут появиться по мере того, как разработчики бенчмарков начнут подстраиваться под неё.
«Современные модели показывают результат лишь незначительно выше случайного угадывания.»
— из аннотации статьи Video-Oasis