AskStream: бенчмарк учит видеомодели задавать уточняющие вопросы, лучший результат, 52,18%
Авторы статьи, опубликованной на Hugging Face, отталкиваются от развития мультимодальных больших языковых моделей: взаимодействие с видео шло от офлайн-режима к потоковому и затем к проактивному, когда модель сама решает, когда отвечать. По их мнению, существующие проактивные подходы обычно предполагают, что информации для ответа на запрос достаточно, и модели остаётся только ждать или отвечать.
В реальности информация часто неполна, из-за неопределённости либо в самом видео, либо со стороны пользователя. Авторы утверждают, что в таких условиях модель может ждать бесконечно или выдавать ответы с сильными галлюцинациями. Поэтому они предлагают переопределить проактивное взаимодействие, добавив третье действие, «спросить» (ask): модель может сама запрашивать недостающую информацию.
Чтобы изучить, когда и что модели следует спрашивать перед ответом, авторы представляют AskStream, по их описанию, первый многоходовый бенчмарк, охватывающий неопределённость и в видео, и у пользователя, для задач потокового понимания видео. В нём четыре категории задач и восемь подзадач. Набор содержит 438 видео и 2 714 вручную размеченных покадровых временных окон трёх типов: ждать, спросить и ответить.
Результаты: и в формате с выбором ответа, и в открытом формате даже сильнейшая модель набирает всего 52,18% по предложенной авторами метрике Ask-F1. Авторы расценивают это как свидетельство серьёзных ограничений в проактивном поиске информации при неопределённости.
Ключевые факты
- AskStream добавляет к действиям «ждать» и «ответить» третье, «спросить», чтобы модель могла запрашивать недостающую информацию.
- Бенчмарк содержит 438 видео и 2 714 вручную размеченных покадровых временных окон трёх типов: ждать, спросить, ответить.
- Структура: четыре категории задач и восемь подзадач; авторы называют его первым многоходовым бенчмарком, охватывающим неопределённость видео и пользователя.
- Лучшая модель получила лишь 52,18% по метрике Ask-F1, и в формате с выбором ответа, и в открытом формате.
- Авторы связывают проблему существующих подходов с риском бесконечного ожидания или ответов с сильными галлюцинациями.
Почему это важно
Проактивные видеомодели, которые сами решают, когда отвечать, обычно исходят из полноты информации. Авторы показывают, что при неполных данных такая модель может бесконечно ждать или галлюцинировать. Новое действие «спросить» и бенчмарк для его оценки задают измеримую цель для этого направления.
Кому это важно
Исследователям потокового и проактивного понимания видео, а также разработчикам мультимодальных ассистентов, которым приходится работать с неполными запросами и неоднозначным видеопотоком.
Как это применить
AskStream можно рассматривать как набор для оценки того, умеет ли модель выбирать между ожиданием, вопросом и ответом. Материал описывает сам бенчмарк и метрику Ask-F1; практических рекомендаций по внедрению в тексте нет.
Можно ли доверять
Это препринт, представленный на Hugging Face; утверждения о новизне («первый» бенчмарк) и выводы о слабости моделей принадлежат самим авторам. Сильнейшая модель в тексте не названа, оценки других моделей не приведены, поэтому сравнить результаты по описанию нельзя.
Риски и подводные камни
52,18%, результат на собственной метрике и собственной разметке авторов; определение Ask-F1 в описании не раскрыто. Бенчмарк оценивает качество вопросов и выбора момента, но не гарантирует поведения в реальных условиях.