Представлен OmniDR-Bench: тест для ИИ-агентов, пишущих отчёты по видео
Агенты глубокого исследования (deep research) собирают данные из открытого интернета в длинные отчёты, но, по словам авторов работы, существующие бенчмарки не оценивают исследование, в центре которого стоит исходное видео. Для этого они вводят новую задачу: Video-Centered Deep Research Report Generation. Агент получает видео и запрос пользователя, сам формулирует исследовательские вопросы, ищет внешние мультимодальные свидетельства и собирает интерактивный отчёт со ссылками на нужные моменты видео. Практическая ценность, по мнению авторов, в том, что пользователь быстрее находит нужные фрагменты, проверяет утверждения, воспроизводит показанные в ролике процедуры и принимает обоснованные решения на основе видео.
Вместе с задачей представлены рабочий процесс на основе навыков (skill-based workflow) и бенчмарк OmniDR-Bench. Он содержит 50 заданий на китайском и английском языках из 19 реальных подкатегорий и включает 6 414 критериев.
Для оценки предложены Omni Atomic Rubric Trees (Omni-ARTs), деревья рубрик. Каждое дерево состоит из трёх измерений, 23 общих направлений и атомарных бинарных критериев под конкретное задание. Направления проверяют привязку к аудиовизуальному материалу, использование мультимодальных свидетельств и интерактивную подачу. Сами деревья строятся методом Audited Rubric Construction (ARC) в четыре шага: независимый сбор свидетельств, автоматические проверки, поведенческая калибровка и итеративная проверка людьми.
Итог испытаний: среди 18 конфигураций агентов лучшая система набрала 63,3 балла из 100. Авторы делают вывод, что современным агентам по-прежнему не хватает широты охвата содержания, более сильного причинно-логического анализа между модальностями и более точной поддержки цитирования. Дополнительно разобраны модели, обвязки (harnesses), конфигурации навыков, категории видео и траектории исследования. Код и данные опубликованы в репозитории OmniDR-Bench на GitHub.
Ключевые факты
- Новая задача: по видео и запросу агент формулирует вопросы, ищет внешние мультимодальные свидетельства и строит интерактивный отчёт со ссылками на моменты видео.
- OmniDR-Bench: 50 заданий на китайском и английском языках, 19 реальных подкатегорий, 6 414 критериев.
- Оценка через Omni-ARTs: три измерения, 23 общих направления и атомарные бинарные критерии под каждое задание; деревья строит метод ARC с проверкой людьми.
- Из 18 конфигураций агентов лучшая набрала 63,3 из 100.
- Слабые места агентов по выводам авторов: охват содержания, причинно-логический анализ между модальностями, точность цитирования. Код и данные открыты.
Почему это важно
Агенты глубокого исследования всё чаще пишут длинные отчёты, но, как утверждают авторы, существующие бенчмарки не проверяют исследование, привязанное к конкретному видео. Эта работа закрывает пробел: задаёт задачу и измерительный инструмент. Результат 63,3 из 100 у лучшей из 18 конфигураций показывает, что до уверенного решения задачи ещё далеко.
Кому это важно
Разработчикам и исследователям агентов глубокого исследования и мультимодальных систем, которым нужен способ измерять работу с видео. Также тем, кто строит рубрики для оценки длинных отчётов: схема Omni-ARTs и метод ARC описаны достаточно конкретно.
Как это применить
Код и данные выложены по адресу github.com/marinero4972/OmniDR-Bench. Бенчмарк можно использовать, чтобы прогнать собственного агента на 50 заданиях и сравнить результат с 63,3 из 100 у лучшей системы из статьи. Структуру деревьев рубрик (три измерения, 23 общих направления плюс бинарные критерии под задание) можно взять как образец для оценки отчётов в других задачах.
Можно ли доверять
Это препринт: оценок независимых проверок в тексте нет. Выводы о слабых местах агентов принадлежат самим авторам бенчмарка. В аннотации не указано, какая именно конфигурация показала 63,3 балла, и не приведён человеческий базовый уровень, поэтому судить о том, насколько результат далёк от человеческого, нельзя. Плюс, открытые код и данные, которые позволяют перепроверить результаты.
Риски и подводные камни
Бенчмарк небольшой: 50 заданий на двух языках (китайском и английском), хотя критериев много, 6 414. Число 63,3, результат лучшей системы, а не средний уровень агентов. Как из критериев получается итоговая оценка по 100-балльной шкале, из доступного текста не видно. Оценка опирается на рубрики, построенные с участием автоматических проверок и людей, поэтому результаты зависят от качества этих рубрик.