VisSearch-Bench: лучшая из 16 мультимодальных моделей полностью решает лишь 26,47% задач визуального поиска

VisSearch-Bench: лучшая из 16 мультимодальных моделей полностью решает лишь 26,47% задач визуального поиска

Мультимодальные агенты используют веб-поиск и инструменты работы с изображениями, чтобы отвечать на вопросы, выходящие за рамки их внутренних знаний. По мнению авторов статьи, во многих существующих поисковых задачах изображение нужно лишь для того, чтобы опознать первую сущность, после чего агент опирается на текстовый поиск. Такие задачи мало говорят о том, как агент связывает информацию между изображениями, объектами и шагами поиска.

Поэтому авторы сосредоточились на управлении визуальным контекстом: умении организовывать и использовать визуальную информацию и связывать её с другими находками по ходу поиска. Визуально насыщенные задачи требуют от агента соединять внешний вид объекта, локальные детали или пространственные отношения с внешней информацией.

Для этого представлен бенчмарк VisSearch-Bench: 204 задачи, написанные людьми, в 7 основных областях и 25 подобластях. Он охватывает пять типов задач: Set-wise Visual Search (поиск по набору изображений), Sequential Visual Search (последовательный визуальный поиск), Hybrid Wide-Deep Search (гибридный широкий и глубокий поиск), Competitive Visual Disambiguation (визуальное разрешение неоднозначности между конкурирующими вариантами) и Visual-Structure-Guided Search (поиск, направляемый визуальной структурой). К каждой задаче прилагаются эталонный ответ, прослеживаемые свидетельства и правила оценки.

Используются две метрики. Accuracy показывает полный успех в задаче, а Process Score оценивает правильность и полноту отдельных результатов и ответов на подвопросы.

Итог: среди 16 протестированных мультимодальных моделей лучшая система полностью решает лишь 26,47% задач, причём даже при наличии поисковых инструментов. Авторы заключают, что результаты подчёркивают сложность связывания визуальных свидетельств с результатами поиска для получения полных ответов.

Ключевые факты

  • VisSearch-Bench, бенчмарк из 204 задач, написанных людьми, в 7 основных областях и 25 подобластях.
  • Пять типов задач: поиск по набору изображений, последовательный, гибридный широкий и глубокий поиск, визуальное разрешение неоднозначности и поиск по визуальной структуре.
  • Каждая задача содержит эталонный ответ, прослеживаемые свидетельства и правила оценки; метрики, Accuracy и Process Score.
  • Из 16 мультимодальных моделей лучшая полностью решает лишь 26,47% задач, даже с поисковыми инструментами.

Почему это важно

Многие поисковые бенчмарки используют изображение лишь для опознания первой сущности, а дальше всё сводится к текстовому поиску. VisSearch-Bench проверяет другое: умеет ли агент удерживать и связывать визуальные детали на протяжении длинной цепочки поисковых шагов. Результат в 26,47% полностью решённых задач у лучшей из 16 моделей показывает, что это направление остаётся трудным.

Кому это важно

Исследователям и разработчикам мультимодальных агентов, которым нужен тест на связывание изображений с поисковой выдачей. Также тем, кто выбирает модель для задач, где ответ требует и анализа картинки, и поиска в интернете.

Как это применить

Бенчмарк можно использовать для сравнения мультимодальных агентов: Accuracy показывает полный успех, Process Score, качество промежуточных результатов и ответов на подвопросы. Пять типов задач позволяют оценивать разные стратегии поиска по отдельности.

Можно ли доверять

Это описание бенчмарка в аннотации статьи на Hugging Face. Задачи написаны людьми, к каждой приложены эталонный ответ, прослеживаемые свидетельства и правила оценки. Названия 16 моделей и лучшей системы в тексте не приведены, поэтому сравнить результат с конкретными продуктами по этим данным нельзя.

Риски и подводные камни

Цифра 26,47%, это доля полностью решённых задач лучшей системой, а не средний показатель по всем моделям. Размер набора, 204 задачи на 7 областей и 25 подобластей, так что на отдельный тип или подобласть приходится немного примеров. Выводы нужно проверять по полному тексту статьи.