Представлен бенчмарк OpenDS-World: лучший из 12 агентов набрал 39,0%
В статье на Hugging Face описан новый способ проверять ИИ-агентов, которые умеют вести глубокий поиск (Deep Search). Авторы отмечают, что несмотря на заметный прогресс таких агентов, их способность вести исследование «от начала до конца» в реальной открытой сети пока оценена недостаточно. В отличие от статичных наборов документов, информация в живом вебе разбросана по разным источникам, модальностям и разнородным форматам, а доступ к ней нередко требует сложного взаимодействия: агенту приходится самостоятельно искать, открывать и собирать нужные свидетельства прямо во время выполнения.
Чтобы закрыть этот пробел, авторы вводят задачу OpenDS. Она проверяет, умеет ли агент вести многошаговый глубокий поиск в живой открытой сети. Агент должен самостоятельно исследовать реальный веб, находить и связывать свидетельства из нескольких независимых источников с помощью веб-поиска, взаимодействия с браузером и обработки найденных материалов, а в конце определить один однозначный фактический ответ.
На основе этой постановки построен бенчмарк OpenDS-World: 200 сложных заданий, охватывающих разные типы информации (модальности), разнородные форматы файлов и требования к интерактивному доступу. Независимая проверка людьми должна гарантировать, что свидетельства достоверны, а ответ на каждое задание единственный.
Авторы оценили 12 передовых моделей в единой среде инструментов и по единому протоколу выполнения. Лучшая модель показала точность 39,0%, а оценка людьми по 1000 независимых попыток дала 21,1%. Дополнительный анализ использования инструментов, стоимости поиска, поведения при завершении работы и восстановления после ошибок выявил существенные различия в исследовательских стратегиях моделей, а также устойчивые трудности с координацией инструментов и управлением долгим поиском. По замыслу авторов, OpenDS-World, единая платформа для систематической оценки и развития автономного глубокого поиска агентов в реальной открытой сети.
Ключевые факты
- Введена задача OpenDS: многошаговый глубокий поиск в живой открытой сети с итоговым единственным фактическим ответом.
- Бенчмарк OpenDS-World состоит из 200 сложных заданий с разными модальностями, форматами файлов и требованиями к интерактивному доступу; ответы и свидетельства независимо проверены людьми.
- 12 передовых моделей оценены в единой среде инструментов; лучшая показала точность 39,0%.
- Оценка людьми по 1000 независимых попыток дала точность 21,1%.
- Анализ выявил различия в исследовательских стратегиях моделей и устойчивые трудности с координацией инструментов и управлением долгим поиском.
Почему это важно
Агенты глубокого поиска всё чаще предлагают как замену ручному исследованию, но, по словам авторов, их работа в реальной открытой сети оценена недостаточно: привычные тесты опираются на статичные наборы данных. OpenDS-World переносит проверку в живой веб, где источники разнородны, а доступ к данным требует взаимодействия с браузером. Результат наглядный: лучшая из 12 моделей достигла лишь 39,0% точности, то есть до уверенного решения таких задач далеко.
Кому это важно
Исследователям и разработчикам агентов глубокого поиска, которым нужен бенчмарк на реальной сети, а не на статичных коллекциях. Также тем, кто выбирает или оценивает ИИ-агентов для исследовательской работы с вебом: статья показывает, где такие агенты спотыкаются, в координации инструментов и управлении долгим поиском.
Как это применить
Бенчмарк предназначен как единая платформа для систематической оценки агентов: прогнать модель в единой среде инструментов по единому протоколу и сравнить точность, стоимость поиска, поведение при завершении и восстановление после сбоев. Ссылок на код, данные или лицензию в тексте аннотации нет, поэтому о доступности бенчмарка судить нельзя.
Можно ли доверять
Это описание статьи по её аннотации: все цифры, заявления авторов. Состав авторов и названия 12 оценённых моделей, включая лучшую, в тексте не приведены. Задания проверялись людьми независимо, но в тексте не сказано, измерялись ли 39,0% у модели и 21,1% у людей на одних и тех же заданиях и в одинаковых условиях, поэтому прямое сравнение этих цифр делать осторожно.
Риски и подводные камни
Цифры 39,0% и 21,1% нельзя читать как «модель умнее человека»: условия сравнения в тексте не раскрыты, а число участников-людей не указано, известно лишь про 1000 независимых попыток. Бенчмарк состоит из 200 заданий, а живой веб меняется, поэтому результаты могут зависеть от момента запуска. Подробных цифр по стоимости поиска и использованию инструментов в тексте нет, выводы авторов о различиях стратегий приведены без числовых данных.