PANINI-DR: агентная система глубокого поиска набрала 73,3% на BrowseComp-Plus
В препринте представлена PANINI-DR, мультиагентная система (harness, «обвязка» вокруг языковой модели) для глубокого исследования. Такие задачи требуют связывать множество шагов поиска, рассуждений и вычислений, причём промежуточные находки определяют, что искать дальше. По мере разрастания расследования агентам нужно сохранять состояние между обращениями к модели и проверять находки, пока ошибки не попали в последующую работу.
Идея PANINI-DR, разделить координацию всего расследования и работу над отдельными подвопросами (их исследование и проверку). Общее рабочее пространство, построенное на представлении Generative Semantic Workspace, фиксирует подвопросы, их зависимости, находки и подтверждающие доказательства. Исследователи-агенты разбирают отдельные подвопросы, а отдельный агент-верификатор сверяет предложенные ответы с этими подвопросами и их доказательствами. Обратная связь от проверки направляет дальнейший поиск, а записанные находки учитываются при выдаче следующих заданий.
Оценка проводилась на трёх бенчмарках, BrowseComp-Plus, FRAMES и MoNaCo, в сравнении с семью современными системами глубокого исследования; все использовали общую языковую модель в основе и замороженные корпуса документов. По заявлению авторов, PANINI-DR показывает лучшую среднюю результативность по трём бенчмаркам. На BrowseComp-Plus её точность составляет 73,3%, что на 16,0 пункта выше следующей по результату системы. Преимущество сильнее всего на сложных вопросах: на них PANINI-DR отвечает почти вдвое больше вопросов, чем ближайшая конкурентка.
Абляции (отключение отдельных компонентов) показывают, что результат улучшают структурированное планирование и постоянное состояние, а также проверка каждой находки по приведённым доказательствам перед повторным использованием. Поскольку модель может ответить верно по памяти, без поиска, авторы дополнительно анализируют, какие доказательства сохраняет каждая система. По их данным, у PANINI-DR самая высокая «восстанавливаемость» ответа из сохранённых доказательств на всех трёх бенчмарках, а дополнительные аудиты обоснованности утверждений показывают более сильные ответы, подкреплённые доказательствами. Учёт доказательств меняет расстановку систем в сравнении и ещё усиливает преимущество PANINI-DR.
Ключевые факты
- PANINI-DR разделяет координацию расследования и работу над подвопросами: исследователи ищут ответы, отдельный агент проверяет их по доказательствам.
- Общее рабочее пространство на базе Generative Semantic Workspace хранит подвопросы, их зависимости, находки и подтверждающие доказательства.
- На BrowseComp-Plus точность составила 73,3%, на 16,0 пункта выше следующей по результату системы из семи сравниваемых.
- Преимущество сильнее всего на сложных вопросах: отвечено почти вдвое больше, чем у ближайшей конкурентки.
- Абляции: структурированное планирование, постоянное состояние и проверка находок по цитируемым доказательствам повышают результат.
Почему это важно
Глубокое исследование, это длинные цепочки поиска и рассуждений, где ошибка на раннем шаге тянется дальше. Работа предлагает конкретный способ с этим справляться: хранить состояние расследования в общем рабочем пространстве и проверять каждую находку отдельным агентом, прежде чем использовать её. Заметно и то, что авторы оценивают не только итоговую точность, но и сохранённые доказательства, ведь модель способна ответить верно по памяти.
Кому это важно
Тем, кто строит агентные системы для многошагового поиска и исследования, и тем, кто сравнивает такие системы на бенчмарках вроде BrowseComp-Plus, FRAMES и MoNaCo. Полезна и сама идея отделять планирование и проверку от непосредственного поиска ответов.
Как это применить
Из описания видно архитектурные принципы: разбивать вопрос на подвопросы с зависимостями, вести общее персистентное состояние с находками и доказательствами, пускать ответы через отдельного верификатора и возвращать его замечания на доработку. Сведений о выпуске кода, модели или лицензии в описании работы нет, поэтому готового инструмента для использования по нему не видно.
Можно ли доверять
Все результаты, заявления авторов препринта; независимая проверка в тексте не упомянута. Сравнение, по их описанию, проводилось в равных условиях: общая языковая модель в основе и замороженные корпуса. В описании не названы авторы и организации, не указана используемая языковая модель и не перечислены семь сравниваемых систем. Не приведены цифры для FRAMES и MoNaCo, а также точность ближайшей конкурентки на BrowseComp-Plus, известен лишь отрыв в 16,0 пункта. Абсолютное число или доля решённых сложных вопросов тоже не указаны.
Риски и подводные камни
Заявленное преимущество получено на трёх конкретных бенчмарках с замороженными корпусами; как система поведёт себя на живом вебе, из описания не следует. Цифра в 73,3% относится только к BrowseComp-Plus, по двум другим бенчмаркам абсолютных значений нет. Сведений о стоимости и задержках многоагентного подхода в описании также нет, поэтому оценить затраты на практике нельзя.