Исследователи выпустили RSIHub: открытый фреймворк для сравнения методов эволюции ИИ-агентов

Методы эволюции агентов используют обратную связь от выполнения задач, чтобы улучшать промпты, навыки (skills), инструменты и оркестрацию. По словам авторов статьи, реализации таких методов часто заново строят одну и ту же экспериментальную обвязку. Чтобы этого избежать, они представили RSIHub, фреймворк с открытым исходным кодом для создания, сравнения и расширения таких методов на общей инфраструктуре.

Устройство такое: «рецепты» (recipes) собираются из переиспользуемых операторов и объявляют изменяемые ресурсы, а сам RSIHub берёт на себя выполнение, оценку, восстановление после сбоев и ведение родословной (lineage) кандидатов. Исследователь может сосредоточиться на политике эволюции: оценка остаётся вне изменяемой поверхности, а результаты привязаны к конкретным кандидатам и условиям оценки.

В качестве проверки авторы реализовали в фреймворке четыре существующих метода, AHE, Hyperagents, A-Evolve и GEPA, не меняя ядро фреймворка: логика каждого метода живёт в рецептах и операторах. Методы оценивали с агентами MiniSWE и Codex на бенчмарках Terminal Bench 2 и τ^3 Banking при фиксированных конфигурациях модели и оценщика.

Наибольший наблюдаемый общий прирост pass@1, 13,5 процентного пункта (это максимум по всем методам и условиям, а не типичное значение). При этом рейтинги методов меняются от условий к условиям, а выигрыш от оптимизации не всегда переносится на отложенные (held-out) задачи. Итог по версии авторов: RSIHub даёт общий протокол сравнения политик эволюции, прозрачные истории кандидатов и повторно используемые компоненты для разработки новых методов.

Ключевые факты

RSIHub, открытый фреймворк для создания, сравнения и расширения методов эволюции агентов на общей инфраструктуре.
Рецепты собираются из переиспользуемых операторов; фреймворк обеспечивает выполнение, оценку, восстановление и родословную кандидатов.
В нём без изменения ядра реализованы четыре метода: AHE, Hyperagents, A-Evolve и GEPA.
Оценка велась с MiniSWE и Codex на Terminal Bench 2 и τ^3 Banking; наибольший наблюдаемый прирост pass@1, 13,5 процентного пункта.
Рейтинги методов зависят от условий, а выигрыш от оптимизации не всегда переносится на отложенные задачи.

Почему это важно

Методы самоулучшения агентов часто сравнивают на несовместимых самодельных стендах. По словам авторов, реализации раз за разом перестраивают одну и ту же экспериментальную обвязку. Общий протокол сравнения делает результаты сопоставимыми. Показательно и наблюдение авторов: рейтинги методов меняются от условий, а выигрыш не всегда переносится на отложенные задачи.

Кому это важно

Исследователям, которые разрабатывают или сравнивают методы эволюции агентов (промптов, навыков, инструментов, оркестрации), и командам, которые хотят проверить такие методы на собственных агентах без написания инфраструктуры с нуля.

Как это применить

Метод описывается как рецепт: из готовых операторов собирается логика эволюции и объявляются изменяемые ресурсы, а выполнение, оценку, восстановление и историю кандидатов обеспечивает фреймворк. В статье такой путь показан на четырёх существующих методах, AHE, Hyperagents, A-Evolve и GEPA. Адрес репозитория и лицензия в описании не приведены.

Можно ли доверять

Источник, аннотация статьи на Hugging Face Papers; авторы и организации в ней не названы. Число 13,5 процентного пункта, максимум; в описании не сказано, какой метод и какая связка агента и бенчмарка его дали, нет и базовых значений pass@1 и результатов по отдельным методам. Проверить выводы по одной аннотации нельзя.

Риски и подводные камни

Максимальный прирост не характеризует типичный эффект. Авторы сами отмечают, что рейтинги методов зависят от условий, а выигрыш от оптимизации не всегда переносится на отложенные задачи, но насколько именно, в описании не указано. Оценка проведена на двух бенчмарках и с двумя агентами, поэтому обобщать результаты на другие задачи не стоит.