WebHarbor: 153 копии реальных сайтов для обучения и проверки веб-агентов
Агенты, которые управляют веб-интерфейсом (GUI web agents), нуждаются в реалистичных и интерактивных средах, остающихся стабильными и при оценке, и при обучении. Авторы работы указывают на две проблемы. Оценка на живых сайтах страдает от меняющегося содержимого, ограничений доступа и слабого покрытия сценариев, требующих входа в аккаунт. А существующие синтетические среды для обучения, по их словам, часто не дотягивают по функциональной глубине и визуальной достоверности.
В ответ они предлагают WebHarbor, набор из 153 исполняемых сайтов-сред в Docker-контейнерах. Они воссоздают визуальные интерфейсы, содержимое и функциональные рабочие процессы реальных веб-сервисов в условиях детерминированного контроля.
Среды строили в режиме совместной работы человека и агентов, ориентированной на задачи: по мере того как новые задачи расширяют функциональность среды, кодирующие агенты вносят нужные изменения, а люди-участники проверяют визуальную достоверность, корректность работы функций и валидность самих задач.
В итоге набор содержит 3 518 задач, охватывающих многошаговые сценарии и сценарии после авторизации, именно их, как утверждают авторы, существующие работы часто не покрывают.
Помимо надёжной оценки WebHarbor, по заявлению авторов, даёт высокодостоверные синтетические веб-среды для экономичного обучения с подкреплением (RL). В качестве демонстрации они показывают, что GUI-агент уровня Qwen 4B, обученный с RL в WebHarbor, обобщается на не встречавшиеся задачи и показывает результаты, сопоставимые с ведущими открытыми GUI-агентами для веба, на четырёх бенчмарках. Код и данные опубликованы в репозитории aiming-lab/WebHarbor на GitHub.
Ключевые факты
- WebHarbor, набор из 153 исполняемых сайтов-сред в Docker, воссоздающих интерфейсы, содержимое и рабочие процессы реальных веб-сервисов под детерминированным контролем.
- В наборе 3 518 задач, включая многошаговые сценарии и сценарии после авторизации.
- Среды создавали совместно люди и кодирующие агенты: агенты вносят изменения, люди проверяют визуальную достоверность, функциональную корректность и валидность задач.
- GUI-агент уровня Qwen 4B, обученный с RL в WebHarbor, по заявлению авторов, обобщается на новые задачи и сопоставим с ведущими открытыми веб-агентами на четырёх бенчмарках.
- Код и данные открыты: github.com/aiming-lab/WebHarbor.
Почему это важно
Веб-агентам нужна стабильная среда: на живых сайтах контент меняется, доступ ограничен, а сценарии после входа в аккаунт покрываются слабо. Синтетические среды, по мнению авторов, часто упрощены. WebHarbor пытается закрыть обе проблемы сразу, одним набором для воспроизводимой оценки и для обучения с подкреплением.
Кому это важно
Исследователям и разработчикам GUI-агентов, которым нужны воспроизводимые бенчмарки и среда для RL-обучения без обращения к живым сайтам. Также тем, кто сравнивает небольшие открытые модели в роли веб-агентов.
Как это применить
Код и данные опубликованы в репозитории aiming-lab/WebHarbor на GitHub. Среды запускаются в Docker, поэтому их можно использовать как локальный полигон для оценки агентов и для обучения с подкреплением. Условия лицензии и требования к ресурсам в тексте источника не указаны.
Можно ли доверять
Это аннотация научной работы: все утверждения принадлежат авторам и в тексте не подкреплены цифрами. Названия бенчмарков и конкретные результаты не приведены, формулировка «сопоставимо с ведущими открытыми агентами» не количественная и не означает превосходства. Прежде чем опираться на выводы, стоит свериться с полным текстом работы и репозиторием.
Риски и подводные камни
Синтетические копии лишь воспроизводят реальные сайты, и перенос навыков на живые сервисы нужно проверять отдельно. Заявление об экономичности RL в источнике не подкреплено данными о затратах. Не указано, какой алгоритм RL и какая именно версия Qwen использованы.