SoftwareGym синтезировал 182 приложения для обучения агентов, управляющих компьютером
В статье представлен SoftwareGym, автоматический конвейер, который синтезирует программные среды с графическим интерфейсом (GUI) для обучения агентов, управляющих компьютером (computer-use agents, CUA). Исходная проблема, по описанию авторов, в том, что создавать разнообразные и надёжные среды в большом масштабе по-прежнему трудно. Нативные приложения требуют значительных затрат на построение и интеграцию, что ограничивает охват приложений и повышает риск переобучения под конкретное приложение. Среды, размещённые в браузере, дают ограниченную глубину взаимодействия и сложность сценариев.
SoftwareGym генерирует структурно разнообразные проекты приложений, воплощает их в запускаемые программы и с помощью проверки через GUI и итеративного исправления обеспечивает функциональную надёжность. С его помощью авторы синтезировали 182 приложения в двенадцати категориях; средняя доля успешно пройденных GUI-задач в них составила 91,5%.
Кроме того, авторы построили SoftwareGym-Bench, набор из 120 задач в тех же двенадцати категориях, а траектории, собранные в синтезированных средах, использовали для обучения CUA. Итоговая модель повышает Pass@3 на бенчмарке OSWorld с 41,39% до 56,97% (разница, 15,58 процентного пункта); OSWorld авторы называют строго внешним по отношению к обучающим средам (out-of-domain). На SoftwareGym-Bench модель показывает 40,0%. Вывод авторов: результаты демонстрируют потенциал синтезированных программных сред как масштабируемого и переносимого обучающего сигнала для CUA.
Ключевые факты
- SoftwareGym, автоматический конвейер: генерирует разнообразные проекты приложений, воплощает их в запускаемые программы и чинит через GUI-проверку и итеративное исправление.
- Синтезировано 182 приложения в двенадцати категориях; средняя доля успешно пройденных GUI-задач, 91,5%.
- Построен набор SoftwareGym-Bench из 120 задач в тех же двенадцати категориях.
- Модель, обученная на траекториях из этих сред, повышает Pass@3 на OSWorld с 41,39% до 56,97% и показывает 40,0% на SoftwareGym-Bench.
- Авторы говорят о «потенциале» синтезированных сред как масштабируемого и переносимого обучающего сигнала, а не о доказанном решении.
Почему это важно
Агенты, управляющие компьютером через интерфейс, упираются в нехватку сред для обучения: авторы пишут, что нативные приложения дороги в построении и интеграции и повышают риск переобучения под конкретное приложение, а браузерные среды слишком просты по глубине взаимодействия. SoftwareGym предлагает другой путь, не подключать готовые программы, а синтезировать их автоматически и проверять работоспособность через GUI. Рост Pass@3 на OSWorld с 41,39% до 56,97% на бенчмарке, который авторы называют строго внешним, заявленный сигнал того, что навыки переносятся за пределы синтетических приложений.
Кому это важно
Исследователям и командам, которые обучают агентов, работающих с графическим интерфейсом, и строят для них среды и бенчмарки. Читателям, следящим за OSWorld, тоже полезно: статья показывает один из подходов к тому, откуда брать обучающие траектории.
Как это применить
Из аннотации нельзя вынести готовый рецепт воспроизведения. В ней не названы базовая модель, метод обучения (дообучение на примерах, обучение с подкреплением и т. д.), число траекторий и затраты на вычисления; о публикации кода, данных или модели не сказано. Переносимой остаётся сама схема из трёх шагов: сгенерировать структурно разнообразные проекты приложений, реализовать их как запускаемые программы, прогнать GUI-проверку с итеративным исправлением.
Можно ли доверять
Все цифры взяты из аннотации статьи и представляют собой заявления самих авторов. В аннотации не названы авторы и организации, не указаны категории приложений и метрика для результата 40,0% на SoftwareGym-Bench. Неизвестно также, считалась ли доля 91,5% по всем 182 приложениям или по их части. Сама формулировка вывода осторожная, «потенциал».
Риски и подводные камни
Заявленный результат, одно сравнение на одном внешнем бенчмарке (OSWorld, Pass@3); сравнений с другими методами синтеза сред или с другими агентами на OSWorld в аннотации нет. Для 40,0% на SoftwareGym-Bench не указаны ни метрика, ни базовый уровень, так что оценить этот результат нельзя. Бенчмарк SoftwareGym-Bench построен в тех же категориях, что и обучающие среды, поэтому он измеряет скорее знакомую область, а проверкой переносимости служит именно OSWorld.
«Эти результаты демонстрируют потенциал синтезированных программных сред как масштабируемого и переносимого обучающего сигнала (supervision) для обучения CUA.»
— из аннотации статьи SoftwareGym