ИИтог

MAI-Gym: открытая платформа для обучения и оценки GUI-агентов, модель 9B

ИИ-агентыРедакция ИИтогHugging Face🔥56Рейтинг ИИтог56Влияние50Новизна60Релевантность100Неожиданность30Участники10Достоверность75
MAI-Gym: открытая платформа для обучения и оценки GUI-агентов, модель 9B

В статье представлена MAI-Gym, открытая универсальная платформа, которая объединяет оценку GUI-агентов (агентов, работающих с графическим интерфейсом), сбор данных и онлайн-обучение с подкреплением (RL) в мобильных, компьютерных и веб-средах. Исходная проблема, по словам авторов: онлайн-RL с проверяемыми наградами уже дал быстрый прогресс в математике, программировании и использовании инструментов, но для GUI-агентов его трудно масштабировать из-за высокой стоимости интерактивных сред и нехватки реалистичных обучающих задач.

Платформа построена на общем конвейере прогонов (rollout), благодаря которому поведение агента одинаково при оценке и при обучении. MAI-Gym поддерживает десять признанных бенчмарков и масштабируется до 20 000 параллельных экземпляров сред. Помимо инфраструктуры, она позволяет автоматически синтезировать разнообразные GUI-приложения и сложные задачи: в том числе приложения-имитации, которые можно сбрасывать в исходное состояние, и связные «миры» из нескольких приложений с проверяющими задачи модулями, прошедшими проверку выполнением.

На этой платформе авторы обучили MAI-Gym-9B, единого агента на 9 млрд параметров для мобильных и компьютерных сред. По их заявлению, он показывает лучший результат среди открытых GUI-агентов до 10 млрд параметров: 78,4% на MobileWorld и 76,2% на OSWorld-Verified. Какая именно метрика стоит за этими процентами, в тексте не названо.

Отдельно авторы подчёркивают перенос навыков из имитации в реальность: RL в имитации приложения для покупки железнодорожных билетов улучшил долю успешных задач в реальном аналоге на физическом телефоне с 28,8% до 48,1%. Авторы публикуют фреймворк, навыки синтеза, приложения-имитации, 2000 проверенных задач и чекпойнт модели, чтобы поддержать воспроизводимые исследования.

Ключевые факты

  • MAI-Gym, открытая платформа, объединяющая оценку GUI-агентов, сбор данных и онлайн-RL для мобильных, компьютерных и веб-сред; поддерживает десять бенчмарков и до 20 000 параллельных сред.
  • Общий конвейер прогонов обеспечивает одинаковое поведение агента при оценке и обучении; есть автоматический синтез приложений-имитаций и задач с проверяемыми результатами.
  • MAI-Gym-9B (9 млрд параметров) заявлен лучшим среди открытых GUI-агентов до 10 млрд: 78,4% на MobileWorld и 76,2% на OSWorld-Verified.
  • RL в имитации приложения для покупки ж/д билетов поднял успех на физическом телефоне в реальном приложении с 28,8% до 48,1%.
  • Публикуются фреймворк, навыки синтеза, приложения-имитации, 2000 проверенных задач и чекпойнт модели.

Почему это важно

Обучение с подкреплением на проверяемых наградах хорошо работает в математике и коде, но для агентов, управляющих интерфейсами, его сдерживают дорогие интерактивные среды и нехватка реалистичных задач. MAI-Gym пытается закрыть обе проблемы одной платформой: масштабируемой инфраструктурой и автоматическим синтезом приложений и задач. Особенно примечателен заявленный перенос из имитации в реальное приложение: рост успеха с 28,8% до 48,1% на физическом телефоне.

Кому это важно

Исследователям и командам, которые строят GUI-агентов для телефона и компьютера и обучают их с подкреплением. Также тем, кому нужна единая среда для сравнения агентов на нескольких бенчмарках и воспроизводимых экспериментов, в том числе при ограниченном бюджете на модели до 10 млрд параметров.

Как это применить

Авторы заявляют о выпуске фреймворка, навыков синтеза, приложений-имитаций, 2000 проверенных задач и чекпойнта MAI-Gym-9B. Практически это значит: можно прогонять собственного агента на поддерживаемых бенчмарках, обучать его в сбрасываемых имитациях приложений и сравнивать с опубликованной моделью. Условия лицензии и ссылки на репозиторий в тексте аннотации не указаны, так что их нужно искать на странице статьи.

Можно ли доверять

Все результаты, заявления самих авторов в аннотации; независимой проверки в тексте нет. Не названа метрика для 78,4% и 76,2%, не приведены оценки конкурирующих моделей, поэтому масштаб превосходства оценить нельзя. Статус «лучший» относится только к классу открытых GUI-агентов до 10 млрд параметров. Авторы и организации в аннотации не указаны.

Риски и подводные камни

Результат переноса 28,8% → 48,1% получен на одном реальном приложении (покупка ж/д билетов) на физическом телефоне; число прогонов и устройств не указано, и не сказано, что выигрыш распространяется на другие приложения. Не указаны затраты на обучение и вычислительные ресурсы, а также то, какие именно десять бенчмарков поддерживаются. Поэтому воспроизводимость и стоимость такого обучения пока неясны.