8B-агент для iOS-приложений, обученный онлайн, сравнялся с Gemini-3.1-Pro
Авторы препринта исходят из двух проблем. Передовые мультимодальные модели (работающие с текстом и изображением) хорошо справляются с навигацией по пользовательскому интерфейсу, но их высокая стоимость вывода мешает повседневному использованию. Малые модели, обученные с учителем (SFT) или офлайн-обучением с подкреплением, по словам авторов, часто запоминают статичные траектории: исполнение получается хрупким, а после ошибки агент не умеет восстановиться.
В ответ предложена система онлайн-обучения с подкреплением, которая тренирует агентов навигации по интерфейсу прямо на живых iOS-приложениях. Агент разделён на два специализированных компонента: агента-планировщика (Planning agent) и модель привязки к элементам интерфейса (UI Grounding model).
Награды выдаёт языковая модель в роли судьи (LLM-as-a-Judge). Сигнал двойной: плотная пошаговая обратная связь оценивает промежуточный прогресс, а итоговая награда, выполнение задачи в целом. Чтобы использовать обе награды, агента оптимизируют методом PPO (Proximal Policy Optimization) с пошаговой оценкой преимущества (advantage).
Отдельный вклад, метод GiGPPO. Это новая оценка ценности состояний с учётом «соседей»: она повышает стабильность критика (модели, оценивающей ценность состояний), используя сигналы награды от визуально похожих состояний в параллельных траекториях. Чтобы обучение в режиме онлайн работало в масштабе, авторы создали инфраструктуру, которая управляет сотнями одновременно работающих виртуальных iOS-устройств.
Оценка проводилась на бенчмарках UINavBench, iOSWorld и AndroidWorld. По утверждению авторов, обученные онлайн агенты заметно превосходят и базовые модели с SFT, и модели с RL только по итоговой награде, а обучение сходится быстрее. Для 8B-агентов отмечено «почти семикратное» улучшение относительно SFT-базы в обобщении за пределы обучающего распределения, на среде Android. На реальных iOS-приложениях эти агенты, как утверждается, превосходят Gemini-3.5-Flash и делят результат с Gemini-3.1-Pro.
Ключевые факты
- Агентов навигации по интерфейсу обучают с подкреплением онлайн, прямо на живых iOS-приложениях, а не на статичных траекториях.
- Агент разделён на планировщика (Planning agent) и модель привязки к элементам интерфейса (UI Grounding model); награды даёт языковая модель-судья: пошаговые плюс итоговая.
- Новый метод GiGPPO стабилизирует критика за счёт наград от визуально похожих состояний в параллельных траекториях; инфраструктура управляет сотнями виртуальных iOS-устройств.
- По заявлению авторов, 8B-агенты почти в семь раз улучшили результат относительно SFT-базы при обобщении на Android и на реальных iOS-приложениях обходят Gemini-3.5-Flash, а с Gemini-3.1-Pro сравниваются.
Почему это важно
Агенты, которые сами работают с экраном смартфона, упираются в цену: передовые модели справляются, но дороги в повседневном использовании. Работа предлагает путь к небольшой 8B-модели, которая на реальных iOS-приложениях, по заявлению авторов, не уступает Gemini-3.1-Pro и обходит Gemini-3.5-Flash. Второй акцент, обучение не по записанным траекториям, а в живой среде, где агент учится исправлять собственные ошибки.
Кому это важно
Исследователям и инженерам, которые строят агентов для управления мобильными интерфейсами и автоматизации тестирования приложений. Также тем, кто занимается обучением с подкреплением в «живых» средах: интересны метод GiGPPO для стабилизации критика и инфраструктура с сотнями параллельных виртуальных устройств.
Как это применить
Из аннотации следует схема, которую можно воспроизводить: разделить агента на планировщика и модель привязки к элементам интерфейса, использовать языковую модель-судью для пошаговой и итоговой наград, обучать методом PPO с пошаговой оценкой преимущества. Практически применить это сейчас сложно: о публикации кода, моделей или данных в источнике ничего не сказано, а для воспроизведения нужна платформа с сотнями виртуальных iOS-устройств.
Можно ли доверять
Это препринт, и все результаты в тексте, заявления самих авторов; независимой проверки в источнике нет. Абсолютные показатели успешности на UINavBench, iOSWorld и AndroidWorld не приведены, есть только относительное «почти семикратное» улучшение. Авторы и организации в тексте не названы. Сравнение с Gemini приведено без деталей протокола, поэтому цифры стоит проверять по полному тексту статьи.
Риски и подводные камни
Семикратный прирост относится к обобщению на Android за пределы обучающего распределения, а не к качеству на iOS, и считается относительно SFT-базы: без её абсолютного значения размер выигрыша неизвестен. Формулировка про Gemini-3.1-Pro, «ничья», а не превосходство. Награды выдаёт языковая модель-судья, поэтому качество обучения зависит от её оценок. Данных о стоимости обучения и вывода нет, хотя именно цена вывода заявлена как мотивация работы.