ИИтог

Представлен OS-Helix: агент сочетает клики и код, 66,44% на OSWorld-Verified

ИИ-агентыРедакция ИИтогHugging Face🔥55Рейтинг ИИтог55Влияние45Новизна60Релевантность100Неожиданность30Участники10Достоверность70
Представлен OS-Helix: агент сочетает клики и код, 66,44% на OSWorld-Verified

Авторы препринта исходят из того, что реальная автоматизация рабочего стола не бывает ни чисто визуальной, ни чисто программной: агенту нужно понимать пользовательские интерфейсы и при этом эффективно работать с файлами, скриптами и состоянием системы. По их словам, нативную координацию интерфейса и кода нельзя получить простой сборкой инструментов на уровне промптов: в предварительных экспериментах наивное добавление инструмента для кода ухудшало агента, работающего через графический интерфейс. Отсюда вывод авторов: выбор между «кликать» и «писать код» должен быть усвоен в ходе обучения на качественных гибридных данных.

OS-Helix, обученный сквозным образом мультимодальный агент для управления компьютером, который объединяет действия в графическом интерфейсе (GUI) и выполнение кода в одном пространстве действий. Для создания обучающих данных авторы предлагают два приёма. Первый, «композиция приложений и артефактов»: настольные приложения сочетаются с реальными файловыми артефактами, чтобы получать исполняемые состояния Ubuntu. Второй, раздельный конвейер генерации инструкций и проверяющих функций (evaluator), который порождает привязанные к среде задачи; конечное состояние в них можно проверить независимо от того, как задача решена, кликами или кодом.

Обучение идёт в два этапа. Сначала политику «холодно запускают» с помощью SFT (дообучения с учителем) на отфильтрованных гибридных данных, затем улучшают онлайн-обучением с подкреплением (RL) в живых настольных средах. Для RL авторы предлагают метод Step-balanced GSPO: он агрегирует веса важности по шагам действий, а не по сырым токенам ассистента, чтобы длинные фрагменты кода не доминировали при оптимизации разнородных действий.

Результаты на бенчмарке OSWorld-Verified: OS-Helix-27B и OS-Helix-35B-A3B дают относительный прирост 35,0% и 33,7% по сравнению с соответствующими гибридными базовыми моделями на основе Qwen3.5. Версия OS-Helix-27B-RL, по формулировке авторов, «дополнительно улучшается на 42,9%» и достигает 66,44% успешных решений. Абляции (отключение отдельных компонентов), по словам авторов, согласуются с вкладом обученной координации GUI и кода, масштабируемой проверяемой разметки и пошагово сбалансированной оптимизации, а также показывают перенос на другую платформу, WindowsAgentArena. Страница проекта: https://os-copilot.github.io/OS-Helix/.

Ключевые факты

  • OS-Helix, сквозно обученный мультимодальный агент для управления компьютером, где действия в интерфейсе и запуск кода находятся в одном пространстве действий.
  • По предварительным экспериментам авторов, простое добавление инструмента для кода ухудшает GUI-агента; координацию нужно усваивать обучением на гибридных данных.
  • Данные строятся через сочетание приложений с реальными файловыми артефактами (исполняемые состояния Ubuntu) и конвейер задач с проверяемым конечным состоянием независимо от способа решения.
  • Обучение: SFT на отфильтрованных гибридных данных, затем онлайн-RL в живых средах с предложенным методом Step-balanced GSPO (веса важности по шагам, а не по токенам).
  • На OSWorld-Verified: относительный прирост 35,0% (27B) и 33,7% (35B-A3B) над гибридными базами Qwen3.5; OS-Helix-27B-RL достигает 66,44% успеха.

Почему это важно

Агенты, управляющие компьютером, обычно либо работают через интерфейс, либо вызывают код. Работа утверждает, что простое объединение этих возможностей промптами не срабатывает и даже вредит, а нужна совместная тренировка. Если выводы авторов подтвердятся, это аргумент в пользу того, что выбор между интерфейсом и кодом стоит закладывать в саму модель. Новизна заявлена в трёх вещах: способ построения данных, единое пространство действий и вариант RL-оптимизации Step-balanced GSPO.

Кому это важно

Исследователям и разработчикам агентов для управления компьютером, особенно тем, кто работает с OSWorld и обучением с подкреплением в живых средах. Также работа будет интересна тем, кто собирает обучающие данные для агентов и ищет способы проверять результат независимо от пути решения.

Как это применить

Прямого практического применения в тексте не описано. Можно изучить подход к построению данных (приложения плюс реальные файлы, проверяемые конечные состояния) и идею усреднения весов важности по шагам действий. Подробности и материалы проекта стоит искать на его странице https://os-copilot.github.io/OS-Helix/. Сведений о выпуске весов или кода, а также о лицензии в тексте нет.

Можно ли доверять

Это препринт на странице Hugging Face; результаты приведены самими авторами, независимой проверки в тексте нет. Сами авторы формулируют вывод осторожно: абляции дают «свидетельства, согласующиеся» с вкладом компонентов, а не доказательство. Из текста нельзя восстановить абсолютные показатели базовых моделей и версий до RL, поэтому масштаб прироста оценить трудно. Цифра 42,9% приведена без указания точки отсчёта и без пометки, относительная она или абсолютная. Чисел по WindowsAgentArena нет, сравнений с другими опубликованными агентами тоже нет.

Риски и подводные камни

Относительные проценты (35,0% и 33,7%) не равны приросту в процентных пунктах и без абсолютных значений базовых моделей плохо интерпретируются. Сравнение дано только с собственными гибридными базами на Qwen3.5. Тезис о том, что маршрутизацию GUI и кода нельзя получить на уровне промптов, опирается на предварительные эксперименты авторов. Данных о стоимости обучения, объёме данных и воспроизводимости в тексте нет.