Hybrid Computer Use: агент сам выбирает код, AX или экран

Авторы статьи исходят из того, что агенты, управляющие компьютером, берутся за всё более разные задачи: от повседневных действий на рабочем столе до длинных профессиональных сценариев. При этом интерфейсы, построенные вокруг скриншотов и действий мышью и клавиатурой, по их словам, навязывают агенту «человеческую» привычку взаимодействия: приходится снова и снова разбирать экран, а семантические и программные возможности компьютера остаются недоиспользованными. Авторы выступают за то, чтобы открыть эти возможности и дать моделям самим выбирать и сочетать их.

Для этого они предлагают Hybrid Computer Use (HCU), единый интерфейс для универсальных агентов, объединяющий три взаимодополняющих канала: программное взаимодействие через код и инструменты командной строки, семантическое взаимодействие через средства доступности (accessibility, AX) и визуальное взаимодействие через графический интерфейс (GUI).

Среди технических деталей: HCU поддерживает эффективную работу через AX и защищает от действий по устаревшему состоянию при переключении между каналами. Отдельный вспомогательный навык (skill) HCU подсказывает агентам, как выбирать каналы и согласовывать их использование. Инструменты AX возвращают компактные наблюдения, выполняют действия пакетами и сообщают об их эффекте в виде разностей AX (AX diffs), поэтому модели требуется меньше обращений туда-обратно.

Результаты: на OSWorld 2.0 HCU, как сообщают авторы, показывает наивысшие оценки Partial (частичные) и Binary (бинарные) среди сравниваемых систем. Анализ траекторий агентов показал, что все оценённые модели с HCU улучшаются, хотя распределяют работу между каналами по-разному; по тексту аннотации, они стабильно превосходят сравниваемые базовые решения и по эффективности, и по успешности выполнения задач. Авторы делают вывод о ценности единых интерфейсов с гибким выбором и сочетанием каналов.

Ключевые факты

HCU (Hybrid Computer Use) объединяет три канала управления компьютером: код и командную строку, доступность (AX) и графический интерфейс (GUI); модель сама выбирает и комбинирует их.
Исходная мысль авторов: интерфейсы на скриншотах и мыши с клавиатурой навязывают «человеческую» манеру работы и оставляют семантические и программные возможности компьютера недоиспользованными.
Инструменты AX возвращают компактные наблюдения, выполняют действия пакетами и показывают эффект как AX diffs, из-за чего нужно меньше обращений к модели; есть защита от действий по устаревшему состоянию при смене канала.
На OSWorld 2.0 HCU, по заявлению авторов, получил наивысшие Partial и Binary оценки среди сравниваемых систем.
Анализ траекторий: все оценённые модели улучшаются с HCU, но по-разному распределяют работу между каналами.

Почему это важно

Большинство агентов для управления компьютером опирается на скриншоты и эмуляцию мыши и клавиатуры. Авторы утверждают, что такой подход заставляет постоянно заново интерпретировать экран и не использует программные и семантические возможности системы. HCU предлагает другой вектор: не выбирать один способ управления за агента, а дать ему три канала и позволить комбинировать их под задачу. Если результат на OSWorld 2.0 подтвердится независимо, это аргумент в пользу единых гибридных интерфейсов вместо чисто визуальных.

Кому это важно

Разработчикам и исследователям агентов, управляющих компьютером, особенно тем, кто строит интерфейсы между моделью и операционной системой. Также статья интересна тем, кто оценивает агентов на OSWorld 2.0 и сравнивает подходы «через экран» и «через код и AX».

Как это применить

Из аннотации следует практическая идея: давать агенту сразу код и командную строку, дерево доступности и визуальный канал, а не только скриншоты. Конкретные приёмы, названные авторами: компактные наблюдения AX, пакетное выполнение действий, отчёт об изменениях в виде AX diffs, проверка на устаревшее состояние при переключении каналов и вспомогательный навык, который учит агента выбирать каналы. Выложены ли код или веса и какие операционные системы поддерживает AX-часть, в аннотации не сказано, поэтому воспроизводимость по этому тексту оценить нельзя.

Можно ли доверять

Это научная статья на странице Hugging Face Papers; пересказ сделан по её аннотации, а все утверждения о превосходстве принадлежат самим авторам. Числовых значений оценок Partial и Binary, названий оценённых моделей и сравниваемых систем, а также величины сокращения числа шагов или обращений в аннотации нет, поэтому масштаб преимущества проверить по ней нельзя. Авторы и организации в тексте также не названы. Независимых подтверждений в источнике нет.

Риски и подводные камни

Заявление «наивысшие оценки среди сравниваемых систем» ограничено набором сравнения, который авторы не раскрывают в аннотации, так что общего превосходства из него не следует. Ещё один момент: HCU опирается на AX-инструменты, а сведений о поддерживаемых системах в источнике нет. Кроме того, авторы сами отмечают, что модели распределяют работу между каналами по-разному, то есть эффект зависит от конкретной модели, а выбор канала нужно направлять вспомогательным навыком.

«Мы выступаем за то, чтобы открыть эти возможности и дать моделям выбирать и комбинировать их.»

— авторы статьи о Hybrid Computer Use