KnowAct-GUIClaw обошёл GPT-5.5 в тесте на управление смартфоном
Фреймворк OpenClaw считается одним из ведущих для автоматизации сложных задач через ИИ-агентов, но у него две слабости: плохая поддержка взаимодействия с графическим интерфейсом (GUI) на разных платформах и отсутствие полноценного механизма самообучения. Из-за этого агент плохо приспосабливается к разным экосистемам устройств и не улучшается от собственного опыта выполнения задач. Авторы предлагают парадигму «Знать глубоко, действовать безупречно» (Know Deeply, Act Perfectly): накопленный опыт взаимодействия с пользователем и выполнения задач должен напрямую повышать точность и эффективность работы агента, объединяя понимание ситуации и само действие.
На основе этой идеи представлен KnowAct-GUIClaw, фреймворк с архитектурой «Знать-Маршрутизировать-Действовать-Осмыслить» (Know-Route-Act-Reflect), призванный устранить недостатки OpenClaw в работе с GUI и снять ограничения на кросс-платформенность и самоулучшение. Головной агент использует накопленный опыт и знания о задачах, чтобы разбивать длинные многошаговые задачи на части и распределять их (этап «Знать»). Отдельно работает подключаемый GUI-субагент: у него есть память, которая привязывает конкретный опыт к конкретным действиям (тоже «Знать»), и самообучающаяся библиотека навыков (этап «Действовать»), это позволяет ему быстро переноситься на новую платформу и наращивать умения без переобучения с нуля. Фреймворк постоянно сохраняет профили пользователей и обратную связь, чтобы точнее разбивать задачи и точнее вызывать инструменты.
Эксперименты на Android, iOS, HarmonyOS и Windows показали, что KnowAct-GUIClaw превосходит другие подходы по эффективности, точности и кросс-платформенной адаптивности. В паре с открытой моделью Kimi-2.6 фреймворк GUIClaw показал лучший результат, 64,1%, на тесте MobileWorld для длинных многошаговых задач, обойдя все остальные агентные фреймворки и даже закрытые модели вроде Seed-2.0-Pro и GPT-5.5. Кроме того, память и навыки, накопленные фреймворком, переносятся между разными базовыми моделями: одна лишь замена модели на Kimi-2.6 дала прирост результата на 8,5%.
Ключевые факты
- Фреймворк KnowAct-GUIClaw построен на архитектуре Know-Route-Act-Reflect и решает две слабости фреймворка OpenClaw: плохую поддержку GUI на разных платформах и отсутствие самообучения
- Головной агент разбивает длинные задачи на шаги на основе накопленного опыта; подключаемый GUI-субагент хранит опыт в памяти и сам пополняет библиотеку навыков
- Протестирован на четырёх платформах, Android, iOS, HarmonyOS и Windows
- С открытой моделью Kimi-2.6 набрал 64,1% на бенчмарке MobileWorld для длинных задач, лучший результат среди всех фреймворков, включая закрытые модели GPT-5.5 и Seed-2.0-Pro
- Накопленные память и навыки переносимы на другие базовые модели: замена модели на Kimi-2.6 сама по себе дала прирост на 8,5%
Почему это важно
Существующие агентные фреймворки вроде OpenClaw умеют автоматизировать задачи, но плохо справляются с управлением интерфейсом на разных устройствах и не становятся лучше от собственного опыта. KnowAct-GUIClaw закрывает этот разрыв: сочетает разбиение задач на шаги с самообучающейся памятью и навыками, так что агент дорабатывается по мере использования и переносится между операционными системами без обучения с нуля.
Кому это важно
Разработчикам агентов для автоматизации GUI (RPA, помощники на телефоне и компьютере), командам, которые строят системы поверх OpenClaw, и исследователям, сравнивающим агентные фреймворки на задачах уровня MobileWorld.
Как это применить
Фреймворк не привязан к конкретной модели: авторы подключили к нему открытую Kimi-2.6, но в роли «мозга» GUI-субагента можно использовать и другую базовую модель, получив её самообучающуюся память и навыки. Работает на Android, iOS, HarmonyOS и Windows без переделки под каждую платформу отдельно.
Можно ли доверять
Это академическая препринт-работа с одним указанным автором (Yunxin Li), опубликованная на Hugging Face Papers; цифры результатов (64,1%, +8,5%) заявлены самими авторами, независимого рецензирования или воспроизведения результатов текст не упоминает. Оценка достоверности, умеренная (78 из 100).
Риски и подводные камни
Сравнение с закрытыми моделями (GPT-5.5, Seed-2.0-Pro) сделано самими авторами и может быть не вполне равноценным, версии моделей и условия доступа не раскрыты. Методика теста MobileWorld для длинных задач не описана подробно в доступном тексте. Отдельный вопрос, риски автономного самообучающегося GUI-агента, который сам действует на устройстве пользователя: как накапливаются и исправляются его ошибки, пока не разъяснено.