ECHOES: GUI-агент хранит историю текстом, а не скриншотами
Агенты, которые управляют графическими интерфейсами (GUI-агенты) и решают длинные задачи, обычно опираются на визуальную историю, чтобы помнить, что уже сделано. Но если хранить прошлые скриншоты, растёт число визуальных токенов и стоимость вывода. Текстовые пересказы истории дешевле, однако могут терять важную информацию о состоянии задачи и тем самым подрывать надёжность на длинной дистанции. Именно этот компромисс авторы препринта пытаются снять.
Предложенный метод называется ECHOES. Он использует информацию, доступную только на этапе обучения («привилегированную»), чтобы направлять сжатие текстовой истории и усиливать рассуждение на длинном горизонте. Агент работает в формате Compression-Think-Action (CTA, «сжатие, размышление, действие»): на каждом шаге он рекурсивно обновляет текстовое состояние истории, рассуждает и только потом действует.
Обучение построено на дистилляции в режиме on-policy (по собственным траекториям ученика). Та же самая модель, получив привилегированные входные данные в виде нескольких изображений, выступает учителем и даёт плотные пошаговые (на уровне токенов) подсказки по CTA-траекториям, которые сгенерировал ученик. Фреймворк OPD-RL, управляемый разрывом Perception-Memory Fidelity (PMF Gap, «верность восприятия и памяти»), динамически балансирует привилегированную дистилляцию и оптимизацию награды за выполнение задачи; периодическое обновление учителя поддерживает дальнейший прогресс.
Кроме метода, авторы вводят диагностический бенчмарк ECHOESBMK. Он составлен из реальных траекторий, на которых GUI-агенты ошибались, и одновременно проверяет визуальное восприятие и сохранение состояния между модальностями.
Эксперименты проведены на четырёх GUI-бенчмарках и на ECHOESBMK. Авторы сообщают о существенном росте качества выполнения задач и верности памяти. При развёртывании ECHOES не хранит исторические скриншоты, но, по словам авторов, достигает конкурентоспособных результатов при выгодном соотношении качества и стоимости вывода. Кроме того, заявлен положительный перенос без дообучения (zero-shot) на незнакомые задачи визуального планирования.
Ключевые факты
- Проблема: хранение прошлых скриншотов раздувает число визуальных токенов и стоимость вывода, а текстовые пересказы могут терять важные детали состояния задачи.
- ECHOES работает в формате Compression-Think-Action: на каждом шаге рекурсивно обновляет текстовое состояние истории, рассуждает и действует.
- Обучение: та же модель с привилегированными многокартиночными входами служит учителем и даёт плотную пошаговую дистилляцию on-policy; OPD-RL, ведомый PMF Gap, балансирует дистилляцию и награду за задачу.
- Новый диагностический бенчмарк ECHOESBMK собран из реальных неудачных траекторий GUI-агентов; эксперименты проведены на нём и на четырёх GUI-бенчмарках.
- При развёртывании скриншоты истории не хранятся; авторы заявляют конкурентоспособное качество, выгодное соотношение цены и качества и положительный zero-shot перенос на незнакомые задачи визуального планирования.
Почему это важно
Длинные задачи в интерфейсах, слабое место GUI-агентов: чем дольше сценарий, тем дороже хранить визуальную историю и тем выше риск потерять нужное состояние при сжатии в текст. ECHOES предлагает сохранять память в текстовой форме, но учить её сжатию с помощью учителя, который видит больше, чем ученик при развёртывании. Идея в том, чтобы получить экономию вывода без заметной потери надёжности.
Кому это важно
Исследователям и инженерам, которые строят агентов для работы с интерфейсами (веб, десктоп, мобильные приложения) и упираются в стоимость длинного контекста со скриншотами. Также тем, кто занимается дистилляцией и обучением с подкреплением для агентов, и авторам оценочных наборов: ECHOESBMK заявлен как диагностический бенчмарк на основе реальных сбоев.
Как это применить
Источник, только аннотация препринта: упоминаний о релизе кода или моделей в ней нет, поэтому прямо воспроизвести метод по этому тексту нельзя. Практически можно взять идеи: формат Compression-Think-Action с рекурсивно обновляемым текстовым состоянием истории; учителя с привилегированными многокартиночными входами; балансировку дистилляции и награды по метрике PMF Gap; сбор диагностического набора из реальных неудачных траекторий.
Можно ли доверять
Это препринт на arXiv, и все утверждения о результатах принадлежат самим авторам. В аннотации нет числовых результатов (точности, доли успеха, экономии токенов или стоимости), четыре GUI-бенчмарка не названы, а базовая модель и состав обучающих данных не указаны. Формулировка про выполнение задач, «конкурентоспособное качество», а не превосходство над всеми аналогами, и с чем именно идёт сравнение, не сказано. Независимой проверки результатов в источнике нет.
Риски и подводные камни
Авторы сами называют главный риск подхода: текстовые сводки могут терять критичную информацию о состоянии, и ECHOES борется с этим обучением, а не устраняет сам механизм потери. Метод требует двухролевой схемы обучения (учитель с привилегированными входами, ученик без них) и периодического обновления учителя, что усложняет конвейер. Заявленный положительный перенос на незнакомые задачи визуального планирования, лишь «положительный», без количественной оценки в источнике.
«Без хранения исторических скриншотов при развёртывании ECHOES достигает конкурентоспособных результатов при выгодном соотношении качества и стоимости вывода.»
— Аннотация препринта ECHOES на arXiv