LEASH: слабый ИИ-агент зовёт сильного только при неуверенности
Агенты, управляющие компьютером, всё чаще берутся за длинные задачи. Гонять передовую модель на каждом шаге дорого, а небольшая модель с открытыми весами в одиночку часто проваливается. Компромисс, эскалация «от слабого к сильному»: слабый агент действует по умолчанию и передаёт управление сильному, только когда это необходимо. Главная трудность, решить, когда передавать: нужен сигнал неопределённости, достаточно дешёвый, чтобы проверять его на каждом шаге. Вторая трудность: и после передачи сильный агент может сбиться с пути, а закрытый API, через который он обычно доступен, не показывает внутренностей для наблюдения.
Авторы предлагают LEASH, фреймворк без дообучения, который «спускает с поводка» сильного агента лишь тогда, когда скрытая неопределённость слабого агента указывает на необходимость, и затем держит его на поводке. У LEASH три слоя: (1) начальная неопределённость задачи для раннего выбора маршрута, (2) пошаговая неопределённость для эскалации прямо во время выполнения и (3) «теневой наблюдатель», который после передачи управления продолжает следить за сильным агентом за закрытым API.
Во всех трёх слоях топливом служит скрытая неопределённость. Скрытые состояния слабой модели сравнивают с состояниями из её прошлых удачных и неудачных траекторий: чем больше текущее состояние похоже на неудачные, тем выше неопределённость. Пока работает слабый агент, оценщик неопределённости использует активации, которые и так возникают при генерации действия, поэтому ему не нужны ни дополнительный прямой проход, ни отдельное обучение монитора.
Эксперименты проведены на OSWorld на четырёх современных базовых моделях. LEASH стабильно улучшает результат отдельных слабых агентов и обходит случайную эскалацию на 6,55-11,94 пункта при одинаковой доле эскалаций. С Qwen3.5-35B-A3B фреймворк показывает 73,66% успешных задач при $0,4117 за задачу, это на уровне агента, всегда использующего Claude Opus 5 (72,90%), при снижении стоимости вывода на 19,2%.
Ключевые факты
- LEASH, фреймворк без дообучения: слабый агент с открытыми весами действует сам и передаёт управление сильному агенту, только когда растёт его скрытая неопределённость.
- Три слоя: начальная неопределённость задачи для раннего выбора маршрута, пошаговая неопределённость для эскалации во время работы и теневой наблюдатель за сильным агентом после передачи.
- Неопределённость оценивается по сходству скрытых состояний слабой модели с состояниями из её прошлых неудачных траекторий; используются уже посчитанные активации, лишний прямой проход не нужен.
- На OSWorld на четырёх базовых моделях LEASH обходит случайную эскалацию на 6,55-11,94 пункта при той же доле эскалаций.
- С Qwen3.5-35B-A3B: 73,66% успеха при $0,4117 за задачу против 72,90% у всегда включённого Claude Opus 5, стоимость вывода ниже на 19,2%.
Почему это важно
Агенты для работы с компьютером упираются в стоимость: на длинных задачах передовая модель на каждом шаге обходится дорого, а маленькая модель часто не справляется. LEASH предлагает решать, когда звать сильную модель, по внутреннему сигналу слабой, и по заявлению авторов добивается результата на уровне всегда включённого Claude Opus 5 на OSWorld при меньших затратах.
Кому это важно
Командам, которые строят агентов, управляющих интерфейсом компьютера, и платят за вызовы дорогих моделей через закрытый API. Также исследователям, занимающимся маршрутизацией между моделями и оценкой неопределённости по скрытым состояниям.
Как это применить
Подход не требует дообучения и отдельного монитора: сигнал берётся из активаций слабой модели, которые уже возникают при генерации действий. Это значит, что слабая модель должна быть доступна с доступом к скрытым состояниям, а сильная может оставаться за закрытым API. Для оценки неопределённости нужны накопленные траектории слабой модели, удачные и неудачные.
Можно ли доверять
Это аннотация научной статьи: все цифры, заявления самих авторов, независимой проверки в тексте нет. Результат 73,66% против 72,90%, разница меньше процентного пункта, поэтому говорить стоит скорее о «сопоставимом» качестве. Заявленная экономия в 19,2% относится к конкретной связке с Qwen3.5-35B-A3B на одном бенчмарке OSWorld.
Риски и подводные камни
Преимущество показано на одном бенчмарке и в конкретной конфигурации; перенос на другие среды и модели требует проверки. Метод опирается на скрытые состояния слабой модели, то есть на модель, с внутренностями которой можно работать, а качество сигнала зависит от накопленных удачных и неудачных траекторий. Теневой наблюдатель следит за сильным агентом, у которого внутренностей не видно, поэтому его контроль косвенный.
«фреймворк без дообучения, который выпускает сильного агента только тогда, когда скрытая неопределённость слабого агента сигнализирует, что это нужно, и держит его на поводке после этого»
— Авторы статьи, аннотация