SpecAgent: слабая модель черновит шаги ИИ-агента, сильная проверяет

Агенты на больших языковых моделях решают задачи длинными цепочками вызовов инструментов, и обычно каждый шаг генерирует одна сильная модель, хотя многие шаги достаточно рутинны для модели намного меньшего размера. Существующие способы разделить работу оставляют сильную модель генератором: маршрутизаторы и коллаборативные агенты решают, какая модель обработает запрос или шаг, а спекулятивные методы проверяют черновики малой модели по одному шагу, как правило сверяя их с действием самой сильной модели.

В препринте предложен SpecAgent, протокол взаимодействия, который превращает сильную модель из автора каждого шага в рецензента шагов, набросанных слабой моделью. Слабая модель при составлении черновика выполняет только вызовы инструментов, не меняющие среду (read-only), поэтому каждый шаг опирается на реальные наблюдения; первое же действие, которое изменило бы среду, она придерживает. Затем сильная модель за один проход prefill (одновременной обработки уже готового текста, без пошаговой генерации) проверяет черновой отрезок, принимает самый длинный префикс, который считает семантически верным, и исправляет первый отвергнутый шаг. Поскольку проверка заменяет авторегрессионное декодирование параллельным prefill, сильная модель генерирует лишь короткие вердикты и изредка исправления, а не каждый шаг.

Результаты, приведённые в аннотации. На τ^2-Bench SpecAgent оказывается в пределах одного пункта от доли успешных решений сильной модели, при этом примерно вдвое снижая нагрузку на память (memory traffic) и реальное время выполнения. На AutomationBench и VitaBench метод восстанавливает 44-75% разрыва в качестве между слабой и сильной моделью и тоже снижает оба показателя. В сценарии «граница, облако» (edge-cloud) на MCP-Atlas с тремя облачными моделями он закрывает 53-75% разрыва между слабой и сильной моделью, а сильная модель генерирует не более половины токенов.

Вывод в формулировке работы: сильной модели, по-видимому, не нужно самой писать каждый шаг агента, проверка обоснованных черновиков сохраняет большую часть её качества и снижает и задержку, и нагрузку на память.

Ключевые факты

SpecAgent делает сильную модель рецензентом: шаги агента набрасывает слабая модель, а сильная проверяет черновой отрезок за один проход prefill, принимает самый длинный верный префикс и исправляет первый отвергнутый шаг.
Слабая модель выполняет только вызовы инструментов без изменения среды, так что черновик опирается на реальные наблюдения; первое действие, меняющее среду, она придерживает.
На τ^2-Bench успех в пределах одного пункта от сильной модели, а нагрузка на память и время работы снижены примерно вдвое.
На AutomationBench и VitaBench восстановлено 44-75% разрыва в качестве между слабой и сильной моделью.
В edge-cloud-сценарии на MCP-Atlas с тремя облачными моделями закрыто 53-75% разрыва, при этом сильная модель генерирует не более половины токенов.

Почему это важно

Обычная схема работы агента, одна сильная модель пишет каждый шаг, дорога и медленна, хотя многие шаги рутинны. Новизна подхода по описанию авторов в том, что сильная модель перестаёт быть генератором и становится проверяющим: в отличие от спекулятивных методов, которые сверяют черновик по одному шагу, а также маршрутизаторов и коллаборативных агентов, где генератором остаётся сильная модель. Если результаты подтвердятся, это способ сократить задержку и обращения к памяти, почти не теряя в качестве.

Кому это важно

Разработчикам и исследователям ИИ-агентов, которые упираются в стоимость и скорость длинных цепочек вызовов инструментов. Также тем, кто строит гибридные схемы, где небольшая модель работает на устройстве или на границе сети, а сильная, в облаке: именно такой сценарий проверен на MCP-Atlas.

Как это применить

Это исследовательский препринт с описанием протокола; о выпуске кода или моделей в тексте аннотации не сказано. Идею можно взять как схему: слабая модель набрасывает отрезок шагов, выполняя только неизменяющие вызовы инструментов, сильная проверяет отрезок целиком за один проход, принимает верный префикс и правит первый плохой шаг. Действия, меняющие среду, откладываются до проверки.

Можно ли доверять

Все цифры взяты из аннотации самой работы, это заявленные авторами результаты препринта. В тексте не названы конкретные сильные, слабые и облачные модели, не приведены абсолютные значения успешности, времени и нагрузки на память, только относительные, а диапазон 44-75% не разбит по бенчмаркам. База для оценки «не более половины токенов» тоже не уточнена. Вывод сформулирован осторожно («результаты позволяют предположить»). Независимого подтверждения в источнике нет.

Риски и подводные камни

Диапазоны вроде 44-75% и 53-75% широки, а для AutomationBench и VitaBench они не расписаны по отдельности, поэтому оценить стабильность выигрыша по одной аннотации трудно. Качество зависит от того, насколько сильная модель верно судит о семантической корректности черновика: что происходит при ошибочном принятии шага, в аннотации не раскрыто. Метод опирается на разделение вызовов на неизменяющие и изменяющие среду; насколько оно применимо к любым наборам инструментов, из текста не следует.