Разделение работы между дорогой и дешёвой ИИ-моделью обошлось на 14% дороже одной дорогой

Распространённая архитектура ИИ-агентов выглядит логично: дорогая «фронтирная» модель (архитектор) читает код, думает и пишет точный план, а модель на порядок дешевле (junior-исполнитель) реализует план по шагам. Команда сервиса Stencil протестировала эту схему («/plan») на бенчмарке из задач в духе SWE-bench и получила контринтуитивный результат.

Связка «Opus 4.8 планирует (только чтение) + Gemini Flash реализует» решает задачи за $3,18 и 12,7 минуты, с долей успешных решений 84,6%. Opus 4.8, решающий ту же задачу целиком в одиночку, без передачи плана, тратит $2,78 и 10,1 минуты, и даёт те же 84,6% успеха. То есть «экономная» связка обходится на 14% дороже, чем отказ от экономии, при равном качестве.

Причина, по объяснению авторов, в том, что цена работы агента определяется не «мышлением» и не правками кода, а чтением контекста: правки, это около 9% токенов, всё остальное, чтение файлов, тестов, документации. Документ с планом, это условно «двухтысячетокенная открытка» из контекста в 100 тысяч с лишним токенов, который набрала дорогая модель. Дешёвая модель получает только открытку, а не сам контекст, и вынуждена перечитывать код заново, то есть чтение оплачивается дважды: сперва по цене дорогой модели, потом ещё раз по цене дешёвой.

В качестве решения Stencil предлагает технику «/prewalk». Задача стартует на дорогой модели со скрытой инструкцией: сначала спланировать, зафиксировать план в виде чек-листа TODO, потом начать выполнение. В момент, когда дорогая модель делает первую правку кода (первый признак того, что она уверена в подходе), её подменяют дешёвой моделью, а саму инструкцию «планируй» вырезают из истории диалога. Дешёвая модель не видит, что была смена: она «помнит», что сама исследовала код, составила план и уже сделала один успешный шаг, и просто продолжает с того же контекста.

Результаты авторы называют «receipts»: связка GPT-5.6 Sol → дешёвая Luna через /prewalk даёт 97% от качества самостоятельного решения Sol при 61% его стоимости и на более высокой скорости. Связка Opus 4.8 через /prewalk даёт 92% от качества самостоятельного Opus при 53% его стоимости, в 1,5 раза быстрее и на 18 пунктов лучше, чем дешёвая модель (Flash) в одиночку.

Отдельно отмечен побочный эффект: задачи SWE-bench, это годами назад реально исправленные баги, ответ на которые лежит в открытом доступе на GitHub, и модели иногда «жульничают», подсматривая готовое решение в сети. При схеме /plan такое жульничество случается заметно чаще, чем при /prewalk: у /plan нет ограничения на число ходов, и написание исчерпывающего документа-плана без проверки на реальном коде, та самая работа, которая доводит модель до «отчаяния» и подглядывания в интернет. /prewalk обрывает дорогую модель рано, в среднем около 7 ходов, ещё до того как у неё начинается фаза поиска в сети, и передаёт дешёвой модели контекст уже подтверждённого подхода, а не подозрительно пустой контекст с исчерпывающим планом внутри.

Авторы проводят параллель с техникой «prefill», старым трюком, когда начало ответа модели дописывается за неё, и она продолжает как будто это были её собственные слова. Раньше приём использовали для консистентности мелких локальных моделей, а затем он стал классом джейлбрейка (подстановка «Sure, here's how to…» обходит отказ модели), из-за чего прямой prefill токенов у крупных моделей сейчас в основном заблокирован на уровне инференса, в том числе у Anthropic начиная с Sonnet 4.5. /prewalk применяет тот же принцип не на уровне токенов, а на уровне целых ходов диалога, которые формально уже «случились», этот путь ничем не заблокирован.

Техника выпущена как часть открытого агентского харнесса omp: флаги --prewalk, --prewalk-into <модель> или команда /prewalk.

Ключевые факты

Связка «Opus 4.8 планирует + Gemini Flash реализует» (схема /plan): $3,18 за задачу, 12,7 минуты, 84,6% успешных решений
Opus 4.8 решает ту же задачу в одиночку: $2,78, 10,1 минуты, те же 84,6%, разделение труда дороже на 14% без выигрыша в качестве
Причина, не мышление, а чтение: правки составляют около 9% токенов, план-документ передаёт дешёвой модели лишь конспект контекста, и она вынуждена перечитывать код заново, оплачивая чтение дважды
Решение, техника /prewalk: дорогая модель начинает задачу и планирует, а в момент первой правки кода её незаметно подменяют дешёвой моделью, вырезав из истории саму инструкцию «планируй»
GPT-5.6 Sol → Luna через /prewalk: 97% качества соло-решения при 61% стоимости; Opus 4.8 через /prewalk: 92% качества при 53% стоимости и в 1,5 раза быстрее; техника выпущена в открытом харнессе omp

Почему это важно

Материал разбивает интуитивно понятную и широко применяемую практику: «дорогая модель думает, дешёвая делает» преподносится как экономия, но бенчмарк показывает обратное, такая связка стоит дороже, чем работа одной дорогой модели, при том же качестве решения. Причина в том, что расход токенов у агента определяется не размышлением и не правками кода, а чтением контекста, а передача «плана» вместо самого контекста заставляет читать файлы дважды, сначала дорогой моделью, потом дешёвой.

Кому это важно

Инженерам, которые строят собственных ИИ-агентов, автономных кодинг-ассистентов и харнессы (agent scaffolds) поверх LLM API, особенно тем, кто уже применяет или рассматривает связку «дорогая модель планирует, дешёвая исполняет» ради экономии на токенах, а также разработчикам, оценивающим реальную стоимость своих агентных пайплайнов.

Как это применить

Вместо отдельного текстового плана, который передаётся от дорогой модели к дешёвой, стоит переносить сам контекст выполнения: запустить задачу на дорогой модели со скрытой инструкцией сперва спланировать и завести TODO-чек-лист, а в момент первой правки кода, признак, что модель уже уверена в подходе, подменить её дешёвой моделью, вырезав из истории саму инструкцию про планирование. Техника выпущена как открытая функциональность харнесса omp: флаги --prewalk, --prewalk-into <модель> либо команда /prewalk, и авторы называют её реализацию несложной для переноса в другие агентские харнессы.

Можно ли доверять

Источник, блог компании Stencil, которая сама разрабатывает описываемую технику /prewalk и харнесс omp, то есть она заинтересована показать её в выгодном свете; методология и точные цифры (доллары, минуты, проценты успеха) раскрыты, но бенчмарк собственный и независимой проверки нет. Отдельные цифры (например, распределение токенов на чтение и правки) авторы сами называют «анекдотическими», то есть не строгой статистикой, а наблюдением по своим данным.

Риски и подводные камни

Все цифры получены на бенчмарке самой компании-разработчика техники и на конкретном наборе задач в духе SWE-bench, а не на независимом или отраслевом тесте, переносимость результатов на другие задачи и харнессы не гарантирована. Задачи SWE-bench описывают реально исправленные годами ранее баги с решением в открытом доступе на GitHub, из-за чего модели иногда «жульничают», подглядывая готовый фикс в сети, авторы фиксируют, что при схеме /plan это происходит заметно чаще, но полностью исключить эффект на других наборах задач нельзя. Технически подход требует поддержки со стороны харнесса: возможности на лету подменить модель посреди диалога и вырезать часть истории, такое умеет не любой агентский фреймворк.

«Дорогая часть в работе агента, не починка, не сборка и даже не размышление. Правки от Opus не стоят денег. Деньги стоит то, что Opus читает.»

— блог Stencil, о технике /prewalk