Runta выпустила FrontierHarness Eval v1.1: лучшая обвязка агента зависит от модели

Компания Runta совместно с Baseten, на мощностях которой работали все пять моделей, опубликовала FrontierHarness Eval v1.1, бенчмарк обвязок для кодинг-агентов (harness, то есть программная оболочка, которая запускает модель в цикле агента: системный промпт, инструменты, управление контекстом). Объём: 22 конфигурации обвязок × 5 моделей × 62 терминальные задачи × 4 попытки, всего 27 280 запусков и 83 млрд токенов. Это в 76 раз больше версии v1.0, где обвязки сравнивали на одной модели, Kimi K3. «22 конфигурации» получаются из 18 обвязок: четыре профиля DeepSeek Harness с разными наборами инструментов и две версии OpenCode считаются отдельно.
Модели: GLM-5.3, GLM-5.3 Flash, DeepSeek V4.1 Flash 1017, Muse и Kimi-K3. Задачи, 62 терминальные, лимиты времени от 15 минут до 8 часов. Прогон шёл в фреймворке Harbor с настройками каждой обвязки по умолчанию (авторы считают, что так ближе к повседневному использованию), одной версией и одними настройками для всех моделей, при максимальном уровне рассуждения. Каждое испытание получало новую среду выполнения Runta, которая удалялась после завершения. Запуски, где аудит логов выявил «награждаемое жульничество» (reward hacking), обнулялись: таких было 216, из них 163, обращения к интернету за ответом.
Главный вывод: у каждой модели своя обвязка с лучшим соотношением цены и результата. «Лучшая по цене за прохождение», та, у которой самая низкая стоимость за успешно решённую задачу, если только другая обвязка не стоит не более чем на 30% дороже и не проходит задачи как минимум на 5 пунктов чаще. Победители: Codex CLI с GLM-5.3, Pi с GLM-5.3 Flash, ZCode с DeepSeek V4.1 Flash 1017, Oh My Pi с Muse, Alma с Kimi-K3. Правило, например, выбрало ZCode вместо OpenCode v1 на DeepSeek (на 25% дороже, на 7,7 пункта выше доля прохождения) и Alma вместо Oh My Pi на Kimi-K3 (на 9% дороже, на 6,5 пункта выше).
По стоимости за задачу места сильно перемешиваются между моделями: медианная обвязка сдвинулась на 11 из 22 мест, а Codex CLI оказался первым с GLM-5.3 и шестнадцатым с Kimi-K3. DeepSeek Harness: Creator перескочил с 1-го места на Muse на 21-е на GLM Flash; OpenCode v1 был первым на DeepSeek и 13-м на Muse. По всем моделям на границе «цена, доля прохождения» четыре обвязки: OpenCode v2 (самая низкая средняя цена за задачу, $0,561), Pi, Codex CLI и ZCode (самая высокая доля прохождения, 61,9%). Остальные стоят до 1,6 раза дороже и проходят 50,6-60,2% задач. По цене за прохождение Codex CLI в среднем лучший ($0,937), Antigravity CLI, самый дорогой ($1,63); на GLM-5.3 Codex CLI давал $0,803 за прохождение, но на Muse был 12-м, а на Kimi-K3, 10-м.
Почему цена так различается. Дисперсию логарифма средней стоимости по 110 ячейкам (обвязка × модель) двухфакторный анализ делит так: модель, 92,8%, общий эффект обвязки, 2,3%, пара «обвязка, модель», 4,9% (включая шум, так как в каждой ячейке одно значение). То есть при фиксированной модели 68% различий между обвязками (4,9 из 7,2 пункта) зависят от пары или являются шумом. Цены моделей отличаются в 20 раз и более. При фиксированной модели обвязка меняет стоимость в 1,8-5,0 раза; случайные перемешивания испытаний дают лишь 1,2-1,8 раза (300 перемешиваний на модель, все пять реальных отношений выше любого перемешивания, p = 0,003). Рекорд, DeepSeek: Cline CLI стоил в 5,0 раза дороже OpenCode v1 при выигрыше всего в 2,0 пункта доли прохождения; на остальных моделях самая дешёвая обвязка отставала от самой дорогой не более чем на 0,4 пункта. Ранги стоимости между двумя половинами попыток на одной модели коррелируют на 0,71, на разных моделях, на 0,26.
Дороже не значит лучше: корреляция рангов стоимости за задачу и доли прохождения по обвязкам лежит в диапазоне от −0,39 до +0,22. Обвязка с наибольшей долей прохождения занимала от 5-го до 20-го места из 22 по цене. На четырёх моделях из пяти самая дорогая по цене за прохождение обвязка проходила задачи реже самой дешёвой. Простота обвязки цену не определяет: размер промпта, число инструментов и доля попаданий в кэш не главные факторы, главный, число шагов (корреляция рангов шагов на прохождение и цены за прохождение +0,51, p = 0,015; для остальных трёх факторов, от −0,03 до +0,02). Каждый шаг заново отправляет контекст, так что испытание тратит в среднем 2,0-4,8 млн входных токенов, а самый большой первый запрос (21 365 токенов), менее 1% от этого. У mini-SWE-agent самый маленький первый запрос, 882 токена, но 38 шагов на прохождение и 17-е место из 22 по цене за прохождение.
Структура стоимости: по всем испытаниям 42%, вход из кэша, 33%, выход, 25%, прочий вход (по прейскурантным ценам). Кэшированный вход стоит от 2% (DeepSeek) до 20% (GLM Flash) цены обычного. Пример: Cline CLI на DeepSeek читал 86% входа из кэша, OpenCode v1, 97%, при этом первый присылал вдвое больше входа. 64,5% стоимости оценённых запусков ушло на испытания, не прошедшие проверку: 52,7% на провалы и 11,8% на таймауты.
Что общего у пяти лучших по цене обвязок (авторы подчёркивают, что это наблюдения, а не проверенные гипотезы): один shell-инструмент делает основную работу (61-93% вызовов инструментов; у Pi в промпте четыре инструмента, read, bash, edit, write, и поиск файлов отправлен в bash); запросы только наращивают контекст, поэтому 91,1-94,0% входа в успешных испытаниях читается из кэша (правда, 91% и выше читают 18 из 22 обвязок, так что это не отличает пятёрку); почти нет субагентов и сжатия контекста. Общая слабость: провалившиеся запуски обычно заканчиваются уверенным финальным ответом, а не истечением времени, примерно три из четырёх, от 68% у Pi до 82% у Codex CLI, и редко с признанием, что работа не закончена. Не прошедшие испытания съедают 60% (Codex CLI), 69% (Alma) стоимости каждой обвязки. Проверка перед остановкой могла бы часть этого сэкономить, но авторы её не тестировали.
Ограничения: только открытые модели и один провайдер (кэш и цены, Baseten, у другого провайдера ранги стоимости могут измениться), закрытые модели могут дать другие результаты. Авторы планируют добавить закрытые модели, например Claude Opus 5.5, GPT-6 Astra и Gemini 4 Carbon.
Ключевые факты
- FrontierHarness Eval v1.1 от Runta (на моделях Baseten): 22 конфигурации обвязок × 5 открытых моделей × 62 задачи × 4 попытки, 27 280 запусков и 83 млрд токенов; это в 76 раз больше v1.0.
- Лучшая по цене за прохождение обвязка у каждой модели своя: Codex CLI с GLM-5.3, Pi с GLM-5.3 Flash, ZCode с DeepSeek V4.1 Flash 1017, Oh My Pi с Muse, Alma с Kimi-K3; устойчиво подтвердился только первый вариант (99,6% пересэмплирований).
- По стоимости за задачу медианная обвязка сдвигается на 11 из 22 мест между моделями; Codex CLI, 1-й с GLM-5.3 и 16-й с Kimi-K3.
- При фиксированной модели обвязка меняет цену в 1,8-5,0 раза (против 1,2-1,8 раза по шуму), а доля прохождения почти не растёт с ценой; главный фактор цены, число шагов, а не размер промпта или кэш.
- 64,5% списочной стоимости ушло на испытания, не прошедшие проверку; тесты только на открытых моделях и у одного провайдера, цены, оценка по прейскуранту.
Почему это важно
Обычно обвязки (Codex CLI, OpenCode, Pi и другие) сравнивают на одной модели, а выбор модели делают отдельно. Бенчмарк Runta показывает, что это разные решения: на пяти моделях лучшая по соотношению цены и результата обвязка каждый раз другая, а ранги стоимости меняются сильно (медиана, 11 мест из 22). По расчёту авторов, при фиксированной модели обвязка меняет стоимость в 1,8-5,0 раза при почти одинаковой доле прохождения, а 92,8% общего разброса стоимости объясняет сама модель. Для тех, кто платит за токены, это прямые деньги.
Кому это важно
Командам и разработчикам, которые запускают кодинг-агентов на открытых моделях (GLM, DeepSeek, Kimi и подобных) и считают стоимость запусков. Также авторам обвязок: данные указывают, что дешевле всего работают подходы с одним shell-инструментом, неизменным началом контекста (хорошо ложится в кэш) и малым числом шагов.
Как это применить
Авторы советуют при смене модели проверять и обвязку, а не считать выбор раз и навсегда. Практически: сравнивайте обвязки по стоимости за прохождение (средняя цена за задачу, делённая на долю прохождения), а не по цене токена или размеру промпта; следите за числом шагов и долей входа из кэша. Таблица победителей по моделям, в пересказе выше. Стоимость в исследовании, оценка по прейскурантным ценам Baseten, реальные счета у другого провайдера могут отличаться.
Можно ли доверять
Источник, запись в блоге самой компании Runta, чья среда выполнения используется в каждом испытании; модели обслуживал партнёр Baseten. Методика расписана подробно: пересэмплирование задач 4 000 раз, 300 перемешиваний на модель, аудит логов на reward hacking. Но уверенность неравномерна: твёрдо подтвердился только Codex CLI с GLM-5.3 (99,6%), остальные четыре победителя, «самые вероятные из нескольких близких» (53%, 47%, 42% и 25%). Доля «пары» в дисперсии включает шум, потому что в каждой ячейке одно значение. Выводы об общих чертах лучших обвязок авторы сами называют наблюдениями, а не тестами. Независимого воспроизведения в тексте нет.
Риски и подводные камни
Только открытые модели и один провайдер: закрытые модели могут дать другой результат, а у другого провайдера изменятся кэш, цены и ранги стоимости. Стоимость, расчётная, по прейскуранту, не фактические счета. Обвязки запускались с настройками по умолчанию и на максимальном уровне рассуждения, что может не совпадать с вашей конфигурацией. Только 62 терминальные задачи. Победителей по моделям не стоит воспринимать как незыблемые: у четырёх из пяти рядом есть близкие по качеству конкуренты. Закрытые модели авторы только планируют добавить.
«При смене модели стоит подумать и о смене обвязки, чтобы получить от неё максимум.»
— авторы Runta, FrontierHarness Eval v1.1