StopLoss: малый монитор досрочно останавливает провальные прогоны кодинг-агентов
Кодинг-агенты нередко продолжают работать над прогонами, которые всё равно не пройдут проверку, а поручать слежку за этим мощной (frontier) модели дорого само по себе. Авторы препринта на Hugging Face Papers предлагают StopLoss, небольшой внешний монитор, который учится распознавать провал по уже завершённым траекториям и результатам их проверки (вердиктам верификатора). Название отсылает к стоп-лосс-ордеру в финансах: как и он, StopLoss обрывает прогон, когда тот, скорее всего, обернётся потерями, и тем самым экономит ресурсы.
Механика такая. Итоговый исход прогона служит меткой для более ранних локальных окон, поэтому дообученная языковая модель может оценить последние шаги работы с инструментами за один прямой проход. Порог, откалиброванный на успешных прогонах, превращает эту оценку в решение об остановке; исполняющего агента при этом менять не нужно.
Монитор обучали на траекториях семейства GPT из набора SWE-rebench, а проверяли на SWE-bench Verified и на подмножестве SWE-bench Pro с исполнителями GPT и Claude. Сравнение шло с шестью универсальными «судьями» (general-purpose judges), которые читали точно такие же окна. По словам авторов, обучение на исходах поднимает предсказание провала от почти случайного уровня до полезного сигнала уже на первой проверке, причём одна проверка обходится в десять, сто раз дешевле, чем у любого из протестированных судей.
Из этого вытекает экономия. По сравнению с вариантом «доводить каждую задачу до конца» StopLoss снижает стоимость на одно сохранённое решение на 4,5% на Verified, сохраняя 99% успешных прогонов, и до 31% на более дорогом подмножестве Pro. С основой (backbone) Qwen3-8B снижение достигает 48%. Во всех четырёх рассмотренных конфигурациях стоимость на одно сохранённое решение у StopLoss ниже, чем у любой политики с судьёй. Вывод авторов: небольшие мониторы, обученные на исходах, могут сделать распознавание провала настолько дешёвым, что досрочная остановка окупается.
Ключевые факты
- StopLoss, небольшой внешний монитор: учится на завершённых траекториях кодинг-агентов и вердиктах верификатора и оценивает последние шаги за один прямой проход дообученной языковой модели.
- Порог, откалиброванный на успешных прогонах, превращает оценку в решение об остановке; исполняющего агента менять не нужно.
- На SWE-bench Verified стоимость на одно сохранённое решение снижается на 4,5% относительно выполнения всех задач до конца, при этом сохраняется 99% успешных прогонов.
- На более дорогом подмножестве SWE-bench Pro экономия достигает 31%, а с основой Qwen3-8B, 48%.
- Одна проверка у StopLoss на один, два порядка дешевле, чем у любого из шести протестированных универсальных судей; во всех четырёх конфигурациях он выгоднее каждой судейской политики.
Почему это важно
Прогоны кодинг-агентов стоят денег, а часть из них заведомо не закончится успехом. Работа показывает способ отсекать такие прогоны дёшево: наблюдать за агентом не дорогой моделью, а небольшим специализированным монитором, обученным на исходах прошлых запусков. Авторы подчёркивают, что дело в цене самой проверки: если следить за агентом дороже, чем экономится на остановке, идея не окупается.
Кому это важно
Командам, которые запускают кодинг-агентов в большом количестве и считают стоимость на одно решённое задание, а также исследователям, занимающимся мониторингом и оценкой агентов. Экономия заметнее на дорогих и сложных задачах: на подмножестве SWE-bench Pro она достигает 31%, на Verified, 4,5%.
Как это применить
В источнике описана схема, а не готовый продукт: собрать завершённые траектории вместе с вердиктами проверки, дообучить небольшую языковую модель оценивать последние шаги, подобрать порог на успешных прогонах и подключить его как внешний блок, не меняя самого исполнителя. Выпуск кода, модели или данных в тексте не упоминается.
Можно ли доверять
Это препринт, и все цифры взяты из его аннотации. Имена авторов и организации в тексте не указаны. Не названы ни конкретные модели GPT и Claude в роли исполнителей, ни шесть судей, с которыми шло сравнение. Абсолютных стоимостей в долларах нет, а доля сохранённых успешных прогонов на подмножестве Pro не приведена. Показатель 48% с Qwen3-8B не привязан к конкретному бенчмарку. Поэтому выводы стоит считать заявлением авторов, ожидающим независимой проверки.
Риски и подводные камни
Выигрыш на Verified скромный (4,5%), и 1% успешных прогонов всё же теряется. Монитор обучался на траекториях семейства GPT, а проверялся и на исполнителях Claude, но как он поведёт себя на других агентах и задачах вне SWE-bench, из текста неясно. Порог калибруется на успешных прогонах, так что баланс между экономией и потерянными решениями придётся подбирать под свою нагрузку. Формулировка авторов осторожная: мониторы «могут» сделать остановку выгодной, а не «делают» её таковой всегда.