ALTK-Evolve вывел агента на GPT-4.1 на первое место в τ²-bench retail

Авторы ALTK-Evolve (блог на Hugging Face) показывают, что обычный агент службы поддержки на стандартной схеме ReAct из τ²-bench можно заметно улучшить без дообучения модели: достаточно дописать в системный промпт блок выученных правил. На GPT-4.1, более старой модели без рассуждений, такой агент набирает 67,5% Pass^4 в домене retail (задача решена во всех четырёх независимых попытках). По утверждению авторов, это выше любой записи retail в их снимке рейтинга от 12 октября 2026 года.

Как это работает. ALTK-Evolve анализирует попытки агента на обучающих задачах и с помощью той же модели (GPT-4.1) превращает успехи и ошибки в короткие поведенческие правила: как аутентифицировать клиента, подтверждать операцию, оформлять возврат. Правила добавляются после текста политики как обычный markdown-список, например: проверить личность до любых действий с заказом; перед изменением базы данных получить явное согласие пользователя со структурированным резюме; при возврате сразу назвать сумму с разбивкой по позициям и сроки; делать одно действие за шаг. Одна и та же модель извлекает правила и работает агентом; обновлять веса и размечать данные вручную не нужно. Правила извлекаются на обучающих задачах и без изменений применяются к отложенному тестовому набору. Всё остальное (политика, инструменты, схема) остаётся стандартным.

Бенчмарк. τ²-bench (от Sierra) проверяет, как агент ведёт диалоги поддержки в рамках письменной политики: у симулированного клиента есть цель, у агента, инструменты (найти заказ, оформить возврат, перебронировать рейс). Задача считается решённой, только если итоговое состояние базы совпадает с ожидаемым. Использованы домены retail и airline, агент, gpt-4.1, симулятор клиента, gpt-5.5, по 4 попытки на задачу. Mean Accuracy, средняя доля успехов по четырём попыткам; Pass^4, доля задач, решённых во всех четырёх попытках (метрика рейтинга).

Результаты на отложенных тестовых задачах с gpt-4.1. Mean Accuracy: retail 78,1 → 82,5 (+4,4 п.п.), airline 57,5 → 65,0 (+7,5 п.п.). Pass^4: retail 57,5 → 67,5 и airline 35,0 → 45,0, то есть по +10 п.п. в обоих доменах. Сравнивались три конфигурации: без правил, sup3 (только правила с поддержкой не менее 3, то есть извлечённые минимум из трёх разных обучающих задач) и lossless (все правила после консолидации). В retail чем больше правил, тем лучше по всем метрикам. В airline lossless впереди по точности (65% против 60%), но компактное ядро sup3 из 14 правил надёжнее: Pass^4 45% против 40% у lossless. Вывод авторов: порог поддержки нужно подбирать под домен.

Стоимость. Диалоги не становятся длиннее: на совпадающих запусках, решённых и без правил, и с ними, lossless сокращает диалог примерно на 0,3-0,4 реплики ассистента (retail 10,59 → 10,16, airline 9,15 → 8,82). Платить приходится входными токенами: в retail промпт из 292 правил поднимает стоимость диалога с ~$0,084 до ~$0,139, в airline меньший набор правил обходится дешевле. Авторы считают, что в продакшене значительную часть можно вернуть кешированием промпта, поскольку блок правил одинаков во всех вызовах (это ожидание, в работе не измерялось).

Фронтирная модель. Чтобы проверить, не помогают ли правила только слабой модели, авторы повторили airline с gpt-5.5 в роли агента и извлекателя правил. Здесь ни одно правило не набрало поддержку 3 (максимум 2), поэтому ядро, sup2. На тех же отложенных задачах точность выросла с 72,5 до 82,5 (+10 п.п.), Pass^4, с 55,0 до 70,0 (+15 п.п.).

Положение в рейтинге. Заявки оцениваются на полном базовом наборе (обучающие плюс тестовые задачи), поэтому цифры отличаются от тестовых. Retail: 67,5% Pass^4, первое место, выше всех фронтирных моделей и выше RAFT-30B-A3B (61,4%), модели, дообученной на синтетических данных τ²-bench retail; отрыв от неё на 6,1 пункта. Airline: агент на gpt-4.1 с ядром sup3 получает Pass^4 44% и занимает 8-е место (выше GPT-5.2 без рассуждений, почти вровень с Claude Sonnet 4.5); агент на gpt-5.5 набирает 82,0% против 66-72% у фронтирных записей и оказывается первым. Итог авторов: улучшать агента можно без обновления весов, используя только правила, извлечённые автоматически из его собственных запусков, без ручной разметки и без утечки тестовых данных.

Ключевые факты

Агент на GPT-4.1 со стандартной схемой ReAct и блоком выученных правил в системном промпте набирает 67,5% Pass^4 в τ²-bench retail; по данным авторов, это первое место в снимке рейтинга от 12 октября 2026 года, выше RAFT-30B-A3B (61,4%).
На отложенных тестовых задачах с GPT-4.1 Pass^4 растёт на 10 п.п. в обоих доменах: retail 57,5 → 67,5, airline 35,0 → 45,0; Mean Accuracy, 78,1 → 82,5 и 57,5 → 65,0.
Оптимальное число правил зависит от домена: в retail лучше полный набор, в airline компактное ядро sup3 из 14 правил надёжнее по Pass^4 (45% против 40%), хотя lossless точнее (65% против 60%).
Диалоги не удлиняются (в среднем на ~0,3-0,4 реплики короче у lossless), но в retail стоимость диалога растёт с ~$0,084 до ~$0,139 из-за длинного промпта из 292 правил.
С gpt-5.5 в airline Pass^4 на отложенных задачах вырос с 55,0 до 70,0, а на полном базовом наборе агент набрал 82,0% против 66-72% у фронтирных записей рейтинга.

Почему это важно

Работа показывает, что надёжность агента поддержки можно поднять без дообучения: достаточно дописать в промпт правила, выведенные из его же прошлых попыток. По заявлению авторов, агент на старой модели без рассуждений (GPT-4.1) обходит в retail все записи рейтинга и модель RAFT-30B-A3B, дообученную на синтетических данных этого бенчмарка. Эффект есть и на фронтирной модели: в airline gpt-5.5 с правилами набирает 82,0% Pass^4 против 66-72% у фронтирных записей. Работа продолжает прежние эксперименты авторов с кодирующими агентами.

Кому это важно

Командам, которые строят агентов поддержки и других агентов, обязанных следовать письменной политике и совершать необратимые действия: подход не требует доступа к весам, ручной разметки или отдельной модели. Также интересно тем, кто выбирает между дообучением и накоплением «памяти» в промпте, и тем, кто следит за рейтингом τ²-bench.

Как это применить

Код библиотеки ALTK-Evolve опубликован на GitHub (AgentToolkit/altk-evolve), бенчмарк, sierra-research/tau2-bench. Схема такая: прогнать агента на обучающих задачах, с помощью той же модели извлечь из успехов и ошибок короткие правила, оставить нужные по порогу поддержки и дописать их списком после политики в системный промпт. Порог поддержки авторы советуют подбирать под домен, а не фиксировать. Входные токены дорожают (в retail ~$0,084 → ~$0,139 за диалог с набором из 292 правил); авторы ожидают, что кеширование промпта вернёт значительную часть расхода, но это в работе не измерялось. Сроков выхода или планов по доступности, помимо ссылки на GitHub, в тексте нет.

Можно ли доверять

Это собственный пост авторов с результатами, которые они сами и получили. В тексте нет доверительных интервалов, проверки статистической значимости и числа тестовых задач, поэтому прирост в 5-10 пунктов на небольшом отложенном наборе нужно читать осторожно. Цифры рейтинга (67,5%, 44%, 82,0%) считаются на полном базовом наборе (обучающие плюс тестовые задачи), а прирост, на отложенных задачах; это разные измерения, и текст их не сводит. Принятие заявок в официальный рейтинг (ссылки на PR #542 для retail и #551 для airline) в тексте не подтверждено; сравнение идёт со снимком от 12 октября 2026 года. Таблицы и рисунки в тексте не воспроизведены, доступны только числа из прозы.

Риски и подводные камни

Оптимум по числу правил зависит от домена и модели: для gpt-5.5 в airline ни одно правило не набрало поддержку 3, и ядро пришлось определять как sup2. Больше правил в airline снижает надёжность по Pass^4 (40% у lossless против 45% у sup3), хотя точность выше. Длинный промпт повышает стоимость каждого вызова. Правила выводятся из задач одного бенчмарка, и перенос на другие домены в работе не проверялся. Заявление об отсутствии утечки тестовых данных и ручной разметки, утверждение самих авторов.