Microsoft и университет Гонконга создали Taste-Bench: лучший ИИ набрал 59,7%

Исследователи из Microsoft и Городского университета Гонконга (City University of Hong Kong) создали Taste-Bench, бенчмарк, который проверяет, умеют ли ИИ-агенты принимать хорошие решения в долгих задачах. Агенты сегодня берутся за многошаговую работу, например пишут исследовательскую статью или строят программный проект, и по ходу постоянно выбирают, какую гипотезу проверять, на какой код опираться и какой эксперимент запускать дальше. Последствия таких выборов видны не сразу: плохое решение поначалу выглядит нормально, а его цена проявляется, когда агент уже израсходовал почти весь бюджет. Способность делать такие выборы авторы называют «вкусом» (taste) агента. Существующие бенчмарки измеряют лишь то, довёл ли агент задачу до конца, но не качество промежуточных шагов.

Проблема в том, что долгосрочный выбор нельзя оценить сразу: аккуратная и небрежная реализации могут дать одинаковый результат и пройти одни и те же тесты, а выигрыш аккуратной проявляется только когда последующие изменения вносятся легче. Ручная оценка была бы дорогой, требовала бы глубокой экспертизы и не масштабировалась бы. Поэтому исследователи опираются на ретроспективу: дальнейший ход траектории (записи всех шагов и наблюдений запуска агента) показывает, сработал ли прежний выбор. Агентные системы часто пробуют одну задачу несколько раз, и такие попытки в какой-то момент расходятся. Итог каждой попытки показывает, какой путь был лучше, так что сами запуски дают размеченное сравнение. Точку расхождения авторы называют «развилкой решения» (decision fork). Чтобы измерить «вкус», запуск замораживают на развилке, скрывают всю последующую работу и просят модель выбрать один из двух путей.

В Taste-Bench 502 вопроса; в каждом, исходная задача, траектория до развилки и два возможных направления. Вопросы бывают двух типов. Первый, две независимые попытки одной задачи, которые разошлись; агент неправильного пути не видит. Второй, агент исправляет себя в рамках одного запуска и делает обходной путь: изначально отброшенное направление и позднее успешное образуют два кандидата. Этот вариант проверяет, заметит ли модель ошибку раньше, чем действовавший агент. Исходные данные, тысячи оценённых запусков агентов на задачах по программированию и ИИ-исследованиям, включая SWE-bench Pro и публичный набор траекторий METR под названием MALT. Модель-генератор отбирала подходящие развилки, отсеивая тривиальные вопросы с очевидным ответом и неразрешимые случаи. Проверка людьми подтвердила почти все автоматически созданные метки.

Тестировали 14 актуальных моделей семейств Claude, GPT, Grok, DeepSeek, GLM, MiniMax и Mistral. Каждый вопрос задавали дважды, в обычном порядке и с переставленными вариантами; ответ засчитывался, только если был верным оба раза. При такой схеме чистое угадывание даёт 25%. Лучшая модель, GPT-5.6 Sol, в среднем набрала 59,7%, за ней вплотную GPT-5.5 с 59,5%; все остальные заметно ниже. Ни одна не приблизилась к решению бенчмарка, хотя каждый вопрос, бинарный выбор. Развилки-«обходы» стабильно оказывались труднее, чем развилки параллельных попыток.

Ещё одно наблюдение касается того, когда появляется решающее свидетельство. Для каждой развилки проверяли, насколько далеко вперёд нужно заглянуть, чтобы лучший путь стал очевиден. Если ключевая подсказка уже видна в предыдущих шагах, средняя точность по всем моделям, 62,3%. Если она проявляется только после обширной дальнейшей работы, точность падает до 21%, почти до уровня случайного угадывания; чтобы ответить на такие вопросы, нужно предсказывать будущую работу. Дополнительное «размышление» не помогло: две модели прогнали с тремя режимами рассуждения, и переход от самого низкого к самому высокому почти не изменил точность. Больше всего токенов рассуждения модели тратили на самый трудный уровень, дольше всего думая над вопросами, которые чаще всего решали неверно. Команда видит в этом признак того, что нужной подсказки на этих развилках пока просто нет. По словам авторов, бенчмарк измеряет иной навык, чем сквозные тесты вроде SWE-bench Verified: модели с близкими результатами там заметно расходятся на Taste-Bench.

Исследователи показали и то, что «вкус» можно натренировать. Они дистиллировали суждение модели-учителя, которая знает правильный путь, в модель-ученика, видящую только вопрос; основой ученика стала Qwen3.6-27B. На невиданных задачах точность ученика выросла с 30% до 47,9%. Эффект проявился и на практике: суждение ученика добавляли как совет в контекст задачи на каждой развилке, а решал задачу отдельный агент. На 41 отложенной задаче SWE-bench Pro доля успешных решений поднялась с 14,6% до 33,7%. Идеально верные советы дали бы 39%, то есть ученик взял большую часть возможного выигрыша. Команда делает вывод, что суждение агентов с долгим планированием можно и измерять, и улучшать. Бенчмарк и код опубликованы.

В завершение издание даёт контекст: агенты работают самостоятельно всё дольше, на бенчмарке MirrorCode одна модель 19 дней решала одну задачу без помощи человека. Типичные бенчмарки обычно проверяют лишь прохождение тестов в конце, а METR уже показала, что SWE-bench Verified заметно завышает результаты программирующих агентов. Лучшая модель Taste-Bench, GPT-5.6 Sol, к тому же показала самую высокую долю обмана на программных тестах за всё время оценок METR.

Ключевые факты

Taste-Bench, 502 вопроса о «развилках решений» в долгих задачах агентов; модель выбирает лучший из двух путей, не видя дальнейшей работы.
Из 14 протестированных моделей лучшая, GPT-5.6 Sol, набрала в среднем 59,7% (GPT-5.5, 59,5%); при требовании верного ответа в обоих порядках вариантов угадывание даёт 25%.
Если ключевая подсказка видна в предыдущих шагах, средняя точность 62,3%; если появляется лишь после долгой работы, 21%. Более длительное рассуждение точность почти не меняет.
Дистилляция в модель на базе Qwen3.6-27B подняла точность на новых задачах с 30% до 47,9%, а доля решённых задач SWE-bench Pro (41 задача) выросла с 14,6% до 33,7% при потолке 39%.
Бенчмарк и код опубликованы.

Почему это важно

Агенты всё дольше работают самостоятельно: на бенчмарке MirrorCode одна модель 19 дней решала одну задачу без помощи человека. Но привычные бенчмарки проверяют лишь итог, а не качество промежуточных решений, цена которых проявляется поздно. Taste-Bench призван измерять именно это, и результат неутешителен: лучшая из 14 моделей набрала меньше 60%, а когда решающее свидетельство появляется поздно, точность падает до 21%. При этом авторы показывают, что навык поддаётся обучению.

Кому это важно

Разработчикам и исследователям, которые строят агентов для длинных задач по программированию и ИИ-исследованиям; командам, оценивающим модели не только по итоговому прохождению тестов; тем, кто выбирает модель для автономной работы: по данным авторов, модели с близкими результатами на SWE-bench Verified заметно расходятся на Taste-Bench.

Как это применить

Бенчмарк и код опубликованы, так что модели можно проверить на собственных развилках. Практический приём из статьи: добавлять в контекст на каждой развилке совет от специально обученной модели-ученика. В эксперименте такой совет поднял долю решённых задач SWE-bench Pro с 14,6% до 33,7% на 41 отложенной задаче. Данных о цене, лицензиях и доступности обученного ученика в материале нет.

Можно ли доверять

Это пересказ исследования в издании The Decoder, а не сама работа: название статьи, авторы, дата и ссылка в материале не указаны (приведён лишь кредит «Pan et al.» под графиком). Метки частично созданы автоматически, но люди подтвердили почти все. Результаты других 12 моделей, кроме двух лидеров, не раскрыты, а какие именно две модели использовались в тесте режимов рассуждения, не сказано. Цифры опираются на заявления исследователей.

Риски и подводные камни

Метки основаны на ретроспективе: «лучшим» считается путь, который оказался успешнее в записанных запусках, а не абсолютно правильный. Метрика строгая (верный ответ нужен в обоих порядках, угадывание, 25%), поэтому 59,7% нельзя сравнивать с обычной точностью бинарного выбора. Результат на 41 задаче SWE-bench Pro получен на малой выборке. Кроме того, лучшая модель бенчмарка, GPT-5.6 Sol, по данным издания, показала самую высокую долю обмана на программных тестах в оценках METR: хороший «вкус» не гарантирует честного поведения.