Long-Horizon-Terminal-Bench: бенчмарк проверяет ИИ-агентов на многочасовых терминальных задачах, лучшие модели решают меньше 11%

Команда представила новый бенчмарк Long-Horizon-Terminal-Bench для проверки ИИ-агентов, работающих в терминале. Авторы указывают, что существующие терминальные бенчмарки оценивают в основном простые задачи, которые укладываются в считаные минуты и проверяются только по конечному результату, «решено / не решено». Такой подход не учитывает промежуточный прогресс и частичные решения, из-за чего сигнал для обучения и оценки получается разреженным, а картина возможностей агента, неполной.

Новый бенчмарк состоит из 46 «долгих» (long-horizon) задач, разбитых на девять категорий, среди которых: воспроизведение научных экспериментов, разработка ПО, анализ мультимодальных данных, интерактивные игры и научные вычисления. Каждая задача построена по образцу известного бенчмарка Terminal-Bench, с эталонным решением или имитационным движком для проверки, но дополнительно разбита на мелкие подзадачи с отдельной оценкой. Это даёт «плотное» вознаграждение и частичный зачёт: система фиксирует не только достиг ли агент конечной цели, но и насколько далеко он продвинулся по открытому рабочему процессу.

Задачи в бенчмарке рассчитаны на сотни шагов (episodes) и от минут до часов работы, это нагружает долгосрочное планирование, управление длинным контекстом и итеративную отладку, а не разовое решение задачи «в один проход». Авторы протестировали 15 передовых моделей и выяснили: в среднем на одну задачу агент тратит 9,9 млн токенов, совершает около 231 шага и работает 85,3 минуты, заметно больше, чем в прежних терминальных бенчмарках.

Результаты получились низкими даже для лучших моделей. При пороге частичного вознаграждения 0,95 сильнейшая протестированная модель показала pass@1 всего 15,2%, а при пороге полного (идеального) решения 1,0, только 10,9%. Средний показатель по всем 15 моделям ещё ниже: 4,3% при частичном пороге и 1,7% при полном. Авторы также разобрали типичные причины провалов и характер ошибок агентов и опубликовали бенчмарк в открытом доступе, чтобы дать сообществу инструмент для дальнейшего прогресса в области агентов, работающих над длинными терминальными задачами.

Ключевые факты

Новый бенчмарк Long-Horizon-Terminal-Bench: 46 долгих задач в девяти категориях (воспроизведение экспериментов, разработка ПО, мультимодальный анализ, игры, научные вычисления и др.)
Задачи разбиты на мелкие подзадачи с отдельной оценкой, это даёт частичный зачёт и плотный сигнал прогресса вместо бинарного «решено/не решено»
Задачи требуют сотен шагов и от минут до часов работы: в среднем 9,9 млн токенов, около 231 шага и 85,3 минуты на задачу
Протестировано 15 передовых моделей: лучшая решает полностью только 10,9% задач (15,2% при частичном пороге 0,95)
Средний результат по всем моделям заметно ниже лидера, 1,7% при полном пороге и 4,3% при частичном; бенчмарк выложен в открытый доступ

Почему это важно

Большинство терминальных бенчмарков для ИИ-агентов до сих пор проверяли короткие задачи по принципу «решено/не решено», что скрывало реальный уровень возможностей моделей на длинных, многошаговых сценариях. Long-Horizon-Terminal-Bench впервые системно измеряет, как агенты справляются с задачами, требующими сотен шагов и часов работы, и вводит пооперационную (dense) оценку прогресса, это меняет саму методику измерения прогресса в разработке агентов.

Кому это важно

Разработчикам и исследователям, которые создают или оценивают автономных ИИ-агентов для работы в терминале и с кодом (агентные ассистенты для инженерии, автоматизации экспериментов, DevOps-задач), а также командам, выбирающим модель под долгие автономные сценарии, низкие результаты лидеров бенчмарка показывают, что «из коробки» такие задачи пока решаются плохо.

Как это применить

Бенчмарк выложен в открытый доступ, поэтому его можно использовать как единый инструмент для сравнения агентов на длинных задачах и как ориентир при выборе модели для автономной работы над многошаговыми проектами: частичное вознаграждение по подзадачам позволяет видеть, на каком именно этапе агент застревает, а не только итоговый провал.

Можно ли доверять

Это исследовательская работа с описанной методологией: 46 задач в девяти категориях, эталонные решения или симуляционные движки для проверки, тестирование 15 актуальных моделей и разбор типичных ошибок. Цифры (9,9 млн токенов, 231 шаг, 85,3 минуты, 15,2%/10,9%/4,3%/1,7%) приведены авторами по итогам собственных экспериментов; независимой верификации результатов на момент публикации нет.

Риски и подводные камни

Экстремально низкий процент полных решений (в среднем 1,7% по всем моделям) означает, что бенчмарк пока слишком сложен для практической проверки готовности продукта, как инструмент для разработчиков агентов он полезен, но как показатель «агенты уже справляются с долгими задачами» его нельзя читать буквально. Расход в 9,9 млн токенов на одну задачу также указывает на высокую стоимость таких прогонов при масштабной оценке.