Бенчмарк OR-License: лучший агент Claude Code набрал DAQ 0,87 против 1 у эксперта

В статье на Hugging Face представлен OR-License, сквозной бенчмарк для проверки, могут ли LLM-агенты выдавать экспертные решения по исследованию операций (OR) напрямую из исходных материалов клиента, без предварительной переформулировки задачи экспертом. Авторы статьи отмечают, что существующие бенчмарки по OR обычно начинаются с самодостаточного описания или заранее заданной оптимизационной задачи и поэтому слабо отражают перевод исходных бизнес-материалов в профессионально проверенное решение.

OR-License включает 31 экземпляр задач из 10 промышленных сценариев. Они взяты из платных заказов по OR общей стоимостью 3,68 млн долларов США. После деидентификации сохранены исходные требования, входные данные, форматы результатов и границы информации. Для изучения того, как агент добывает информацию, авторы добавили ORSim, управляемый симулятор клиента, который раскрывает бизнес-факты, но не подсказывает экспертизу по OR.

Оценка скрытая: проверяется допустимость решения, а качество целевой функции сравнивается с исходными экспертными решениями, которые клиенты приняли ещё до построения бенчмарка. Главная метрика, Deployment-Adjusted Quality (DAQ, «качество с поправкой на внедрение»): она усредняет качество относительно эксперта по всем экземплярам, а недопустимым решениям присваивает ноль.

Авторы протестировали 11 передовых LLM в оболочках для кодинг-агентов. Несколько моделей превзошли экспертный образец по условному качеству целевой функции (то есть среди допустимых решений), но ни одна не сравнялась с ним по DAQ. Сильнейшая из основных конфигураций Claude Code показала 88,39% строго допустимых решений и DAQ 0,87 при экспертном эталоне 1.

Добыча информации у клиента не сводится к уточнению задачи: она продолжается на этапах разработки и проверки решения, причём на некоторых поздних этапах доля подтверждённо решённых вопросов выше. Анализ траекторий выявил ошибки двух типов, в формулировке задачи и в реализации. Доля завершения исследовательской цепочки (с выравниванием по задачам, на оцениваемых задачах) у моделей лежит в диапазоне от 24% до 45%. Авторы делают вывод, что для надёжных агентов с длинным горизонтом нужны устойчивое закрытие информационных пробелов, точная постановка задачи и самосовершенствование, опирающееся на свидетельства.

Ключевые факты

OR-License: 31 экземпляр из 10 промышленных сценариев, взятых из платных заказов по исследованию операций на 3,68 млн долларов США.
Исходные требования, данные и форматы результатов сохранены после деидентификации; клиента имитирует ORSim, который раскрывает бизнес-факты, но не экспертизу по OR.
Из 11 передовых LLM в оболочках кодинг-агентов несколько превзошли эксперта по условному качеству целевой функции, но ни одна не достигла его DAQ.
Лучшая основная конфигурация Claude Code: 88,39% строго допустимых решений и DAQ 0,87 при эталоне 1.
Доля завершения исследовательской цепочки у моделей, от 24% до 45%; типичные провалы, в формулировке задачи и в реализации.

Почему это важно

Большинство тестов по оптимизации дают агенту уже оформленную задачу. OR-License проверяет другое: путь от сырых клиентских материалов до решения, которое приняли бы в реальном заказе. Результат показывает разрыв: часть моделей лучше эксперта по качеству, когда решение допустимо, но недопустимые поставки обнуляются в DAQ, поэтому до экспертного уровня 1 лучшая конфигурация (0,87) не дотягивает.

Кому это важно

Исследователям агентов с длинным горизонтом, командам, которые автоматизируют оптимизацию и планирование (OR-консультантам, аналитикам цепочек поставок и производства), а также тем, кто выбирает кодинг-агентов для рабочих задач с неполными исходными данными.

Как это применить

Практический вывод, из выводов авторов статьи: агентам нужно целенаправленно закрывать информационные пробелы в ходе всей работы, а не только на этапе уточнения, точно формулировать задачу и проверять результат по свидетельствам. Для самостоятельной оценки своих агентов можно ориентироваться на логику бенчмарка: скрытая проверка допустимости и сравнение с принятым клиентом решением. Сведений о доступности кода и данных в тексте нет.

Можно ли доверять

Пересказ опирается на аннотацию статьи. Данные взяты из реальных заказов, а эталоны, это решения, принятые клиентами, что сильная сторона. Но в аннотации не названы авторы и организации, не раскрыты остальные 10 моделей и значения DAQ других моделей, поэтому сопоставить конкуренток по ней нельзя. Выборка небольшая, 31 экземпляр.

Риски и подводные камни

DAQ ставит ноль за недопустимое решение, поэтому метрика чувствительна к одному провалу. Цифры 0,87 и 88,39% относятся к одной сильнейшей основной конфигурации Claude Code; конкретная модель за ней не названа, и обобщать на все агенты нельзя. Деидентификация и симулятор клиента ORSim приближают условия к реальным, но не равны живому клиенту.