Представлен бенчмарк TB-MathModel: ИИ-агенты решают задачи математического моделирования

В статье представлен TB-MathModel (Terminal-style Mathematical Modeling Bench), бенчмарк для оценки того, как ИИ-агенты справляются с полноценными задачами математического моделирования. Авторы объясняют проблему так: моделирование превращает открытую задачу из реального мира в допущения, модель, решение и обоснованную рекомендацию, а ответ ценен, только если он и близок к достоверному эталону, и физически осуществим. Существующие бенчмарки, по словам авторов, либо оценивают отдельные фрагменты решателей, либо поручают LLM-судье оценивать отчёты, из-за чего числа в ответах остаются непроверенными.
Бенчмарк построен на 18 реальных задачах конкурсов CUMCM и MCM за 2023-2025 годы. Каждая задача поставляется в контейнеризованном терминале: дословная постановка, официальные приложения и рисунки. Агент возвращает один JSON-артефакт, который оценивается по числовому ядру ответа на заключительный вопрос, в сравнении с воспроизведением работы, получившей награду Outstanding. Авторы называют TB-MathModel первым бенчмарком, где полные конкурсные задачи моделирования одновременно агентные, проверяемые и терминальные.
Отличают бенчмарк два решения. Первое, оценка с учётом направления и односторонняя: превзойти эталон никогда не наказывается. Второе, двухслойная проверка допустимости: программный фильтр по шести разрешимым формам инвариантов плюс 624 обязательства на Lean 4. Жёсткий фильтр обнуляет недопустимые ответы. Кроме того, каждая задача оценивается не по одной, а по набору работ-победителей, поэтому модели нужно быть близкой ко многим принятым решениям.
Результаты: на семи мультимодальных участниках (по три прогона с разными зёрнами случайности на каждого) сильнейшие достигают многоэталонной оценки O-Eval 64,58%. Дешёвая открытая модель набирает 59,81% при существенно меньшей стоимости. Авторы заключают, что бенчмарк превращает числовое ядро моделирования в воспроизводимый, машинно проверяемый сигнал, для измерения способности к долгим цепочкам моделирования и для сбора траекторий работы агентов. Исходный код опубликован на GitHub (wxj630/terminal-bench-math-modeling).
Ключевые факты
- TB-MathModel включает 18 реальных задач конкурсов CUMCM и MCM за 2023-2025 годы; агент работает в контейнеризованном терминале и возвращает один JSON-артефакт.
- Ответ оценивается по числовому ядру заключительного вопроса относительно набора воспроизведённых работ с наградой Outstanding; оценка односторонняя, превосходство над эталоном не наказывается.
- Допустимость проверяется в два слоя: программный фильтр по шести разрешимым формам инвариантов и 624 обязательства на Lean 4; недопустимые ответы обнуляются.
- На семи мультимодальных участниках (по три прогона каждый) сильнейшие достигают многоэталонного O-Eval 64,58%, дешёвая открытая модель, 59,81%.
- Исходный код бенчмарка доступен на GitHub.
Почему это важно
Задачи моделирования открытые, и обычно их оценивают либо по фрагментам решателей, либо LLM-судьёй по тексту отчёта. По утверждению авторов, при этом числа в ответах остаются непроверенными. TB-MathModel пытается измерять именно числовое ядро решения и его физическую допустимость машинными средствами, включая формальные обязательства на Lean 4. Отдельно заметен результат: дешёвая открытая модель с 59,81% близка к сильнейшим участникам с 64,58%.
Кому это важно
Исследователям агентных систем и оценки ИИ, которым нужен воспроизводимый бенчмарк для длинных задач с неоднозначным решением. Командам, обучающим агентов: авторы прямо называют сбор траекторий работы агентов одним из назначений бенчмарка. Тем, кого интересует формальная проверка ответов моделей, в частности на Lean 4.
Как это применить
Исходный код опубликован на GitHub (wxj630/terminal-bench-math-modeling), так что бенчмарк можно запустить на собственном агенте. Задачи поставляются в контейнеризованном терминале, результат агента, один JSON-артефакт. Из-за многоэталонной оценки сравнивать результаты стоит именно по O-Eval, а не по близости к одной работе.
Можно ли доверять
Это статья с препринтом и открытым кодом, все числа в пересказе приведены со слов авторов. В аннотации не названы модели семи участников, поэтому нельзя сказать, какие именно системы показали 64,58% и 59,81%. Цена дешёвой открытой модели в тексте искажена и здесь не приводится. Заявление «первый бенчмарк» принадлежит самим авторам и независимо не проверено.
Риски и подводные камни
Выборка небольшая: 18 задач двух конкурсов, три прогона на каждого участника, поэтому разницу в несколько процентных пунктов надо трактовать осторожно. Оценка привязана к воспроизведениям работ-победителей, то есть измеряет близость к принятым решениям и допустимость, а не качество рассуждений целиком. Жёсткий фильтр обнуляет недопустимые ответы, но в аннотации не сообщается, как часто это происходило.