ИИ-агенты на бенчмарке FrontierPhysics проходят не более 46 из 168 прогонов
Авторы статьи отмечают, что ИИ-агенты играют всё более заметную роль в физических исследованиях, но существующие физические бенчмарки проверяют лишь фиксированные вопросы, изолированные подзадачи или воспроизведение статей с готовыми решениями и редко оценивают качество исследования наряду с правильностью ответа.
В ответ они представляют FrontierPhysics, сквозной (end-to-end) бенчмарк из 56 задач, которые составили 42 физика на основе собственных исследований. Задачи охватывают девять областей теоретической, вычислительной и экспериментальной физики. От агента требуется пройти весь путь исследователя: изучить литературу, составить план исследования, провести исследование и эксперименты, а затем подготовить структурированные результаты и научную рукопись.
Оценка сочетает детерминированные проверки (verifiers) с рубриками, написанными экспертами. По замыслу авторов, так проверяется не только правильность результата, но и то, можно ли такое исследование опубликовать.
Результат: на 22 моделях в 26 конфигурациях ни одна конфигурация не проходит более 46 из своих 168 прогонов. Ручной разбор траекторий работы агентов показывает, что главные слабости передовых агентов, недостаточно строгие рассуждения и ограниченная экспертная интуиция, а не нехватка физических знаний и не ошибки при выполнении.
Ключевые факты
- FrontierPhysics, бенчмарк из 56 исследовательских задач, написанных 42 физиками на основе их собственных работ, в девяти областях теоретической, вычислительной и экспериментальной физики.
- Задача охватывает весь цикл: обзор литературы, план исследования, эксперименты и подготовка структурированных результатов и научной рукописи.
- Оценка сочетает детерминированные проверки с экспертными рубриками и оценивает, корректно ли исследование и пригодно ли оно к публикации.
- По 22 моделям в 26 конфигурациях ни одна конфигурация не проходит более 46 из 168 своих прогонов.
- Ручной разбор траекторий: слабость агентов, в строгости рассуждений и экспертной интуиции, а не в знаниях физики или ошибках исполнения.
Почему это важно
Существующие физические бенчмарки, по словам авторов статьи, проверяют фиксированные вопросы, отдельные подзадачи или воспроизведение статей с готовыми решениями. FrontierPhysics оценивает агента на полном цикле исследования, от литературы до рукописи. Итог тревожный для сторонников автономных научных агентов: ни одна из 26 конфигураций не проходит более 46 из 168 прогонов, а причина, по ручному разбору авторов, в строгости рассуждений и экспертной интуиции, а не в знаниях.
Кому это важно
Разработчикам ИИ-агентов для науки и тем, кто оценивает такие системы: бенчмарк показывает, где агенты пока проваливаются. Также он будет интересен физикам, которые рассматривают агентов как помощников в исследованиях, и авторам других научных бенчмарков.
Как это применить
Из аннотации видно, что бенчмарк пригоден для сравнения агентов по сквозным исследовательским задачам, а не по отдельным вопросам. Разбор траекторий указывает, на что стоит направить улучшения: строгость рассуждений и экспертную интуицию, а не добавление физических знаний. Сведений о публикации кода или данных в аннотации нет.
Можно ли доверять
Все утверждения взяты из аннотации статьи на Hugging Face и принадлежат её авторам, включая вывод о слабостях агентов, сделанный по ручному разбору траекторий. Из аннотации не видно, как именно определяется прохождение прогона и сколько прогонов приходится на задачу, поэтому цифру «46 из 168» стоит читать как верхнюю границу для любой конфигурации. Оценок по отдельным моделям в тексте нет.
Риски и подводные камни
Бенчмарк состоит из 56 задач, поэтому охват каждой из девяти областей ограничен. Оценка опирается на рубрики, написанные экспертами, и на ручной разбор траекторий, что требует осторожности при обобщении выводов. Вывод о причинах неудач агентов, результат анализа авторов, а не независимой проверки.