Агент на GPT-4o mini в оптимизации молекул упал с 14,44 до 4,85 без названий задач
Авторы статьи на arXiv отталкиваются от того, что в недавних работах LLM-агентам приписывают большой выигрыш в молекулярной оптимизации при малом бюджете. Они измеряют вклад трёх факторов: онлайн-оптимизации, доступной для извлечения информации о задаче и «разрешающих» (permissive) ландшафтов оракула, то есть функций оценки, на которых хорошего результата добиться сравнительно легко.
Главный результат получен на бенчмарке PMO при бюджете 50 вызовов оракула. Суммарная AUC агента на GPT-4o mini падает с 14,44 до 4,85, когда из подсказки убирают названия задач и подобранные эталонные соединения. Условие с «закрытой идентичностью», где сообщается только вид оракула (например, сходство со скрытым эталоном), даёт 5,39. При этом детерминированная базовая схема, которая только извлекает известную информацию и не использует LLM, набирает 12,16, то есть 84% от результата полного агента. Полная абляция 2x2 на 23 задачах и репликация на трёх сидах для восьми задач, по мнению авторов, согласуются с этой трактовкой.
Вторая часть касается бенчмарка с белковой мишенью и составным оракулом на основе AutoDock Vina. Там, по оценке авторов, случайное блуждание с одиночной правкой молекулы служит сильной нижней границей: по трём сидам оно даёт составной балл 0,636 ± 0,008 и улучшение докинга −1,11 ± 0,04 ккал/моль.
В качестве положительного контроля авторы приводят популяционного агента без извлечения информации: при сопоставимом бюджете в 50 вызовов по AUC он превосходит REINVENT, а лучший результат показывает при 100 вызовах. Итог статьи: две недорогие проверки на здравый смысл, промпты для PMO, защищённые от извлечения информации о задаче, и случайное блуждание как нижняя планка для оптимизации на основе докинга.
Ключевые факты
- На PMO при 50 вызовах оракула суммарная AUC агента на GPT-4o mini падает с 14,44 до 4,85, если скрыть названия задач и подобранные эталонные соединения.
- Условие, где указан лишь вид оракула, даёт 5,39; детерминированная схема без LLM, только с извлечением информации, набирает 12,16, то есть 84% от результата полного агента.
- Абляция 2x2 на 23 задачах и репликация на трёх сидах для восьми задач, по мнению авторов, поддерживают такую трактовку.
- На докинговом бенчмарке с AutoDock Vina случайное блуждание с одиночной правкой даёт составной балл 0,636 ± 0,008 и улучшение докинга −1,11 ± 0,04 ккал/моль (три сида).
- Авторы предлагают две проверки: промпты для PMO, защищённые от извлечения информации, и нижнюю планку в виде случайного блуждания для докинга.
Почему это важно
Отчёты о том, что LLM-агенты сильно улучшают оптимизацию молекул при малом бюджете, легко принять за доказательство способности модели «искать». Эта работа показывает, что значительная часть результата на PMO держится на информации о задаче, которую можно извлечь: стоит скрыть названия задач и эталонные соединения, и балл GPT-4o mini падает с 14,44 до 4,85. Схема без LLM, использующая только такое извлечение, достигает 84% от результата полного агента.
Кому это важно
Исследователям, которые оценивают LLM-агентов в молекулярной оптимизации и вычислительной химии, и тем, кто читает такие отчёты и решает, что считать реальным прогрессом. Также тем, кто строит бенчмарки: из результатов следует, что формулировка подсказки и вид оракула заметно влияют на итоговую оценку.
Как это применить
Авторы предлагают две недорогие проверки. Первая: для PMO использовать промпты, безопасные в отношении извлечения информации, без названий задач и подобранных эталонных соединений. Вторая: для оптимизации на основе докинга включать в сравнение нижнюю планку в виде случайного блуждания с одиночной правкой молекулы. Для сравнения авторы приводят популяционного агента без извлечения информации, который при 50 вызовах по AUC превосходит REINVENT.
Можно ли доверять
Это препринт на arXiv, пересказ основан на аннотации. Цифры по PMO (14,44, 4,85, 5,39, 12,16) приведены без указания разброса, а сравнение на PMO описано для агента на GPT-4o mini; для других моделей в тексте результатов нет. Полная абляция охватывает 23 задачи, репликация на трёх сидах, восемь задач. Из аннотации не следует, что прежние результаты ошибочны: показано лишь, что баллы падают при скрытии названий задач и эталонных соединений.
Риски и подводные камни
Выводы получены в режиме малого бюджета (50 вызовов оракула на PMO) и на конкретных бенчмарках, поэтому переносить их на другие условия без проверки нельзя. Падение балла при скрытии подсказок говорит о роли извлекаемой информации, но не отменяет того, что популяционный агент без извлечения информации превосходит REINVENT при том же бюджете. Составной балл случайного блуждания на докинговом бенчмарке нужно читать как нижнюю границу, а не как итог оптимизации.
«Эти результаты подсказывают две недорогие проверки на здравый смысл: промпты для PMO, безопасные в отношении извлечения информации, и нижнюю планку в виде случайного блуждания для оптимизации на основе докинга.»
— Из аннотации статьи на arXiv