OpenAI представила MedChemBench: тест нейросетей на химии лекарств

OpenAI представила MedChemBench: тест нейросетей на химии лекарств

OpenAI представила MedChemBench, бенчмарк (набор тестов) для оценки того, как ИИ-модели рассуждают в задачах медицинской химии. Он проверяет, умеют ли модели связывать структуру молекулы с экспериментальными данными, чтобы объяснять результаты, сравнивать соединения и предсказывать их свойства. Исходная проблема, по словам OpenAI, в том, что улучшение одного свойства молекулы может ухудшить другое: вещество может сильно действовать на белок, связанный с болезнью, но плохо усваиваться или слишком быстро разрушаться в организме. Химики решают такие компромиссы, проектируя, синтезируя и проверяя родственные соединения, а затем решая, что пробовать дальше.

Бенчмарк состоит из 99 задач, взятых из опубликованных исследований: он опирается на 117 статей и патентов и включает 761 отдельную молекулярную структуру. В большинстве задач модель получает контекст на выбранный момент исследовательской программы: биологическую мишень, цели исследователей, уже изученные соединения и отдельные экспериментальные результаты. Оцениваются четыре компонента: молекулярные структуры (правильные связи между атомами и заданная стереохимия), научное рассуждение (объяснения, опирающиеся на предоставленные данные), ранжирование и выбор соединений, а также предсказание свойств (совпадение с числовыми значениями и категориями из источников, включая измеренные и расчётные свойства). За предсказания начисляется частичный балл в зависимости от близости к измеренным значениям; измерения, уже данные в условии, тоже нужно воспроизвести верно.

Пример задачи, исследования ингибиторов PRMT5, белка, который изучают при разработке лекарств от рака. Модель получает структуры и результаты прежних экспериментов и должна предсказать для трёх родственных соединений, насколько сильно они блокируют PRMT5 в клетках, насколько легко проходят через клеточный барьер и как быстро их расщепляют ферменты печени в лабораторном тесте. Скрытые от модели последующие эксперименты показали компромисс: соединение 23 блокировало PRMT5 в клетках при меньшей концентрации, а соединение 24 легче проходило клеточный барьер и медленнее разрушалось в тесте с печёночными ферментами.

Второй пример, на восстановление структуры. Нужно собрать молекулу из центральной структуры и двух присоединённых групп, сохранив 18-атомное кольцо. На уровне рассуждения xhigh, самом высоком из общих для всех одиннадцати моделей, GPT-6 Astra правильно восстановила это соединение во всех десяти ответах, а GPT-5.6 Sol и GPT-5.6 Luna не справились ни в одном из десяти. В показанных ответах GPT-5.6 Sol получила 15-атомное кольцо, а GPT-5.6 Luna разбила молекулу на два несвязанных фрагмента. Такие ошибки меняют саму молекулу, которую модель потом анализирует.

Результаты. OpenAI оценила одиннадцать собственных GPT-моделей при разных настройках усилия рассуждения. Во вводном абзаце на уровне xhigh GPT-6.2 Astra получила 84.5% доступных баллов на всём бенчмарке против 83.3% у GPT-6 Astra, 82.0% у GPT-6.1 Sol и 58.2% у GPT-5.6 Sol. Ниже в тексте для общего уровня xhigh приведены 83.3% у Astra, 82.0% у GPT-6.1 Sol, 75.1% у GPT-6.1 Terra и 58.2% у GPT-5.6 Sol; при максимальном усилии GPT-6 Astra достигла 83.8%. Более высокие настройки рассуждения улучшали результат, но большие различия между моделями сохранялись. По компонентам Astra лучше всего справлялась с восстановлением структур (95.4% баллов при xhigh) и с объяснением научных данных, а за выбор соединений и предсказание числовых свойств получила лишь около половины баллов. OpenAI оговаривает, что для этих категорий задачи и правила оценки разные, но запас для улучшения предсказаний и выбора соединений существенный.

Ограничения названы самой OpenAI: результаты не показывают, могут ли модели открывать новые лекарства или улучшать решения в лаборатории. Предварительное знакомство моделей с опубликованными источниками исключить нельзя, а каждый ответ был единственной попыткой без инструментов, обратной связи и новых экспериментов. Бенчмарк оценивает рассуждение на исторических данных, а не реальный поиск лекарств.

Ключевые факты

  • MedChemBench, 99 задач по медицинской химии из 117 статей и патентов, 761 отдельная молекулярная структура; оцениваются структуры, рассуждение, выбор соединений и предсказание свойств.
  • OpenAI проверила одиннадцать своих GPT-моделей: на всём бенчмарке при xhigh GPT-6.2 Astra получила 84.5% доступных баллов, GPT-6 Astra, 83.3%, GPT-6.1 Sol, 82.0%, GPT-5.6 Sol, 58.2%.
  • Astra взяла 95.4% баллов за восстановление структур, но лишь около половины, за выбор соединений и предсказание числовых свойств.
  • В задаче с 18-атомным кольцом GPT-6 Astra справилась в десяти ответах из десяти, а GPT-5.6 Sol и GPT-5.6 Luna, ни в одном.
  • OpenAI прямо пишет: результаты не доказывают, что модели способны открывать новые лекарства или улучшать лабораторные решения.

Почему это важно

Задачи медицинской химии требуют не просто знать факты, а держать в голове компромисс между свойствами молекулы: активность против белка, всасывание, скорость разрушения. MedChemBench пытается измерить именно это на реальных данных из опубликованных работ. Главный вывод OpenAI, модели уже уверенно читают и воспроизводят структуры молекул, но выбор соединений и предсказание числовых свойств остаются слабым местом (около половины баллов у Astra).

Кому это важно

Исследователям, которые оценивают ИИ для химии и разработки лекарств, и тем, кто сравнивает поколения GPT-моделей: разрыв между GPT-5.6 Sol (58.2%) и GPT-6.1 Sol (82.0%) в тесте большой. Для остальных читателей это ориентир, где ИИ в науке уже силён, а где нет.

Как это применить

Прямого инструмента здесь нет: в тексте не сказано, опубликован ли бенчмарк для внешних исследователей и как получить к нему доступ, а о подробностях упоминается лишь «наш препринт». Практический вывод, читать результаты как карту сильных и слабых сторон моделей: восстановление структур и объяснение данных надёжнее, выбор соединений и числовые предсказания требуют осторожности.

Можно ли доверять

Это пост самой OpenAI о собственном бенчмарке, и оцениваются только её GPT-модели; моделей других лабораторий и результатов химиков-экспертов в тексте нет. Есть и неясность в цифрах: во вводном абзаце 84.5% приписаны GPT-6.2 Astra, а ниже для «Astra» на общем уровне xhigh указано 83.3%; текст эти значения не сводит. Сама OpenAI оговаривает, что знакомство моделей с источниками исключить нельзя.

Риски и подводные камни

Каждый ответ, одна попытка без инструментов, обратной связи и новых экспериментов, поэтому результат не отражает реальную работу в лаборатории. Бенчмарк построен на историческом материале, и OpenAI подчёркивает, что он не доказывает способность модели открывать лекарства. Категории выбора и предсказания используют другие задачи и правила оценки, поэтому прямо сравнивать их проценты со структурным результатом нельзя.

«Эти результаты не позволяют установить, могут ли модели открывать новые лекарства или улучшать решения в лаборатории.»

— OpenAI, пост о MedChemBench