Large Discovery Model (LDM): архитектура ИИ для научных открытий обгоняет LLM-поиск
Научный поиск часто сводится к оптимизации дорогих в оценке целевых функций в обширных, структурированных и открытых пространствах гипотез, таких как молекулы, последовательности белков и компьютерные программы. Генеративные модели, включая большие языковые модели (LLM), задают богатые априорные распределения над такими пространствами, но их правдоподобия и самооценки, ненадёжный показатель как самой целевой функции, так и калиброванной неопределённости, особенно для новых кандидатов за пределами данных, на которых модель обучалась.
Чжунвэй Юй (Zhongwei Yu) с соавторами представили Large Discovery Model (LDM), эмпирически обоснованную рекуррентную архитектуру, которая совмещает генеративную модель с байесовской непараметрической суррогатной моделью вознаграждения. Генеративная часть предлагает и дорабатывает варианты решений, а суррогат прогнозирует их качество и оценивает неопределённость; вместе они формируют оценку с учётом неопределённости, которая направляет генерацию, доработку и отбор кандидатов. Память о найденных решениях и сама суррогатная модель непрерывно обновляются по мере поступления каждого нового экспериментального наблюдения.
Авторы протестировали LDM в трёх сценариях с разными типами дизайна и целевыми функциями: обучение нейросетей, дизайн антител и молекулярная оптимизация. По сравнению с LLM-рефлексией без суррогата и традиционным статистическим поиском, LDM даёт в 2,4 раза большее снижение ошибки валидации (BPB) в задаче обучения нейросетей, снижает энергию связывания на 18,2% в задаче дизайна антител и даёт более чем 60-процентный относительный прирост многокритериальных показателей в молекулярной оптимизации.
По заявлению авторов, эти результаты говорят о том, что LDM может служить универсальным движком научных открытий для эффективного поиска в открытых пространствах гипотез.
Ключевые факты
- Представлена архитектура Large Discovery Model (LDM), рекуррентная модель, совмещающая генеративную модель с байесовским непараметрическим суррогатом вознаграждения.
- Генеративная часть предлагает и дорабатывает кандидатов, суррогат оценивает их качество и неопределённость; итоговая оценка с учётом неопределённости направляет генерацию, доработку и отбор.
- Память о найденных решениях и суррогатная модель обновляются при поступлении каждого нового экспериментального наблюдения.
- На задаче обучения нейросетей LDM даёт в 2,4 раза большее снижение ошибки валидации (BPB), чем LLM-рефлексия или классический статистический поиск.
- В дизайне антител энергия связывания снижена на 18,2%, а в молекулярной оптимизации многокритериальные показатели выросли более чем на 60%, оба результата относительно тех же базовых методов.
Почему это важно
LLM хорошо справляются с генерацией кандидатов в широких структурированных пространствах гипотез, молекулах, белковых последовательностях, программах, но их правдоподобия и самооценки ненадёжны как показатель качества решения и неопределённости, особенно для кандидатов, непохожих на данные обучения. LDM закрывает этот пробел: отдельная байесовская суррогатная модель прогнозирует качество кандидата и явно оценивает неопределённость этого прогноза, а не полагается на самооценку генеративной модели.
Кому это важно
Исследователям и инженерам, которые ведут дорогой по вычислениям или экспериментам поиск в открытых пространствах гипотез, в частности, в задачах, где авторы проверили подход: обучение нейросетей, дизайн антител и молекулярная оптимизация.
Как это применить
Архитектура тестировалась на трёх сценариях. В обучении нейросетей LDM даёт в 2,4 раза большее снижение ошибки валидации (BPB), чем LLM-рефлексия или традиционный статистический поиск. В дизайне антител энергия связывания снижается на 18,2% относительно тех же базовых методов. В молекулярной оптимизации относительный прирост многокритериальных показателей превышает 60%. Во всех трёх случаях память о найденных решениях и суррогатная модель обновляются по мере поступления новых экспериментальных данных, то есть подход рассчитан на итеративный цикл экспериментов, а не на разовый прогноз.
Можно ли доверять
Источник, препринт (страница на HuggingFace Papers, arXiv 2608.15669), полный текст аннотации доступен и извлечён без искажений. Автор работы известен из метаданных источника (Чжунвэй Юй), но аннотация не называет организации напрямую, сведения об организациях в тексте отсутствуют. Все приведённые цифры и выводы принадлежат самим авторам работы; сведений о независимой проверке или воспроизведении результатов сторонними исследователями в тексте нет.
Риски и подводные камни
Аннотация не раскрывает размер датасетов, число параметров модели, объём вычислений на обучение, дату публикации и абсолютные показатели самих базовых методов (LLM-рефлексии и статистического поиска), приведены только относительные разрывы против LDM. Без этих данных независимо оценить масштаб и воспроизводимость результата затруднительно.