Представлена Bonbon: модель белок-лигандных связей с эмерджентными способностями

В препринте представлена Bonbon, фундаментальная модель молекулярных взаимодействий. Она обучена примерно на 3,2 трлн токенов парных последовательностей белков и лигандов (молекул, которые связываются с белком). Обучение шло только на последовательностях: без задачно-специфичной разметки и без структурных координат.
Из единого пространства представлений Bonbon, по заявлению авторов, проявляет три эмерджентные способности без дообучения (zero-shot) на разных уровнях детализации. Первая, функциональная: определение механизма действия. Вторая, уровень остатков: локализация сайта связывания, включая различение ортостерических и аллостерических сайтов. Третья, уровень связей: отличие ковалентного взаимодействия от нековалентного. Все три способности, как сообщают авторы, переносятся на комплексы вне обучающего распределения.
Авторы провели контролируемые эксперименты по масштабированию на шести размерах модели, от 42 млн до 1,6 млрд параметров. Каждая из оценённых способностей резко подскакивает на самом большом масштабе по непрерывным метрикам, хотя потери предобучения снижаются плавно. Отсюда вывод авторов: одних законов масштабирования по потерям недостаточно, чтобы предсказать, когда появятся такие способности. Они возникают при соотношении параметров к токенам 1:2000, которое выбрано, чтобы учесть разреженность парных данных о биологических взаимодействиях.
Те же замороженные представления, по утверждению авторов, дают результат уровня state-of-the-art (лучший из известных) в предсказании связывания и аффинности, причём на пять порядков быстрее методов совместного фолдинга (co-folding).
В проспективной лабораторной проверке на девяти мишенях, связанных с заболеваниями, из семи семейств белков Bonbon показала 61,5% попаданий по кривой «доза, ответ» среди de novo соединений. Среди них оказались структурно новые молекулы, о подавлении этих белков которыми ранее не сообщалось, в том числе для мишеней вне обучающего распределения.
Ключевые факты
- Bonbon обучена примерно на 3,2 трлн токенов парных последовательностей белков и лигандов, без структурных координат и без задачно-специфичной разметки.
- Три способности без дообучения: механизм действия, локализация сайта связывания (в том числе ортостерический или аллостерический) и тип связи (ковалентная или нековалентная); все три, по заявлению авторов, переносятся на комплексы вне обучающего распределения.
- На шести масштабах от 42 млн до 1,6 млрд параметров все оценённые способности резко подскакивают на самом большом, хотя потери предобучения падают плавно; соотношение параметров к токенам, 1:2000.
- Замороженные представления дают state-of-the-art в предсказании связывания и аффинности на пять порядков быстрее методов совместного фолдинга.
- Лабораторная проверка на девяти мишенях из семи семейств белков: 61,5% попаданий по кривой «доза, ответ» среди de novo соединений.
Почему это важно
Идея работы в том, что для биологии молекулярных взаимодействий повторяется сюжет больших языковых моделей: обучение на огромном массиве данных без разметки порождает способности, которые не были заданы целью обучения. Авторы показывают это на данных о парах белок, лиганд. Второй тезис касается самого масштабирования: способности появляются скачком на самом большом из шести масштабов, хотя потери предобучения снижаются плавно, поэтому, по мнению авторов, одних законов масштабирования по потерям для прогноза их появления недостаточно.
Кому это важно
Прежде всего исследователям, которые работают с фундаментальными моделями в биологии и химии и занимаются вычислительным поиском лекарств: предсказанием связывания, аффинности, механизма действия и сайтов связывания. Интерес представляет и вывод о масштабировании для всех, кто планирует размеры моделей и объём данных в областях с разреженными данными.
Как это применить
Из текста источника видно только описание результатов. Сведений о выпуске кода, весов или данных, а также о доступе к модели в нём нет, поэтому практически воспроизвести или использовать Bonbon по этому описанию пока нельзя. Прикладной ориентир авторов: замороженные представления модели применимы для предсказания связывания и аффинности, а само обучение выстроено на парных последовательностях без структурных координат.
Можно ли доверять
Это препринт, и все цифры в пересказе, заявления самих авторов. В описании не названы авторы и организации, нет названий бенчмарков и методов, с которыми шло сравнение, и нет числовых значений выигрыша: заявлено лишь «state-of-the-art» (лучший известный результат). Для 61,5% попаданий не указаны ни базовый уровень для сравнения, ни число протестированных соединений. Независимой проверки результатов в источнике нет.
Риски и подводные камни
Показатель 61,5%, доля попаданий по кривой «доза, ответ» среди de novo соединений в лабораторной проверке; это не одобренный и не клинический инструмент поиска лекарств, и до готовых препаратов по этим данным далеко. Без базовой доли попаданий и числа проверенных соединений оценить масштаб результата трудно. Резкий скачок способностей наблюдается на самом большом из шести масштабов, поэтому закономерность опирается на небольшое число точек. Кроме того, не уточнено, с какими именно методами совместного фолдинга сравнивалась скорость в пять порядков.