ИИ в разработке лекарств: доказательств пользы пока мало
Блог на портале science.org разбирает новую статью, ссылка на неё ведёт на nature.com, имена авторов в тексте не названы, а сами они описаны как специалисты, которые разбираются в теме и, по словам автора блога, «не пытаются ничего продать». Их вывод: несмотря на то что в разработке лекарств уже разработано, применено и протестировано на бенчмарках множество методов ИИ, доказательств их клинически значимого эффекта пока «удручающе мало». Формулировка статьи, отрасль сейчас на стадии «отсутствия доказательств», а не обязательно «доказательства отсутствия»: пока никто не доказал, что реальная польза есть, но это не то же самое, что доказать, что её нет.
Одна из причин, качество и характер самих данных. Авторы статьи пишут, что особенности данных в разработке лекарств, смешивающие факторы, зависимость от условий конкретного эксперимента и эпистемическая непрозрачность (не всегда понятно, что именно эти данные отражают), могут быть не до конца понятны даже тем, кто эти данные моделирует, а значит не до конца понятны и ограничения самой разметки данных. Из-за этого исследователи склонны «верить на слово» разметке данных, и это напрямую бьёт по бенчмаркам, которыми в отрасли меряют прогресс: без них не с чем сравнивать новые методы с лучшими существующими результатами. В таких областях, как распознавание изображений и речи, прогресс на бенчмарках, как правило, действительно означал улучшение в реальном применении. С данными разработки лекарств, предупреждают авторы, эту связь стоит воспринимать с осторожностью.
Автор блога соглашается с выводом статьи и добавляет собственные наблюдения. Один из эффектов, который хотелось бы увидеть от ИИ, более качественные решения на самых ранних и самых дорогих по последствиям развилках: выбор направления болезни, мишени, ведущей молекулы, кандидата для клиники, дизайна испытания. Именно здесь, отмечает материал, нынешние технологии ИИ подготовлены хуже всего, хотя принципиальных препятствий к улучшению нет, просто путь к нему дольше и дороже, чем обещают пресс-релизы. Материал также указывает на удобную асимметрию в том, как отрасль объясняет успехи и неудачи: проекту с элементом ИИ, который получился, легко приписывают заслугу ИИ, а провальный проект с тем же ИИ-компонентом объясняют чем-то другим. Ключевым местом, где стоило бы увидеть реальный эффект ИИ, автор блога называет успешность II фазы клинических испытаний: ранние стадии разработки, это, по тексту материала, ошибка округления по деньгам и времени рядом с клиническими испытаниями, а основной отсев кандидатов происходит именно на II фазе. Ещё до эпохи ИИ, как отмечает автор блога, компании перепробовали множество громко названных корпоративных программ, чтобы поднять успешность именно этой фазы, и ни одна не дала заметного эффекта; период ИИ, по оценке автора блога, пока не стал исключением.
Центральная рекомендация статьи: фокус ИИ в разработке лекарств должен сместиться с того, что можно сделать, например, моделирования данных, которые просто удобно доступны, но вряд ли сдвинут дело с мёртвой точки, на то, что должно быть сделано, даже если для этого придётся генерировать существенный объём новых данных. Автор блога называет эту цель достойной, но отмечает, что для многих в отрасли естественная реакция, «начните вы»: такое обязательство дорого стоит при туманных шансах на успех, пусть и при потенциально очень высокой отдаче, а ещё оно означает, что инвесторам и прессе придётся честно сказать, результата ждать дольше, чем те привыкли слышать. Отдельно материал поднимает разницу между лигандом (веществом, которое связывается с биологической мишенью, но ещё не лекарством) и готовым лекарством, эта разница, по тексту материала, слишком часто совпадает с разрывом между целями доклинической и последующей клинической части разработки. Практический совет здесь, проверять кандидата во всё более реалистичных системах: если что-то хорошо работает на клонированном изолированном белке, важно понять, как это работает в живых клетках; если работает в клетках, что покажут грызуны; если и там всё в порядке, что покажет двухнедельное токсикологическое исследование на собаках, и только после этого имеет смысл говорить о людях. Найти системы ИИ, которые реально продвигают кандидата по этой цепочке и приводят к успеху в клинике, отмечает автор блога, непросто.
Статья также даёт рекомендации ИИ-компаниям и исследователям, которые автор блога называет заслуживающими прочтения. Общий посыл, думать не о том, какую технологию использовать, потому что она недавно появилась, а зачем именно её применять. Среди вопросов, которые статья предлагает задавать себе: сколько из применяемых техник реально способны повысить шансы на клинический успех и есть ли способ это оценить заранее; что нужно, чтобы получить такую оценку; не проще ли пойти коротким путём или поверить в собственный хайп, чем проверить эффект честно; не устроены ли используемые бенчмарки и цели так, что создают лишь иллюзию прогресса вместо настоящего результата; и хватит ли вообще времени и денег, чтобы довести дело до настоящего результата.
Итог автора блога: если бы принципы статьи реально применяли на практике, это принесло бы отрасли ощутимую пользу, уберегло бы часть инвесторов от неприятных сюрпризов и заметно снизило бы шум вокруг ИИ-хайпа в разработке лекарств. Но эту цель, как подчёркивает материал, разделяют далеко не все.
Ключевые факты
- Блог на science.org разбирает новую статью (ссылка ведёт на nature.com), авторов которой описывает как специалистов «без коммерческого интереса»: несмотря на множество разработанных и протестированных методов ИИ, доказательств их клинически значимого эффекта в разработке лекарств пока «удручающе мало», это стадия «отсутствия доказательств», а не обязательно «доказательства отсутствия».
- Главная рекомендация статьи, сместить фокус ИИ в разработке лекарств с моделирования удобных, уже доступных данных, которые вряд ли сдвинут дело с мёртвой точки, на данные, которые реально нужны, даже если их придётся генерировать заново.
- Ключевая методологическая проблема, качество и эпистемическая непрозрачность данных в разработке лекарств: их особенности часто не до конца понятны даже тем, кто эти данные моделирует, из-за чего разметке данных склонны верить на слово, а это подрывает бенчмарки отрасли, которые, в отличие от бенчмарков распознавания изображений и речи, не всегда надёжно предсказывают реальную клиническую пользу.
- Материал указывает на асимметрию в объяснении успехов и неудач ИИ-проектов и называет успешность II фазы клинических испытаний ключевой метрикой, на которую стоит смотреть: ранние стадии разработки пренебрежимо малы по деньгам и времени рядом с клиническими испытаниями, а основной отсев кандидатов происходит именно на II фазе.
- Статья предлагает разработчикам и инвесторам ИИ-инструментов для фармацевтики набор проверочных вопросов: реально ли повышает шансы на клинический успех применяемая техника, не подменяют ли удобные бенчмарки настоящую цель и хватит ли времени и денег, чтобы довести дело до сути, а не до имитации прогресса.
Почему это важно
ИИ в разработке лекарств несколько лет собирает громкие пресс-релизы и статьи с обещаниями прорыва. Материал на science.org, который опирается на новую статью профильных, но не названных по именам авторов «без коммерческого интереса», подводит трезвый итог: вопреки множеству разработанных и протестированных методов, доказательств их реального клинического эффекта пока «удручающе мало», авторы прямо называют это стадией «отсутствия доказательств», а не обязательно «доказательства отсутствия». Это важно, потому что именно на решениях с наибольшей ценой ошибки, выбор мишени, молекулы, кандидата, дизайна испытания, нынешние технологии ИИ, по наблюдению автора блога, подготовлены слабее всего, хотя принципиальных препятствий к улучшению нет. Материал не отрицает саму идею ИИ в фармацевтике, а требует честно отделить реальный прогресс от хайпа, который годами транслируют без обязательной проверки.
Кому это важно
В первую очередь, тем, кто строит или использует ИИ-инструменты для разработки лекарств: исследователям и командам в фармацевтике и биотехе, основателям и инвесторам профильных ИИ-стартапов, а также людям, которые проектируют бенчмарки и датасеты для отрасли. Отдельно это касается тех, кто оценивает такие проекты со стороны, инвесторов, журналистов и аналитиков, которые встречают пресс-релизы об ИИ в фармацевтике и должны понимать, какого рода доказательства за ними реально стоят. К обычным пользователям потребительских ИИ-продуктов материал прямого отношения не имеет: речь о специфике исследований и разработок в фармацевтике, а не о моделях общего назначения.
Как это применить
Статья, на которую опирается материал, формулирует практический набор проверочных вопросов для тех, кто строит или финансирует ИИ в разработке лекарств: применяется ли техника потому, что она реально повышает шанс клинического успеха, или просто потому, что недавно стала доступна; есть ли способ оценить этот шанс заранее и что для такой оценки нужно; не проще ли пойти коротким путём или поверить в собственный хайп, чем проверить эффект честно; не устроены ли бенчмарки и цели так, что создают лишь иллюзию прогресса; и хватит ли времени и денег, чтобы довести дело до настоящего результата, а не до удобной имитации. Отдельная практическая рекомендация, готовность генерировать новые, действительно нужные данные вместо повторного моделирования того, что просто удобно доступно, и последовательная проверка кандидатов во всё более реалистичных системах: живые клетки, грызуны, токсикология на собаках и только затем люди, вместо того чтобы останавливаться на ранних, дешёвых, но малопоказательных этапах.
Можно ли доверять
Источник, материал на портале science.org, который сам не приводит ни одной цифры: ни процентов, ни показателей успешности, ни денежных сумм, хотя именно успешность II фазы клинических испытаний в тексте названа ключевой метрикой, на которую стоило бы смотреть. Ни автор блога, ни авторы статьи, на которую ссылается материал (полный текст, по ссылке на nature.com), не названы по именам в доступном тексте; издание, где вышла статья, в прозе материала тоже не указано, есть только сама ссылка. Авторов статьи материал описывает как специалистов в теме, которые «не пытаются ничего продать», но это оценка самого блога, а не независимая проверка. По сути весь материал, качественный, а не количественный аргумент: он убедительно объясняет, почему доказательств пока мало, но сам новых эмпирических данных не добавляет, за конкретными цифрами и деталями нужно идти в саму статью по ссылке.
Риски и подводные камни
Главный риск при чтении, принять уверенный тон материала за само доказательство, хотя его тезис ровно обратный: доказательств клинической пользы ИИ в разработке лекарств пока попросту нет, ни в одну, ни в другую сторону. В тексте нет ни одной цифры и ни одного названия конкретной компании, лекарства или ИИ-модели, которые можно было бы проверить, все выводы качественные. Автор блога открыто соглашается с разбираемой статьёй, так что в материале нет ни одной противоположной точки зрения. Сам текст предупреждает и о другой ловушке, путать «доказательств пользы пока нет» с «пользы не будет никогда»: принципиальных причин, почему решения на основе ИИ нельзя улучшить, авторы не видят, просто путь к этому дольше и дороже, чем звучит в рекламных материалах отрасли. И главный методологический риск, на который указывает сама статья, бенчмарки в разработке лекарств строятся на данных с непрозрачным происхождением и неочевидными искажениями, чьей разметке в отрасли предпочитают верить на слово; в отличие от распознавания изображений и речи, прогресс на таких бенчмарках не обязательно означает прогресс в реальной клинической практике.
«Хотя было разработано, применено и протестировано на бенчмарках множество методов ИИ, доказательств их клинически значимого эффекта пока удручающе мало… Можно заключить, что мы всё ещё находимся на стадии «отсутствия доказательств» (а не обязательно «доказательства отсутствия»), когда речь идёт о превращении ИИ в клинически значимый результат.»
— авторы статьи, на которую ссылается блог science.org (полный текст, на nature.com)