Незаметный сбой в калиброванном виртуальном скрининге: маргинальное конформное предсказание даёт заниженное покрытие для миноритарного класса, а классово-условная поправка это устраняет

Конформное предсказание, статистический метод, который добавляет к прогнозу ИИ-модели формальную гарантию надёжности: если задать допустимую ошибку α, метод возвращает не единственный ответ, а множество вероятных меток, которое с вероятностью не менее 1 − α содержит истинный ответ (это называют «покрытием»). Метод набирает популярность в разработке лекарств, как способ дать модели виртуального скрининга, предсказывающей, например, токсичность соединения или его способность проникать через биологические барьеры, честную и поддающуюся проверке оценку неопределённости.

Авторы статьи показывают, что эта гарантия может быть опасно обманчивой на несбалансированных данных, а именно такие данные типичны для скрининга лекарств, где, скажем, токсичных или проникающих через барьер соединений в выборке заметно меньше, чем безопасных или непроникающих. На четырёх датасетах стандартное («маргинальное») конформное предсказание в среднем действительно достигает заявленной цели, 90% общего покрытия. Но при этом реальное покрытие миноритарного, редкого класса проваливается: до 64,8% на датасете о проникновении через гематоэнцефалический барьер (ГЭБ) и до 4,2% на датасете о токсичности, выявленной в клинических испытаниях, то есть на последнем датасете редкий класс фактически остаётся без защиты гарантии, хотя общий показатель выглядит благополучно.

Проблема не привязана к одной архитектуре модели: она воспроизводится и на случайном лесе, и на графовой нейросети, и на предобученной, но не дообучаемой («замороженной») химической языковой модели, во всех трёх случаях эффект статистически значим (p < 0,001). Тяжесть провала определяется не архитектурой модели, а исходной калибровкой на редких метках. Авторы вывели математическое тождество (аналог закона сохранения): нехватка покрытия у миноритарного класса в точности равна избытку покрытия у мажоритарного класса, умноженному на коэффициент дисбаланса классов. Эта формула предсказывает измеренный разрыв покрытия с точностью до одного процентного пункта и верно упорядочивает датасеты по тяжести проблемы.

Сбой сохраняется и при более строгом, реалистичном разбиении данных, по молекулярным каркасам (когда обучающая и тестовая выборки не содержат структурно похожих молекул), и при использовании другой функции конформной оценки. При этом суммарная точность модели и общий уровень покрытия остаются обманчиво высокими, поэтому проблему легко не заметить при стандартной проверке качества модели.

Решение, которое предлагают и проверяют авторы, конформное предсказание с отдельной калибровкой для каждого класса, классово-условное (Mondrian conformal prediction): оно полностью восстанавливает покрытие миноритарного класса до целевого уровня на всех четырёх датасетах ценой умеренного увеличения размера предсказанного множества меток. Авторы также локализовали источник провала: чаще всего он возникает на «универсальных» молекулярных каркасах, например, простых бензольных и пиридиновых кольцах, которые почти одинаково часто встречаются и в токсичных, и в безопасных соединениях, из-за чего модели трудно их разделить. Для практиков предложен диагностический показатель, выражаемый одним числом, который позволяет быстро проверить модель на такой перекос. С помощью модели издержек авторы также показали: если на подозрительных, плохо покрытых соединениях модель просто отказывается от прогноза вместо ложно уверенного ответа, скрининговая кампания в целом переходит из чистого убытка в чистую прибыль.

Ключевые факты

На четырёх датасетах виртуального скрининга маргинальное конформное предсказание держит общий целевой уровень покрытия (90%), но фактическое покрытие миноритарного класса падает до 64,8% на датасете о проникновении через гематоэнцефалический барьер и до 4,2% на датасете о токсичности по данным клинических испытаний, редкий класс там почти не защищён гарантией.
Эффект воспроизводится на трёх разных типах моделей, случайном лесе, графовой нейросети и замороженной химической языковой модели, статистически значимо (p < 0,001) во всех случаях; тяжесть проблемы зависит от исходной калибровки модели на редких метках, а не от архитектуры.
Авторы вывели тождество сохранения: нехватка покрытия у миноритарного класса математически равна избытку покрытия у мажоритарного класса, умноженному на коэффициент дисбаланса классов, формула предсказывает измеренный разрыв с точностью до одного процентного пункта.
Проблема сохраняется при реалистичном разбиении данных по молекулярным каркасам и при другой функции конформной оценки, при этом суммарная точность и общее покрытие выглядят нормально, поэтому сбой легко не заметить при стандартной проверке качества модели.
Классово-условное конформное предсказание полностью восстанавливает покрытие миноритарного класса на всех датасетах ценой умеренного роста размера предсказанного множества; причину провала связали с «универсальными» бензольными и пиридиновыми кольцами, общими для обоих классов, а отказ от прогноза на таких соединениях, по расчётам с моделью издержек, переводит скрининговую кампанию из чистого убытка в чистую прибыль.

Почему это важно

Конформное предсказание рекламируется как способ дать ИИ-модели формальную, статистически честную гарантию надёжности прогноза, именно поэтому его всё активнее используют в скрининге лекарств для оценки токсичности, проникающей способности и других свойств соединений. Статья показывает, что эта гарантия может незаметно ломаться там, где она нужнее всего: на несбалансированных данных, где интересующий редкий класс (например, токсичные или ГЭБ-проникающие соединения), как раз тот, ошибку в котором дороже всего допустить. При этом ни точность модели, ни средний показатель покрытия не сигнализируют о проблеме, она полностью скрыта за агрегированными метриками, отсюда и «тихий» характер сбоя из заголовка статьи.

Кому это важно

В первую очередь, исследователям и инженерам, которые строят модели виртуального скрининга (предсказание токсичности, проникновения через гематоэнцефалический барьер и подобных свойств соединений) и полагаются на конформное предсказание как на гарантию надёжности. Также, командам разработки лекарств, которые на основе таких гарантий решают, доверять конкретному прогнозу модели или нет. Наконец, поскольку математический механизм провала (тождество сохранения) завязан на сам факт дисбаланса классов, а не на химическую специфику, вывод касается любых специалистов по машинному обучению, применяющих конформное предсказание к несбалансированной классификации за пределами фармацевтики.

Как это применить

Практический протокол, который предлагают авторы: не полагаться на маргинальное (усреднённое по всем классам) конформное предсказание, если данные несбалансированы, а переходить на классово-условное (Mondrian conformal prediction), которое калибрует порог отдельно для каждого класса; использовать предложенный авторами диагностический показатель на одно число, чтобы ещё до запуска в продакшн быстро проверить модель на такой перекос; отдельно отслеживать соединения на «универсальных» молекулярных каркасах (простые бензольные и пиридиновые кольца), где смешение классов особенно велико, и рассмотреть отказ от прогноза на таких соединениях, по расчётам авторов с моделью издержек, это способно перевести скрининговую кампанию из чистого убытка в чистую прибыль.

Можно ли доверять

Аргументы в пользу выводов: эффект проверен на четырёх разных датасетах и трёх принципиально разных архитектурах моделей (случайный лес, графовая нейросеть, замороженная химическая языковая модель) со статистической значимостью p < 0,001 в каждом случае; он сохраняется при более строгом, реалистичном разбиении данных по молекулярным каркасам и при смене функции конформной оценки. Главный аргумент, выведено и проверено математическое тождество, которое предсказывает величину разрыва покрытия с точностью до одного процентного пункта, то есть находка объяснена не только эмпирически, но и аналитически, а не является случайным артефактом одного эксперимента. Из оговорок: это препринт на arXiv, и по тексту источника не видно, прошла ли работа независимое рецензирование.

Риски и подводные камни

Главный риск описан в самой статье: команды, которые используют стандартное (маргинальное) конформное предсказание, могут искренне считать свою модель откалиброванной и надёжной, глядя на общий показатель покрытия и точности, и не подозревать, что для редкого, зачастую самого клинически важного класса (токсичные соединения или соединения с нужной проникающей способностью) гарантия почти не работает. У предложенного исправления есть цена: классово-условное конформное предсказание восстанавливает надёжность за счёт увеличения размера предсказанного множества меток, то есть модель становится менее определённой в своих ответах. А стратегия отказа от прогноза на подозрительных соединениях экономически оправдана только вместе с дополнительной инфраструктурой, моделью издержек, иначе есть риск просто отбрасывать полезных кандидатов вместо экономии.

«Сбой сохраняется при реалистичных разбиениях по молекулярным каркасам и при использовании другой конформной оценки, а суммарная точность и общее покрытие остаются обманчиво высокими, именно поэтому его так легко не заметить.»

— A Quiet Failure in Calibrated Virtual Screening: Marginal Conformal Prediction Under-Covers the Minority Class, and a Class-Conditional Fix Recovers It (arXiv:2607.06605)