Кого теряет порог решения: недодиагностика редких подгрупп при классификации рентгена грудной клетки

Работа посвящена аудиту справедливости (fairness) моделей многометочной классификации рентгена грудной клетки (CXR) с длиннохвостым распределением диагнозов, то есть когда часть находок встречается очень редко. Проблема в том, что стандартные метрики ранжирования (AUC, mAP) могут выглядеть приемлемо в среднем, но при переводе модели из «скоринга» (вероятность диагноза) в конкретное решение (болен/здоров) с помощью порога отсечения редкие пациенты с положительным диагнозом нередко остаются НИЖЕ этого порога и просто пропускаются, особенно если они ещё и принадлежат к определённой демографической подгруппе.

Авторы изучают это как вопрос аудита «после конвертации», используя два датасета, VinDr-CXR и MIMIC-CXR/CXR-LT, и выстраивают то, что они называют «диагностической лестницей»: последовательно разделяют и сравнивают четыре типа вмешательств, методы борьбы с длинным хвостом на уровне класса диагноза, взвешивание с учётом подгрупп (subgroup-aware weighting), групповую устойчивую оптимизацию (group robustness, в частности GroupDRO) и, отдельно, выбор порога решения именно для хвостовых (редких) классов.

На датасете VinDr-CXR комбинация взвешивания по хвостовым подгруппам и отдельного, «хвостово-осознанного» порога дала следующие результаты: доля пропущенных положительных случаев (FNR, false negative rate) по редким классам снизилась с 0.665 до 0.269; худшая FNR по подгруппам пола, с 0.705 до 0.157; худшая FNR по подгруппам возраста, с 0.822 до 0.133. При этом общее качество ранжирования (macro-mAP) даже выросло, с 0.611 до 0.635, то есть улучшение справедливости не потребовало жертвовать общей точностью.

На втором датасете, MIMIC-CXR/CXR-LT, тот же самый переход от простого скоринга к специально подобранному порогу снизил FNR по редким классам куда скромнее, с 0.866 до 0.741, и хотя худшая FNR по подгруппам пола, возраста, расы и типа страхового покрытия тоже снизилась, остаточная доля пропущенных положительных случаев осталась высокой.

Парные bootstrap-сравнения на VinDr-CXR статистически подтверждают снижение FNR после введения порога. Контрольные прогоны с GroupDRO (методом групповой устойчивой оптимизации) показали, что сама по себе агрегированная групповая устойчивость НЕ устраняет пропуски редких подгрупп в этой задаче, то есть недостаточно просто «сделать модель устойчивее к группам» без прицельной работы именно с порогом решения.

Итоговый вывод авторов намеренно узкий и осторожный: справедливость диагностики редких находок на рентгене грудной клетки зависит одновременно от конкретной находки (диагноза), конкретной демографической подгруппы и конкретного рабочего порога, а не только от частоты метки в обучающих данных или от общих метрик ранжирования.

Ключевые факты

Даже при приемлемых агрегированных метриках ранжирования (AUC, mAP) модель классификации рентгена грудной клетки может систематически пропускать редких пациентов с положительным диагнозом из-за того, где проведён порог принятия решения, особенно внутри демографических подгрупп.
На VinDr-CXR взвешивание по хвостовым подгруппам плюс отдельный порог для редких классов снизили FNR (долю пропущенных положительных случаев) по хвосту с 0.665 до 0.269, худшую FNR по полу, с 0.705 до 0.157, по возрасту, с 0.822 до 0.133, при этом macro-mAP выросла с 0.611 до 0.635.
На MIMIC-CXR/CXR-LT тот же подход снизил FNR по хвостовым классам лишь с 0.866 до 0.741, остаточная доля пропущенных случаев осталась высокой.
Контрольные прогоны с GroupDRO показали: одна лишь групповая устойчивая оптимизация без прицельной работы с порогом не устраняет пропуски редких подгрупп.
Авторы формулируют узкий вывод: справедливость диагностики редких находок зависит совместно от диагноза, подгруппы и порога решения, а не только от частоты метки или метрик ранжирования.

Почему это важно

Медицинские ИИ-модели диагностики по снимкам обычно оценивают агрегированными метриками ранжирования вроде AUC или mAP, которые усредняют качество по всем случаям. Работа показывает, что за приемлемым средним показателем может прятаться систематический пропуск редких, но клинически важных диагнозов, причём именно в момент перевода модели из «вероятностной оценки» в конкретное бинарное решение через порог отсечения. Проблема усиливается, если редкий диагноз встречается ещё и в демографической подгруппе (по полу, возрасту, расе, типу страхования).

Кому это важно

Разработчикам и валидаторам медицинских систем компьютерного зрения для рентгена грудной клетки, больницам и клиникам, внедряющим такие модели, регуляторам и аудиторам, проверяющим готовность моделей к клиническому использованию, а также исследователям в области справедливости (fairness) машинного обучения в медицине.

Как это применить

Авторы предлагают «диагностическую лестницу», последовательное сравнение вмешательств: методы борьбы с длинным хвостом на уровне классов, взвешивание с учётом подгрупп, групповая устойчивая оптимизация (GroupDRO) и отдельный подбор порога решения именно для редких классов. Практический вывод: наибольший выигрыш даёт не один метод, а связка «взвешивание по хвостовым подгруппам + отдельный порог для хвоста», на VinDr-CXR она одновременно снизила пропуски редких диагнозов и улучшила общее качество ранжирования.

Можно ли доверять

Результаты на VinDr-CXR подкреплены статистически значимыми парными bootstrap-сравнениями. Но эффект воспроизводится не полностью: на втором датасете, MIMIC-CXR/CXR-LT, снижение доли пропущенных случаев оказалось намного скромнее, а остаточный уровень пропусков остался высоким. Это указывает, что результат зависит от конкретных данных и не является универсальным решением проблемы.

Риски и подводные камни

Даже после всех улучшений на MIMIC-CXR/CXR-LT доля пропущенных положительных случаев остаётся высокой, проблема смягчена, но не решена. Контрольные прогоны показывают, что модный метод групповой устойчивости (GroupDRO) сам по себе не спасает от пропусков редких подгрупп без прицельной настройки порога. Авторы явно ограничивают вывод узким аудит-утверждением и предостерегают от того, чтобы полагаться только на частоту меток в данных или на агрегированные метрики ранжирования при оценке готовности модели к внедрению.