CORD: новый метод не даёт калибровке менять предсказания нейросети

Калибровка после обучения (post-hoc calibration), стандартный приём: она подправляет уверенность (confidence) классификатора, чтобы заявленная вероятность класса лучше соответствовала реальной точности. Проблема в том, что для многоклассовых моделей такая калибровка может незаметно поменять и сам топ-1 ответ, тот класс, который модель считает наиболее вероятным. Точность (accuracy) показывает только итоговый эффект таких перемен на правильность ответов, но не то, как часто предсказание вообще меняется. Авторы вводят отдельную метрику, Top-1 Prediction Change Rate (TPCR, частота смены топ-1 предсказания), которая измеряет именно это.

Чтобы решить проблему, авторы предлагают CORD (Calibrator-Output Repair for Top-1 Decision Preservation), первый, по их словам, адаптер, который навешивается поверх уже обученного калибратора и гарантирует, что итоговое предсказание не изменится ни при каких условиях. Работает он так: по исходному (некалиброванному) и калиброванному выходам модели CORD определяет, сколько вероятностной массы нужно оставить на исходном топ-1 классе; остаток массы распределяется по остальным классам пропорционально калиброванному распределению. В результате получается «починенный» вектор вероятностей, чей максимум (argmax) всегда совпадает с исходным предсказанием модели. На калибровочной выборке CORD дополнительно старается сохранить среднюю вероятностную массу, которую калиброванные выходы отводили на исходные предсказания, там, где это возможно.

Важная деталь: адаптер не меняет ни сам обученный калибратор, ни его прямой выход, не обучает никакого дополнительного отображения с учителем и не требует ни одного гиперпараметра, который нужно было бы подбирать вручную или на валидации.

Метод проверили на CIFAR-10/100 и ImageNet-1K. По построению CORD добивается нулевого TPCR, предсказания в принципе не меняются, и при этом снижает средние значения трёх метрик качества калибровки: ECE (Expected Calibration Error, ошибка калибровки), NLL (negative log-likelihood, отрицательное логарифмическое правдоподобие) и Brier score (счёт Брайера), по сравнению с прямыми калиброванными выходами на каждом из наборов данных. Конкретные числовые значения этих метрик в тексте источника не приводятся, сказано только, что выигрыш CORD над прямыми выходами достигается на каждом датасете. Выигрыш сохраняется и при сдвиге распределения данных (distribution shift), и при разных размерах калибровочной выборки.

Код авторы выложили в открытый доступ на GitHub (github.com/labhai/CORD); сроки публикации кода и данные о венью/дате публикации самой работы в тексте источника не указаны, как и имена авторов и их аффилиации, единственное имя автора значится в метаданных карточки на Hugging Face (Daehwan Kim), но не в самом тексте статьи.

Ключевые факты

Пост-калибровка (post-hoc calibration) вероятностей классификатора может незаметно менять топ-1 предсказание модели, обычная метрика accuracy этого не видит
Авторы вводят метрику TPCR (Top-1 Prediction Change Rate), она измеряет, как часто калибровка меняет предсказанный класс
Предложенный адаптер CORD чинит калиброванный вектор вероятностей так, что его argmax всегда совпадает с исходным предсказанием, по построению даёт нулевой TPCR
На CIFAR-10/100 и ImageNet-1K CORD снижает средние ECE, NLL и Brier score относительно прямых калиброванных выходов на каждом датасете; выигрыш держится при сдвиге распределения и разных размерах калибровочной выборки
Адаптер не меняет сам калибратор, не требует ручных гиперпараметров и дообучения; код выложен на GitHub

Почему это важно

Работа указывает на слепое пятно в том, как обычно оценивают калибровку моделей: метрики вроде accuracy или ECE смотрят на итоговое качество, но не замечают, что калибровка попутно может подменить сам ответ модели, то есть класс, который она предсказывает. Введённая метрика TPCR впервые явно измеряет эту частоту, а CORD показывает, что сохранение исходного предсказания и улучшение калибровки, не взаимоисключающие вещи: можно получить и то, и другое одновременно, без компромисса.

Кому это важно

Это релевантно инженерам и исследователям, которые встраивают классификаторы в системы, где важен не только процент уверенности, а именно итоговая метка класса, например, там, где решение по топ-1 ответу запускает конкретное действие или где смена ответа между версией без калибровки и с калибровкой недопустима по требованиям продукта или регуляторики.

Как это применить

CORD, постфактум-адаптер: он берёт уже обученный калибратор и его выход как есть, ничего в нём не меняя, и добавляется отдельным шагом поверх. Ему не нужны ни дополнительное обучение с учителем, ни подбор гиперпараметров на валидации, только исходный и калиброванный векторы вероятностей. Авторы выложили код в открытый доступ на GitHub (github.com/labhai/CORD), так что метод можно опробовать поверх собственного калибратора.

Можно ли доверять

Источник, научная работа с полным текстом аннотации (source_quality: full), опубликованная на Hugging Face Papers; она заявляет проверку на трёх признанных бенчмарках компьютерного зрения (CIFAR-10, CIFAR-100, ImageNet-1K) с несколькими метриками (ECE, NLL, Brier) и с проверкой устойчивости при сдвиге распределения и разных размерах калибровочной выборки. При этом сам текст источника не называет имена авторов, их организации, место и дату публикации, единственное имя (Daehwan Kim) взято из карточки Hugging Face, а не из текста статьи, поэтому состав авторского коллектива и его принадлежность здесь не утверждаются.

Риски и подводные камни

В доступном тексте источника нет конкретных числовых значений ECE, NLL и Brier score ни для базовых калибраторов, ни для CORD, есть только утверждение, что средние значения CORD ниже, чем у прямых калиброванных выходов, на каждом датасете; насколько велик выигрыш в абсолютных цифрах, по этому тексту не оценить. Также неизвестны venue и дата публикации работы и сроки, в которые обновлялся код на GitHub.