Skip to content
Назад к результатам поиска

Калибровка модели

Автор метода
Platt; Guo et al.
Год
2017
Тип
Post-hoc probability correction technique
Семейство
Trustworthy ML

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Калибровка модели — это постфактумная техника, которая корректирует вероятностные выходные данные обученного классификатора таким образом, чтобы предсказанные оценки уверенности соответствовали эмпирическим частотам исходов.

Говорят, что классификатор идеально откалиброван, если среди всех предсказаний, сделанных с уверенностью p, ровно доля p из них верны. Систематическая раскалибровка современных глубоких нейронных сетей была строго задокументирована Guo et al. (2017), которые показали, что сети, обученные со стандартной функцией потерь перекрестной энтропии, имеют тенденцию быть излишне уверенными, и предложили масштабирование температуры как простое и эффективное средство.

Интуиция метода

Представьте себе синоптика, который в течение 100 разных дней говорит: «вероятность дождя 90%». Если только в 60 из этих дней действительно идет дождь, то синоптик излишне уверен. Калибровка подобна перекалибровке шкалы синоптика, так что когда он говорит 90%, то вероятность дождя действительно составляет 90%. Для нейронной сети это означает растяжение или сжатие ее необработанных оценок уверенности до тех пор, пока числа в метке не будут достоверно отражать, как часто сеть права.

История

Вероятностная калибровка имеет корни в масштабировании Платта (Platt, 1999), которое подгоняло сигмоиду к выходам SVM, и изотонической регрессии, примененной к классификаторам наивного байесовца. Современное рассмотрение было существенно продвинуто Guo et al. (2017), которые провели сравнительное тестирование ResNet и других архитектур и обнаружили систематическую избыточную уверенность, коррелирующую с мощностью модели. Их предложение по масштабированию температуры стало стандартной базовой линией, стимулируя последующие работы по калибровке, условной для класса, ансамблевой калибровке и калибровке при сдвиге распределения в конце 2010-х и 2020-х годах.

Когда применять

Используйте калибровку модели всякий раз, когда предсказанные вероятности будут использоваться в последующих решениях, зависящих от их номинальной стоимости, таких как стратификация медицинских рисков, пороговые значения оценки мошенничества или классификаторы, чувствительные к стоимости. Это особенно важно для глубоких нейронных сетей, которые, как продемонстрировали Guo et al. (2017), становятся все более уверенными по мере роста глубины и ширины модели. Калибровка предполагает наличие репрезентативного отложенного набора; она не может исправить сдвиг распределения между калибровочным и развертываемым распределениями. Когда вместо точечных вероятностей требуются интервалы предсказаний, вместо этого рассмотрите конформное предсказание.

Ограничения и замечания

  • Калибровка требует отложенного валидационного набора; небольшие калибровочные наборы дают ненадежные оценки температуры.
  • Масштабирование температуры предполагает, что достаточно одного глобального скаляра, что может не сработать, когда раскалибровка специфична для класса или региона.
  • ECE чувствительна к количеству и ширине интервалов, что делает сравнение исследований шумным без стандартизации.
  • Калибровка не улучшает резкость или дискриминационную способность; модель с плохой дискриминацией остается таковой и после калибровки.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Масштабирование температуры добавляет всего один параметр и не может снизить точность классификации, что делает его чрезвычайно легким.
  • ECE предоставляет интерпретируемый, действенный диагностический показатель, количественно определяющий раскалибровку до и после коррекции.
  • Постфактумная калибровка не зависит от модели и может быть применена к любому предварительно обученному классификатору без переобучения.
  • Хорошо откалиброванные вероятности обеспечивают надежный выбор пороговых значений и расчеты ожидаемой стоимости в последующих конвейерах.

Применение

  • Системы медицинской диагностики, где раскалиброванные оценки риска приводят к неправильным пороговым значениям лечения.
  • Кредитный скоринг и обнаружение мошенничества, где выходные вероятности определяют решения о приеме/отклонении, чувствительные к стоимости.
  • Классификаторы обработки естественного языка, где требуется агрегирование выходных данных модели с учетом уверенности по общей шкале вероятностей.
  • Конвейеры обнаружения объектов, которые используют пороговые значения уверенности для фильтрации кандидатов на обнаружение перед последующим рассуждением.
  • Ансамблевые и федеративные настройки обучения, где выходные данные нескольких моделей должны быть объединены по общей шкале вероятностей.

Как это работает

Как это работает

1

Для каждого примера из валидационного набора извлеките максимальную вероятность softmax по всем классам как заявленную моделью уверенность. Эта скалярная величина представляет собой степень уверенности модели в своем лучшем предсказании и служит входными данными для конвейера калибровки.

Формула
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)
2

Разделите предсказания на M интервалов одинаковой ширины по уровню уверенности. Для каждого интервала вычислите разрыв между средней уверенностью и средней точностью, затем возьмите взвешенное среднее по интервалам. Полученная ошибка калибровки (Expected Calibration Error, ECE) является основным диагностическим показателем: более низкое значение ECE указывает на лучшее соответствие между предсказанными вероятностями и наблюдаемыми частотами.

Формула
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
3

Разделите вектор логитов до softmax на один обучаемый скаляр T перед применением softmax. Когда T больше 1, распределение сглаживается, уменьшая излишнюю уверенность; когда T меньше 1, оно становится более резким. Масштабирование температуры не изменяет порядок предсказаний, оставляя точность неизменной, но улучшая калибровку.

Формула
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0
4

Найдите оптимальную температуру T*, минимизируя отрицательное логарифмическое правдоподобие (NLL) отложенного валидационного набора. Это одномерная задача выпуклой оптимизации, эффективно решаемая с помощью градиентного спуска или поиска по линии. Полученное значение T* затем фиксируется и применяется во время инференса ко всем будущим предсказаниям.

Формула
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)

Частые ошибки

  • Калибровка на тех же данных, что использовались для обучения, приводит к переобучению и ложно низкому ECE на обучающем наборе.
  • Использование откалиброванных вероятностей как оценок неопределенности смешивает алеаторическую и эпистемическую неопределенность.
  • Сообщение только ECE может маскировать плохую калибровку в хвостах; всегда визуализируйте диаграмму надежности вместе со скалярной метрикой.
  • Применение откалиброванной модели к смещенному развертываемому распределению аннулирует калибровку и может привести к вводящей в заблуждение уверенности.

Часто задаваемые вопросы

Влияет ли калибровка на точность классификации?

Масштабирование температуры не изменяет порядок классов по вероятности, поэтому точность top-1 остается неизменной. Другие методы калибровки, такие как изотоническая регрессия, в редких случаях могут изменять предсказание argmax, но их основная цель — точность вероятности, а не точность классификации, и любое влияние на точность обычно незначительно.

Откуда я знаю, что моей модели нужна калибровка?

Постройте диаграмму надежности: сгруппируйте предсказания по интервалам уверенности и постройте график средней уверенности против эмпирической точности. Идеально откалиброванная модель следует по диагонали. Кривая, постоянно находящаяся выше диагонали, сигнализирует об избыточной уверенности; кривая ниже — о недостаточной уверенности. Вычислите ECE как единую сводную статистику; значения выше примерно 0,05 обычно считаются нетривиальной раскалибровкой на практике.

Когда следует использовать изотоническую регрессию вместо масштабирования температуры?

Изотоническая регрессия — это непараметрическая монотонная функция, которая может улавливать сложную, неравномерную раскалибровку в диапазоне вероятностей. Предпочтите ее, когда диаграмма надежности показывает немонотонный или нерегулярный паттерн. Однако изотоническая регрессия требует больше данных для надежной подгонки, и масштабирование температуры обычно предпочтительнее, когда калибровочный набор невелик или когда приоритетом являются простота и интерпретируемость.

Похожие методы

Источники

  1. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.

    Открыть ссылку на публикацию
    Скопировано.