Skip to content
返回搜索结果

模型校准

提出者
Platt; Guo et al.
年份
2017
类型
Post-hoc probability correction technique
类别
Trustworthy ML

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

模型校准是一种事后技术,用于调整已训练分类器的概率输出,使预测置信度得分与经验结果频率相匹配。当对所有置信度为 p 的预测中,恰好有 p 的比例是正确的时,则称分类器是完美校准的。Guo 等人 (2017) 严谨地记录了现代深度神经网络系统性的失校准问题,他们表明使用标准交叉熵损失训练的网络倾向于过度自信,并提出温度缩放作为一种简单有效的补救方法。

方法背后的直觉

想象一位天气预报员在 100 天中说“有 90% 的降雨概率”。如果只有 60 天实际下雨了,那么这位预报员就过度自信了。校准就像重新校准这位预报员的刻度,以便当他们说 90% 时,实际降雨率确实是 90%。对于神经网络来说,这意味着拉伸或压缩其原始置信度得分,直到标签上的数字能够忠实地反映模型正确的频率。

历史学

概率校准的根源在于 Platt 缩放 (Platt, 1999),它将 sigmoid 函数拟合到 SVM 输出,以及应用于朴素贝叶斯分类器的等渗回归。现代处理方法由 Guo 等人 (2017) 大大推进,他们对 ResNet 和其他架构进行了基准测试,发现系统性过度自信与模型容量相关。他们提出的温度缩放成为标准基线,激发了在 2010 年代末和 2020 年代对条件校准、集成校准和分布偏移下的校准的后续研究。

何时使用

当预测概率将用于依赖其表面价值的下游决策时,例如医疗风险分层、欺诈评分阈值或成本敏感型分类器,请使用模型校准。这对于深度神经网络尤其重要,Guo 等人 (2017) 证明了随着模型深度和宽度的增加,它们会变得越来越过度自信。校准假设存在一个代表性的保留集;它无法纠正校准分布和部署分布之间的分布偏移。当需要预测区间而不是点概率时,请考虑使用共形预测。

局限与注意事项

  • 校准需要一个保留的验证集;小的校准集会产生不可靠的温度估计。
  • 温度缩放假设单个全局标量就足够了,当失校准是类别或区域特定的时,这可能会失败。
  • ECE 对箱的数量和宽度敏感,如果没有标准化,会导致跨研究比较结果不稳定。
  • 校准不会提高锐度或区分能力;区分能力差的模型在校准后仍然如此。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 温度缩放仅增加一个参数,并且不会降低分类准确率,因此非常轻量级。
  • ECE 提供了一个可解释、可操作的诊断指标,用于量化校准前后的失校准程度。
  • 事后校准是模型无关的,可以应用于任何预训练的分类器而无需重新训练。
  • 良好校准的概率使得在下游流程中能够进行可靠的阈值选择和期望值计算。

应用

  • 医疗诊断系统,其中失校准的风险评分会导致不正确的治疗阈值。
  • 信用评分和欺诈检测,其中概率输出驱动成本敏感的接受/拒绝决策。
  • 自然语言处理分类器,其中需要模型输出的置信度加权聚合。
  • 目标检测流程,使用置信度阈值在下游推理之前过滤候选检测。
  • 集成和联邦学习设置,其中必须在通用的概率尺度上组合来自多个模型的输出。

使用方式

使用方式

1

对于每个验证示例,提取所有类别中的最大 softmax 概率作为模型报告的置信度。这个标量表示模型声称对其首选预测有多确定,并作为校准流程的原始输入。

公式
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)
2

将预测按置信度划分为 M 个等宽的箱。对于每个箱,计算平均置信度和平均准确率之间的差距,然后对箱进行加权平均。由此产生的期望校准误差 (ECE) 是主要的诊断指标:较低的 ECE 表明预测概率与观测频率之间的对齐度更好。

公式
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
3

在 softmax 之前,将预 softmax 的 logit 向量除以一个可学习的标量 T。当 T 大于 1 时,分布被展平,减少了过度自信;当 T 小于 1 时,分布被锐化。温度缩放不改变预测的排序,在保持准确率不变的同时提高了校准度。

公式
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0
4

通过最小化保留的验证集的负对数似然 (NLL) 来找到最优温度 T*。这是一个一维凸优化问题,可以通过梯度下降或线搜索高效解决。然后固定所得的 T* 并在推理时应用于所有未来的预测。

公式
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)

常见陷阱

  • 在用于训练的相同数据上进行校准会导致过拟合,并在训练集上产生虚假的低 ECE。
  • 将校准后的概率用作不确定性估计会混淆偶然不确定性和认知不确定性。
  • 仅报告 ECE 可能会掩盖尾部区域的校准不佳;务必同时可视化可靠性图和标量指标。
  • 将校准后的模型应用于偏移的部署分布会使校准失效,并可能产生误导性的置信度。

常见问题

校准是否影响分类准确率?

温度缩放不改变类别概率的排序,因此 top-1 准确率不变。其他校准方法(如等渗回归)在极少数情况下可能会改变 argmax 预测,但它们的主要目标是概率准确率而不是分类准确率,并且任何准确率影响通常都可以忽略不计。

我如何知道我的模型是否需要校准?

绘制可靠性图:按置信度箱对预测进行分组,并绘制平均置信度与经验准确率。完美校准的模型遵循对角线。始终高于对角线的曲线表示过度自信;低于对角线的曲线表示不自信。计算 ECE 作为单一汇总统计量;在实践中,高于约 0.05 的值通常被认为是非微不足道的失校准。

何时应使用等渗回归而不是温度缩放?

等渗回归是一种非参数单调函数,可以捕捉概率范围内的复杂、不均匀的失校准。当可靠性图显示非单调或不规则模式时,优先选择它。然而,等渗回归需要更多数据才能可靠拟合,并且当校准集较小或优先考虑简单性和可解释性时,通常首选温度缩放。

相关方法

参考文献

  1. Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.

    打开出版物文献
    已复制。