保形预测
- 提出者
- Vovk, Gammerman & Shafer
- 年份
- 2005
- 类型
- Distribution-free uncertainty quantification framework
- 类别
- Trustworthy ML
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
保形预测(Conformal Prediction)是一种无分布的框架,用于围绕任何预训练机器学习模型的输出构建统计上有效的预测集(分类)或预测区间(回归)。该方法由 Vovk、Gammerman 和 Shafer 于 2005 年在其专著中提出,它提供了一个有限样本的边际覆盖保证——即真实标签以至少 1-alpha 的概率落入预测集内——而无需对数据分布进行参数假设。
方法背后的直觉
设想一个气象站,它不说“明天的温度是 22°C”,而是说“明天的温度将在 19°C 到 25°C 之间,并且我们保证这个区间在长期运行中至少 90% 的天数是正确的。”保形预测的工作方式类似:它用一个基于数据的安全边际来包装任何现有模型的点预测,该边际在保留的样本上进行校准,因此在数据收集方式的非常温和的假设下,所得集合是可证明可靠的。
历史学
保形预测由 Vladimir Vovk、Alexander Gammerman 和 Glenn Shafer 于 2005 年在他们出版的 Springer 专著中正式提出,该专著建立在 1990 年代末期早期在线归纳学习思想的基础上。后来,分离训练和校准的归纳(拆分保形)变体得到了推广,以使该方法具有可扩展性。2010 年代,该方法在深度学习中迅速得到应用,并出现了扩展,包括用于条件保证的蒙德里安保形预测、风险控制预测集和保形风险控制。
何时使用
当您需要对模型的预测不确定性输出进行严格的、有限样本的覆盖保证,且无需分布假设时,请使用保形预测。它适用于校准数据与测试数据来自同一分布的分类和回归任务。局限性包括可交换性假设(在协变量偏移下会被违反),以及覆盖率是边际的而非条件性的,这意味着某些子群体可能被覆盖不足或过度覆盖。替代方法包括贝叶斯可信区间(需要分布假设)和分位数回归(在没有保形包装的情况下没有有限样本保证)。
局限与注意事项
- 覆盖保证是边际的(对测试输入取平均),而不是对每个单独的 x 的条件。
- 假设校准和测试数据是可交换的;在协变量或标签偏移下性能会下降。
- 当基础模型较弱或目标误覆盖率 alpha 较小时,预测集可能无信息地大。
- 拆分保形方法需要专用的校准集,减少了可用于训练的数据量。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 提供对任何基础模型都有效的有限样本、无分布的边际覆盖保证。
- 模型无关:包装任何预训练的分类器或回归器,无需重新训练。
- 推理时计算量轻:只需存储校准得分并计算分位数。
- 灵活的不一致性得分允许适应各种任务,包括目标检测和自然语言生成。
应用
- 医学诊断:为疾病分类生成预测集,保证真实诊断以高概率包含在内,支持安全的临床决策。
- 药物发现:为分子性质预测生成可靠的置信区域,帮助化学家优先测试昂贵的湿法实验化合物。
- 自动驾驶:在目标检测输出周围构建具有覆盖保证的不确定性区域,以触发安全的后备行为。
- 自然语言处理:用于文本分类和大型语言模型输出中 token 级别不确定性的校准预测集。
- 金融风险评估:对收益预测进行无分布的预测区间,在监管审查下保持有效,且无需参数模型。
使用方式
使用方式
传统的机器学习模型——任何分类器、回归器或神经网络——都在专用的训练集上进行训练。保形预测对此类模型是无关的;它将其视为一个黑箱。最终预测集的质量受基础模型准确性的影响,但有效性保证无论如何都成立。
公式
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})在基础模型未见过的单独校准集上,为每个样本计算一个不一致性得分。对于回归,得分通常是绝对残差 |y - f_hat(x)|;对于分类,它可以是 1 减去真实类别的预测概率。这些得分衡量了每个校准点相对于模型的“意外程度”。
公式
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}使用有限样本校正因子计算校准不一致性得分的经验(1-alpha)分位数。这个校正后的分位数 q_hat 是一个阈值,根据数据的可交换性,它将确保在新的测试点上覆盖保证以至少 1-alpha 的概率成立。
公式
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)对于新的测试输入 x_new,预测集包含所有其不一致性得分不超过 q_hat 的候选标签 y。在回归中,这会产生一个区间 [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat];在分类中,它会产生具有足够高预测概率的类别子集。该集合保证以至少 1-alpha 的边际概率覆盖真实标签。
公式
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}常见陷阱
- 将训练集用作校准集会夸大乐观性并破坏有效性保证——务必使用保留的校准集。
- 混淆边际覆盖与条件覆盖:保证并不意味着每个子群体都以 1-alpha 的水平被覆盖。
- 忽略分布偏移:将用历史数据校准的保形预测器应用于偏移的部署分布会破坏理论保证。
- 将预测集大小视为直接置信度度量,而未认识到集大小同时取决于模型质量和所选的 alpha。
常见问题
保形预测是否需要知道数据的分布?
不需要。边际覆盖保证仅依赖于可交换性假设——大致意思是校准和测试点是从同一分布中独立同分布抽取的。无需指定参数族,这就是该框架“无分布”的原因。这是其相对于贝叶斯可信区间和基于正态性的经典置信区间的主要理论优势。
如何选择校准集的大小,它如何影响结果?
更大的校准集可以产生更紧密、更稳定的经验分位数估计,从而产生更小的预测集。一个常见的经验法则是至少需要几百个校准样本。当校准集非常小时(少于 1/alpha 个点),有限样本校正会强制使用全覆盖集,使该方法无效。训练集大小和校准集大小之间存在标准的偏差-方差权衡。
保形预测可以应用于深度神经网络吗?
可以。由于该框架与模型无关,它可以包装任何神经网络而无需修改。不一致性得分通常使用模型对分类的 softmax 输出或对回归的点预测来定义。在计算上,校准只需要对校准集进行一次前向传播,这对于大型模型来说非常实用。
相关方法
参考文献
Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.
ISBN:978-0-387-00152-4已复制。