Skip to content
返回搜索结果

半监督提升

提出者
Mallapragada, P. K.; Bennett, K. P.; and others
年份
1999–2009
类型
Semi-supervised ensemble method
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

半监督提升是一种集成学习范式,它扩展了经典的提升算法(如AdaBoost),以同时利用标记和未标记数据。通过在未标记实例的相似性结构上传播标签信息,它可以在标记数据稀缺时训练出比单独的监督提升更强的分类器。

方法背后的直觉

经典提升算法迭代地关注被错误分类的标记示例。半监督提升增加了一个新维度:它利用未标记数据的几何结构来推断软标签或重新加权示例。直观地说,如果两个未标记点彼此非常相似,它们应该获得相同的标签。通过将这种一致性压力纳入提升权重更新中,即使只有少数标记示例可用,集成也能获得更好的泛化能力。其结果是,模型在借鉴了多数未标记数据的信号的同时,仍然受到少数标记数据的指导。

历史学

将提升与未标记数据结合的想法出现在20世纪90年代末,Bennett和Demiriz(1999)是早期探索半监督集成策略的人之一。Mallapragada等人于2009年在IEEE TPAMI论文中正式提出的SemiBoost算法,成为基于图的半监督提升的规范参考。后续工作将其扩展到多类设置,并将其与流形正则化理论联系起来,使半监督提升成为半监督学习文献中的标准基线。

何时使用

当标记数据稀缺且难以获取,但有大量未标记数据可随时获得时,半监督提升是适用的——这在医学影像标注、文本分类和基于传感器的监控中很常见。它最适合二元或多类分类任务,其中聚类或流形假设合理成立(相似输入共享标签)。当未标记数据不能代表测试分布、聚类假设不合理(例如,来自根本不同过程的数据)或标记集已足够大以饱和监督提升器时,应避免使用它——在这种情况下,普通的梯度提升将以更低的复杂性匹配或超过其性能。

局限与注意事项

  • 如果未标记数据与标记数据不共享同一分布(数据集偏移),性能会急剧下降。
  • 伪标签噪声可能在提升轮次之间累积,导致在初始预测不佳时出现错误放大。
  • 相似性图的构建需要选择核带宽或邻居数量,这很敏感且需要验证。
  • 由于每轮的图构建和伪标签重新计算,计算成本远高于监督提升。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 利用丰富的未标记数据,提高准确性,超出仅凭标记集支持的水平。
  • 继承了AdaBoost等提升框架的强大实证性能和灵活性。
  • 基于图的相似性结构使得标签传播可解释且可调。
  • 可与任何接受实例权重的基学习器配合使用,保持框架的模块化。
  • 在基准实验中记录的低标记率情况下,一致优于纯监督提升。

应用

  • 文本和文档分类,其中标记语料库很小但有大量未标记语料库可用。
  • 医学图像分类,具有有限的专家标注图像以及大量未标记的档案。
  • 利用超链接图结构作为相似性来源的网络内容分类。
  • 工业故障检测,具有丰富的传感器读数但很少手动标记的故障事件。
  • 生物信息学任务,如蛋白质功能预测,具有稀缺的验证注释。

使用方式

使用方式

1

在数据集的标记部分上训练一个基础分类器(通常是决策桩或浅层树)。这提供了初始假设并设置了提升框架。在第一轮中,所有标记实例都获得统一的权重。

2

在合并的标记和未标记数据上构建成对相似性或图,通常使用径向基函数(RBF)核或k近邻图。这编码了特征空间中邻近点可能共享同一类别的假设。

3

使用当前的集成模型和相似性图,为未标记实例分配软伪标签。接近置信分类的标记示例的点继承它们的标签;接近决策边界的点获得低置信度伪标签,并对更新贡献较少。

4

使用提升权重分布,在增强的数据集(标记示例加上伪标记的未标记示例)上拟合当前弱学习器。学习器权重alpha_t根据加权误差计算,与AdaBoost中的计算方式完全相同,但加权误差现在反映了标记和未标记实例的贡献。

公式
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)
5

更新实例权重,以便被当前学习器错误分类的示例在下一轮中获得更高的权重。对于未标记实例,权重更新由伪标签置信度调节:高置信度伪标签像标记示例一样被加权,而低置信度伪标签被降权以限制噪声传播。

6

经过T轮提升后,最终预测是所有弱学习器加权多数投票的符号。该集成将来自标记监督的信号和从标记数据传播过来的结构信息结合成一个单一的、鲁棒的决策边界。

公式
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

常见陷阱

  • 假设未标记数据具有代表性,而未验证其与标记数据的分布重叠。
  • 使用过多的提升轮次处理有噪声的伪标签,导致模型过度拟合错误的软分配。
  • 忽略图超参数调优(核带宽、k近邻中的k)——低质量的图会使整个传播步骤失效。
  • 当标记集类别不平衡时,仅报告准确率而忽略分层指标(F1、AUC)。
  • 跳过一个保留的标记测试集,并在用于种子伪标签的同一标记池上进行评估。

常见问题

半监督提升何时优于普通AdaBoost?

最可靠的情况是标记集非常小——通常每类少于几百个示例——并且未标记数据丰富且来自同一分布。当标记集很大时,差距会缩小,并且标准的监督提升更简单、更快。

我应该如何构建相似性图?

使用通过标记集上的交叉验证调整带宽的径向基函数(RBF)核是最常见的选择。k近邻图是更简单的替代方案。关键标准是图应尽可能清晰地连接同类示例并分离不同类别的聚类。

哪种基学习器效果最好?

决策桩(深度为1的树)是标准选择,与经典的AdaBoost一致。浅层树(深度2-4)可以在决策边界复杂时提高准确性,但会增加过度依赖有噪声伪标签的风险。

需要多少次提升轮次?

从100-200轮开始,并监控标记验证误差。与纯监督提升不同,增加过多的轮次会放大伪标签噪声,因此强烈建议在小型标记验证集上进行早期停止。

类别不平衡是一个问题吗?

是的。当标记池类别不平衡时,初始预测会有偏差,伪标签会将该偏差传播到未标记集。在训练前重新加权标记类别或对少数类进行过采样以缓解此问题。

相关方法

参考文献

  1. Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.

    打开 DOI 文献
    已复制。
  2. Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.

    打开出版物文献
    已复制。