Skip to content
返回搜索结果

半监督随机森林

提出者
Leistner, C., Saffari, A., Santner, J., & Bischof, H.
年份
2009
类型
Semi-supervised ensemble classifier
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

半监督随机森林 (SSL-RF) 通过利用有标签和无标签的训练样本来扩展经典的随机森林。当标注数据成本高昂或耗时时,SSL-RF 通过森林本身为无标签观测值分配暂定的伪标签,然后对丰富后的数据集进行重新训练,在无需额外人工标注的情况下逐步提高准确性。

方法背后的直觉

可以想象让一个专家小组(你的树)对案例进行分类,但大多数案例文件都没有确诊。SSL-RF 让小组对不确定的文件进行投票,将有信心的投票视为初步诊断,将这些文件添加到训练池中,然后重新训练——重复此过程直到小组收敛。有标签的样本指导森林,而无标签的大多数样本则塑造了仅凭有标签数据无法达到的区域的决策边界,从而在标签稀缺时获得更好的泛化能力。

历史学

Xiaojin Zhu (2005) 系统地调查了半监督学习领域,确立了利用无标签数据的理论动机。经典的 SSL-RF 公式由 Leistner 等人在 ICCV 2009 上提出,将基于熵的分割与流形正则化结合在随机森林框架内。该方法在计算机视觉和医学影像领域获得了关注,因为这些领域的标注成本很高,并且此后已通过深度特征集成和基于图的标签传播变体进行了扩展。

何时使用

当您拥有大量无标签数据但标注成本高昂、稀缺或耗时时,请使用半监督随机森林——这在医学影像、遥感、文本分类和生物数据中很常见。它适用于具有至少适度有标签子集(约占总数据的 5-20%)的表格、图像衍生特征和混合类型数据集。当几乎不存在可靠标签时(初始森林太弱而无法生成有用的伪标签)、类别边界高度不平滑时,或者当完全监督模型已在仅有标签的集合上获得满意性能时,应避免使用。

局限与注意事项

  • 伪标签的质量取决于初始监督森林;弱的起始模型会将错误传播到所有后续迭代。
  • 置信度阈值的选择并非易事,可能会显著影响最终性能。
  • 计算成本随无标签样本数量和迭代次数而增加,尤其是对于大型森林。
  • 如果无标签数据的分布与有标签数据不同(协变量偏移),伪标签可能会系统性地产生偏差。
  • 不保证收敛;迭代自训练可能会放大早期错误分类,除非有仔细的停止标准。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 利用廉价的无标签数据来提高准确性,超越仅凭有标签数据所能达到的水平。
  • 继承了随机森林的所有优点:鲁棒性、内置特征重要性以及通过装袋法抵抗过拟合。
  • 灵活的置信度阈值可让您控制无标签数据的纳入程度。
  • 自然处理混合特征类型、非线性关系和高维输入,无需任何分布假设。
  • 来自有标签部分的袋外 (out-of-bag) 估计即使在有标签数据很少的情况下也提供了验证信号。
  • 适用于分类和回归任务,算法改动极小。

应用

  • 医学图像分类,例如组织病理学和放射学,其中专家标注成本高昂。
  • 遥感和卫星图像分析,地面真实标签有限。
  • 文本和文档分类,其中只有一部分文档可以手动标记。
  • 生物和基因组数据分析,其中湿实验室验证资源密集。
  • 工业质量控制,故障标签稀疏但传感器读数丰富。
  • 欺诈检测,其中已确认的欺诈案例相对于未标记的交易很少。

使用方式

使用方式

1

该过程始于一小组有标签数据和一个大组无标签数据。有标签的观测值建立初始特征空间和类别分布,确保在尝试任何伪标签步骤之前至少存在一个可靠的信号。

2

仅在有标签数据上训练标准的随机森林。引导采样和随机特征选择与监督情况下的应用完全相同,从而产生一个预测仅反映此时可用的真实标签的集成。

3

训练好的森林预测每个无标签观测值的类别概率。预测概率超过置信阈值的样本——通常通过交叉验证进行调整——将获得伪标签。低置信度样本可能保持无标签或被降权,以避免错误传播。

4

在原始有标签样本和新伪标签样本的组合池上重新训练森林。可选的样本加权可以折扣伪标签实例相对于真实标签的权重。在此阶段还可以应用流形正则化或基于熵的分割标准。

5

重复伪标签和重新训练步骤,固定迭代次数或直到连续几轮的伪标签分配稳定为止。提前停止可防止过度自信导致错误累积,尤其是在高噪声或高重叠的情况下。

6

最终预测是通过聚合最后一棵训练好的森林中所有树的投票获得的:分类采用多数投票,回归采用平均响应。来自森林的置信度分数也可以作为下游决策的校准不确定性估计。

公式
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}

常见陷阱

  • 将置信度阈值设置得太低,并将大量有噪声的伪标签充斥训练集。
  • 忽略有标签和无标签数据池之间的协变量偏移,这可能导致准确性下降而非提高。
  • 仅在袋外估计上进行评估,而没有真正保留的有标签测试集。
  • 在没有提前停止的情况下运行过多的自训练迭代,导致几轮迭代中的错误累积。
  • 在不应用任何样本加权的情况下,将伪标签观测值视为与真实标签一样可靠。

常见问题

我需要多少有标签数据才能开始?

没有硬性最低要求,但初始监督森林必须足够强大,能够生成有用的伪标签。在实践中,至少有 5-10% 的总样本被标记——或几百个有标签的观测值——往往能提供可靠的起始预测。如果标签非常少,请考虑使用协同训练或基于图的方法。

如何选择伪标签的置信度阈值?

在有标签集上对阈值(例如 0.60 至 0.95)的网格进行交叉验证,并选择最大化保留性能的值。较高的阈值可减少噪声,但也会减少使用的无标签数据量;保守地从 0.80 开始是一个常见的做法。

SSL-RF 能处理类别不平衡吗?

可以,但有标签集中的类别不平衡会传播到伪标签。在第一次训练步骤之前,使用类别加权分割标准或对有标签池中的少数类进行过采样。监控每个类别的精确率和召回率,而不是整体准确率。

SSL-RF 和基于随机森林基学习器的自训练是相同的吗?

自训练是更广泛的算法模式;SSL-RF 是其一种实现。SSL-RF 实现还可能包含流形正则化分割标准或基于图的结构,超越了朴素的迭代自训练。

何时应优先选择梯度提升而不是 SSL-RF?

如果您的所有数据都有标签,梯度提升通常能获得更高的准确性,应优先选择。SSL-RF 特别用于有标签比例很小且有大量无标签数据可供利用的情况。

相关方法

参考文献

  1. Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.

    打开 DOI 文献
    已复制。
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.

    打开出版物文献
    已复制。