半监督梯度提升
- 提出者
- Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
- 年份
- 2006–2010s
- 类型
- Semi-supervised ensemble (self-training + gradient boosted trees)
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
半监督梯度提升将梯度提升树与自训练或伪标签相结合,以利用大量无标签数据和少量有标签数据。在有标签数据上初始拟合GBM后,将置信度高的预测分配给无标签样本;这些伪标签点被重新纳入训练,模型被重新提升,迭代直至收敛。这使得实践者能够在标签稀缺或昂贵时利用廉价的无标签数据。
方法背后的直觉
想象一下,你有200个有标签的调查回复和10,000个无标签的回复。仅用200个有标签样本训练的梯度提升模型已经相当不错了。半监督梯度提升利用该模型对它认为置信度高的无标签回复进行分类,暂时给它们打上标签,然后在一个更大的组合数据集上重新训练。这个循环会重复:每一轮模型都会因为看到更多样本而改进,更好的预测会转化为下一轮更高质量的伪标签。无标签的多数样本有效地充当了免费的正则化器和数据增强工具。
历史学
半监督学习在Chapelle、Scholkopf和Zien的2006年MIT出版社卷中系统化。自训练/伪标签变体可以追溯到Yarowsky(1995)在NLP中的工作,后来由Lee(2013)在深度网络背景下形式化,但同样的原理直接适用于梯度提升树。CatBoost(Prokhorenkova等人,2018)引入了内置的半监督扩展;后续研究在2010年代和2020年代的生物医学和工业环境中,专门针对GBM探索了伪标签调度和置信度校准。
何时使用
当有标签数据稀缺(例如,少于几百个样本),但来自同一分布的大量无标签数据可用,并且收集额外标签成本高昂时,使用半监督梯度提升。它非常适合表格分类和回归任务,在这些任务中,梯度提升模型单独在有标签集上表现良好。避免在以下情况使用:有标签和无标签数据来自不同分布(分布偏移会放大错误);基础模型在有标签数据上的准确性非常低(糟糕的伪标签会破坏重新训练);或者有标签集已经足够大,可以使标准GBM饱和,在这种情况下,半监督的开销带来的好处可以忽略不计。
局限与注意事项
- 伪标签的质量取决于基础模型;一个弱的基础模型会破坏后续的迭代。
- 假设有标签和无标签数据来自同一分布——违反这一点会导致错误放大。
- 阈值调整(tau)增加了一个没有原则性默认值的超参数。
- 计算成本随着每次自训练迭代而增加,尤其是在大型无标签池上。
- 验证必须仅在有标签数据上进行;在增强集上进行标准交叉验证会夸大估计值。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 利用廉价的无标签数据来提高标签昂贵或稀缺时的性能。
- 与任何梯度提升实现(XGBoost、LightGBM、CatBoost、scikit-learn)兼容,无需架构更改。
- 置信度阈值提供了一个内置的质量门控,限制了伪标签噪声。
- 保持梯度提升树的全部预测能力和特征交互建模能力。
- 迭代改进允许随着模型的改进逐步整合无标签数据。
应用
- 医学诊断,其中有标签的患者记录有限,但无标签的临床笔记很多。
- 工业缺陷检测,使用少量有标签的故障样本和大量的无标签生产流。
- 文本分类和情感分析,使用有标签的种子样本,并由无标签语料库进行增强。
- 信用评分,其中只有一小部分历史申请有已验证的违约结果。
- 遥感和地理空间分类,将少数有标签的实地测量与大量无标签的卫星图像特征相结合。
使用方式
使用方式
使用标准的梯度提升模型(XGBoost、LightGBM、CatBoost、scikit-learn GBM等)通过标准的有监督损失最小化在可用的有标签样本上进行训练。这个基础模型必须至少具有中等的准确性,伪标签才能有所帮助而不是损害。
基础模型应用于每个无标签样本。超过置信阈值tau(例如,分类的预测概率大于0.9,或回归的预测在紧密的区间内)的预测被接受为伪标签。高置信度过滤限制了早期轮次的错误传播。
公式
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tau接受的伪标签样本被追加到有标签训练集中,可以选择性地赋予低于1.0的权重,以反映其不确定的来源。组合数据集现在明显更大,并且可能更好地覆盖特征空间。
从头开始(或进行热启动)在增强数据集上训练一个新的梯度提升模型。由于梯度提升本质上是顺序性的,并且对标签噪声敏感,因此监控保留的有标签集上的验证损失对于检测由噪声伪标签引起的性能下降至关重要。
步骤2到4会重复固定轮数或直到收敛,收敛定义为验证指标的微小变化或没有新的无标签样本越过置信阈值。在每一轮中,置信阈值可以逐渐放宽,以包含更多的伪标签数据。
常见陷阱
- 在验证折中使用伪标签数据,这会给出乐观偏差的性能估计。
- 在早期轮次中将置信度阈值设置得太低,导致重新训练充斥着噪声标签并引起负迁移。
- 忽略有标签和无标签数据之间的分布偏移,这可能导致性能下降到有监督基线以下。
- 未能将伪标签样本的权重设置为低于1.0,使不确定的预测与人类验证的标签具有同等地位。
- 在一次伪标签轮次后停止,而不是迭代直到收敛。
常见问题
如何选择置信度阈值?
保守开始——对于二元分类,第一轮通常使用大于0.9的值。每轮后监控有标签集验证准确性,并且仅当性能保持或提高时才逐渐放宽阈值。没有单一的原则性值;将其视为一个可调的超参数。
伪标签样本应该与有标签样本同等加权吗?
通常不。将伪标签样本的权重设置为小于1.0(例如0.5)可以减少不确定预测对损失函数的影响。一些实现将权重与模型预测的置信度挂钩,为更高置信度的伪标签赋予更高的权重。
何时半监督梯度提升会损害性能?
当初始模型太弱而无法产生可靠的伪标签时,当有标签和无标签数据分布不同时,或者当无标签集相对于有标签集很小时,它会损害性能。在这些情况下,仅在有标签数据上使用标准有监督GBM通常更安全。
这与CatBoost的内置半监督模式不同吗?
CatBoost通过在单次训练运行中联合优化有标签数据上的有监督损失和无标签数据上的无监督或伪标签损失来原生实现半监督训练,这可能比迭代外部伪标签更稳定。手动自训练循环更通用,并且可以与任何GBM库一起使用。
需要多少轮伪标签迭代?
通常3到10轮就足够了;当有标签集验证指标停止改进或新接受的伪标签数量接近于零时,就会检测到收敛。更多的轮次有复合伪标签错误的风险。
相关方法
参考文献
Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)
打开出版物文献已复制。Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.
ISBN:978-0-262-03358-9已复制。