半监督逻辑回归
- 提出者
- Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
- 年份
- 1995–2000
- 类型
- Semi-supervised classifier
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
半监督逻辑回归通过在训练过程中整合未标记数据,扩展了标准逻辑分类器。它利用自训练、期望最大化或标签传播封装器,迭代地为未标记样本分配软标签并优化模型参数,从而在标记数据相对于整个数据集稀缺时提高泛化能力。
方法背后的直觉
设想一个疾病分类器,只有50个确诊病例,但有5000份结果未知的患者记录。标准逻辑回归会完全忽略这些未标记记录。半监督逻辑回归则利用模型自身的概率预测,为未标记病例分配临时标签,然后在扩大的伪标记数据集上重新训练,并重复此过程。每次迭代都会将决策边界推向数据密度高的区域,有效地让未标记数据引导决策边界的位置,而无需昂贵的专家标注。
历史学
用于概率分类器的半监督学习在20世纪90年代后期得到系统化。Yarowsky (1995) 推广了NLP任务的自训练,Nigam et al. (2000) 将EM方法形式化用于朴素贝叶斯和类逻辑模型进行文本分类。Chapelle, Scholkopf和Zien于2006年出版的麻省理工学院出版社著作巩固了其理论基础。半监督逻辑回归现在是标注预算有限情况下的标准技术,已在scikit-learn的SelfTrainingClassifier封装器和专用SSL库中实现。
何时使用
当标记样本稀少(通常标记数据占总可用数据不到20%),但存在大量来自相同分布的未标记数据且标注成本高昂时,应选择半监督逻辑回归。它非常适用于文本分类、临床结果预测和部分观测结果的调查研究。当未标记数据与标记数据来自不同分布(协变量偏移)、标签缺失并非随机且缺失具有信息性,或者标记数据集已足够大以至于标准逻辑回归能取得良好性能时,请勿使用它——在这些情况下,伪标签噪声弊大于利。
局限与注意事项
- 如果初始标记数据过少或不具代表性,早期伪标签会很嘈杂,错误会在迭代中累积。
- 假设未标记数据与标记数据来自同一分布——这在许多实际数据收集场景中会被违反。
- 不保证收敛到局部最优会优于监督基线。
- 自训练中的置信阈值需要调整,并且以不明显的方式与类别不平衡相互作用。
- 由于有效的训练集包含算法生成的标签,解释系数变得更加困难。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 利用大量未标记数据,在不增加额外标注成本的情况下改进逻辑分类器。
- 保留逻辑回归系数和优势比的可解释性。
- 自训练封装器是模型无关的,易于添加到任何现有逻辑回归流程中。
- EM变体提供了一个具有正式收敛保证的原则性概率框架。
- 正则化(L1/L2)可以与伪标记数据上的过拟合控制直接结合。
应用
- 临床结果预测,其中只有一部分患者有确诊诊断。
- 使用大型语料库和小型专家标记训练集的文本分类。
- 调查研究,其中受访者只回答部分结果问题。
- 使用部分标注的社交媒体数据进行情感分析和意见挖掘。
- 欺诈检测,其中确诊欺诈案例很少但交易量很大。
- 医学影像研究,其中放射科医师的标签可用于部分扫描。
使用方式
使用方式
首先,在可用的标记样本上拟合一个标准逻辑回归模型。这会给出初始的系数估计和每个观测值的类别概率估计。即使标记数据很少,这种“热启动”也能产生一个合理的初始决策边界,供后续迭代进行优化。
训练好的模型对每个未标记样本进行评分,为每个类别生成后验概率 P(y=k | x)。在自训练中,最大概率超过置信阈值的样本被赋予硬伪标签。在基于EM的方法中,分配的是软分数成员资格而非硬类别,从而在整个过程中明确保留不确定性。
公式
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)逻辑回归在真实标记样本和伪标记(或软标记)未标记样本的组合数据集上重新拟合。应用正则化(L1或L2)以防止扩展数据集过于激进地将系数推向嘈杂的伪标签信号。
对未标记数据进行评分和重新训练的步骤会重复进行,直到收敛——通常是当对数似然或系数在迭代之间的变化低于一个小的容差时。EM变体在E步(计算期望标签)和M步(最大化完整数据对数似然)之间正式交替进行。
一旦收敛,最终模型会在一个保留的标记测试集上使用准确率、AUC和F1等标准指标进行评估。交叉验证必须仅在标记分区上进行,以避免未标记池中的标签信息泄露到验证估计中。
常见陷阱
- 在验证集或测试集中包含未标记样本,这会通过泄露分布信息来夸大性能估计。
- 设置过低的置信阈值,导致训练集充斥着不确定的伪标签,从而加剧早期错误。
- 在分配伪标签时忽略类别不平衡,导致多数类别在后续迭代中占据主导地位。
- 在下游不确定性量化或显著性检验中,将伪标记数据视为与真实标记数据等效。
- 跳过扩展训练集上的正则化,允许伪标签噪声导致过拟合。
常见问题
半监督逻辑回归与标准逻辑回归有何不同?
标准逻辑回归仅使用标记样本。半监督变体迭代地为未标记数据分配临时标签并将其纳入再训练,因此决策边界由确诊标签和更大的未标记数据集的结构共同塑造。
我应该使用什么置信阈值进行自训练?
对于二分类,常见的起始点是0.85-0.95。正确的阈值取决于类别平衡和标签质量。在标记验证集上进行调整,并监控每次迭代中添加的未标记样本比例,以避免不确定伪标签的泛滥。
我仍然可以将系数解释为优势比吗?
可以,但要谨慎。估计的系数保留了对数优势的解释,但由于伪标记数据被视为真实观测值,其置信区间会被低估。关于显著性的推断应仅依赖于真实标记部分。
如果我的未标记数据来自不同的时间段或来源怎么办?
标记集和未标记集之间的分布偏移是主要的失效模式之一。如果未标记数据来自不同的人群或时期,伪标签可能会强化系统性错误。在继续之前检查协变量偏移。
是否有现成的实现?
是的。scikit-learn的SelfTrainingClassifier封装了任何概率分类器,包括LogisticRegression,用于自训练。EM变体需要手动实现或使用专用SSL库,例如SKSSL或LASSL。
相关方法
参考文献
Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.
打开 DOI 文献已复制。Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.
ISBN:978-0-262-03358-9已复制。