半监督朴素贝叶斯
- 提出者
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- 年份
- 2000
- 类型
- Semi-supervised generative classifier
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
半监督朴素贝叶斯将经典的朴素贝叶斯生成模型进行了扩展,以利用大量未标记数据和少量标记数据。它使用期望最大化(Expectation-Maximization, EM)算法,迭代地推断未标记样本的软类别分配,并重新估计类别和特征参数,从而在标记样本稀缺时获得显著更好的分类器。
方法背后的直觉
经典的朴素贝叶斯需要标记样本来估计类别概率和特征似然度。当标签成本高昂但原始数据丰富时,数据中的大部分信息会被浪费。半监督朴素贝叶斯通过将未标记样本的未知标签视为隐变量来解决此问题:它在根据当前模型猜测这些标签(E步)和使用这些猜测精炼模型(M步)之间交替进行。经过几次迭代,模型能够自举(bootstrap)到比仅用标记数据支持的更准确的参数估计。
历史学
Nigam、McCallum、Thrun 和 Mitchell (2000) 在文本分类中推广了半监督朴素贝叶斯,他们证明了使用多项式朴素贝叶斯模型的 EM 算法,在基准数据集上,当未标记的新闻组文章补充少量标记数据时,可以将错误率降低一半。该方法借鉴了早期用于混合模型(mixture models)的 EM 工作,并成为半监督学习文献中的一个典型示例,Chapelle 等人 (2006) 在其著作中对此进行了广泛讨论。
何时使用
当标记样本数量为几十到几百个,但有大量来自同一分布的未标记数据可用时,这是理想的选择——这在文本分类、垃圾邮件过滤和生物医学文档分类中很常见。特征在给定类别时应条件独立(或近似独立),这使得词袋模型(bag-of-words)和基于计数的表示形式成为自然的选择。当未标记数据的分布与标记数据分布不同(协变量偏移,covariate shift)时应避免使用,因为 EM 更新可能会适得其反;在这种情况下,应调整 λ 加权参数。
局限与注意事项
- 继承了朴素贝叶斯条件独立性假设;相关的特征会降低参数估计的准确性。
- EM 收敛到依赖于初始化的局部最优解;可能需要多次随机重启。
- 来自偏移分布的未标记数据可能会降低准确性(负迁移),除非仔细加权。
- 在特征集较小且特征相关性强的情况下,竞争力不如判别式半监督方法(例如,转导支持向量机、标签传播)。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 有效地利用了否则会被丢弃的未标记数据,通常可以显著减少所需的标记数据量。
- 计算速度快:每次 EM 迭代的计算量与数据大小成线性关系,适用于大型文本语料库。
- 具有良好收敛保证(收敛到似然度的局部最优解)的原则性概率框架。
- 生成校准的后验概率,支持下游的排序和阈值处理。
- 易于实现和扩展——λ 加权提供了一个实用的旋钮来控制未标记数据的影响。
应用
- 在标记训练数据有限的情况下进行文本和文档分类。
- 垃圾邮件和钓鱼邮件检测,其中标记的垃圾邮件稀少但未标记的电子邮件丰富。
- 从少量标记的评论中引导(bootstrap)的情感分析。
- 生物医学文献分类(例如,PubMed 文章分类),使用少量专家标记的子集。
- 使用少量手工标记的种子和大型爬取语料库进行网页主题分类。
- 电子邮件或工单路由,其中只有一小部分历史工单具有已确认的类别标签。
使用方式
使用方式
使用仅有的标记样本训练一个初始的朴素贝叶斯模型。这提供了类别先验 P(y) 和条件特征似然度 P(x_j | y) 的初步估计——通常使用拉普拉斯平滑(Laplace smoothing)来处理未见过的特征值。由此产生的模型是 EM 循环的起点,而不是最终的分类器。
将当前模型应用于每个未标记样本,以计算软(概率性)类别成员权重。每个未标记的文档或实例都按后验概率 P(y | x, θ) 的比例分数式地分配给所有类别。这些分数式计数补充了来自标记数据的硬计数。
公式
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}通过合并标记样本的硬计数和 E 步累积的分数式计数来重新估计所有模型参数——类别先验和特征似然度。未标记样本根据其推断的类别权重按比例贡献,因此信息丰富的未标记数据能够有意义地调整参数。
重复 E 步和 M 步,直到所有数据(标记加未标记)的对数似然度收敛或达到最大迭代次数。权重超参数 λ 可以通过降低未标记样本的贡献来降低其权重,以防负迁移(negative transfer),如果未标记数据的分布与标记数据不同。
一旦收敛,使用标准的朴素贝叶斯规则对新样本进行分类:分配在学习到的参数下具有最高后验概率的类别。运行时推理与普通朴素贝叶斯相同——快速、闭式解(closed-form),适用于大型文档集合。
公式
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)常见陷阱
- 忽略标记和未标记数据池之间的分布不匹配——始终验证两个样本是否来自同一任务和领域。
- 在未标记数据质量不确定时省略 λ 调优;默认使用 λ=1 可能会损害性能。
- 仅在标记训练集上进行评估,而没有保留的测试集,这会夸大表面准确性。
- 将 EM 收敛视为保证最优——始终与仅使用标记数据的基线和简单的自训练基线进行比较。
- 忘记拉普拉斯平滑,这会在 E 步中因未见过的特征值而导致零概率崩溃。
常见问题
我需要多少标记样本才能获得一个好的初始模型?
对于具有许多特征的文本,每个类别大约 10-50 个就足够了,前提是应用了拉普拉斯平滑。更多的标记样本总是有帮助的,但半监督方法特别适用于标记实例少于几百个的情况。
什么是 λ 参数,如何调优它?
λ 控制在 M 步中未标记样本相对于标记样本的权重(λ=1 表示同等对待;λ=0 表示忽略)。通过在标记集上进行交叉验证来调优它,从 {0.1, 0.3, 0.5, 1.0} 的值开始。当怀疑分布不匹配时,降低 λ。
EM 总是会比仅使用标记数据的朴素贝叶斯有所改进吗?
不会。如果未标记数据来自不同的分布,EM 可能会将参数推向错误的方向并增加错误。在部署半监督模型之前,务必与仅使用标记数据的基线进行基准测试。
这与朴素贝叶斯的自训练有何不同?
自训练将置信度阈值以上的未标记样本分配硬标签,然后重新训练。通过 EM 进行的半监督朴素贝叶斯在每次迭代中为所有未标记样本分配软分数标签,这在统计上更具原则性,并避免了自训练中可能发生的置信错误级联。
这适用于非文本表格数据吗?
是的。对于连续特征,将多项式似然度替换为每个类别的(高斯或其他参数化)似然度。EM 循环结构是相同的;只有 M 步的参数公式会改变。
相关方法
参考文献
Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.
打开 DOI 文献已复制。Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN:978-0-262-03358-9已复制。