半监督支持向量机
- 提出者
- Joachims, T.
- 年份
- 1999
- 类型
- Semi-supervised classifier
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
半监督支持向量机(S3VM)通过结合大量无标签数据和少量有标签训练集来扩展经典的SVM。它寻求一个最大间隔超平面,该超平面不仅分离有标签样本,而且穿过完整数据分布的低密度区域,从而在有标签样本稀缺时获得更好的泛化能力。
方法背后的直觉
标准的SVM仅从有标签点学习边界。S3VM观察到无标签数据仍然携带关于数据簇的密度高低区域的几何信息。通过要求决策边界避开高密度区域——无论这些点是否有标签——模型可以利用占多数的无标签数据来锐化它仅凭少数有标签样本绘制出的边界。其结果是,间隔不仅尊重已知标签,而且还尊重底层数据结构。
历史学
S3VM的基础由Vapnik在其早期关于归纳推理(transductive inference)的工作中奠定,但该方法在Joachims(1999)将其命名为归纳支持向量机(Transductive SVM)并证明其在文本分类上的有效性后得到广泛采用。Chapelle、Scholkopf和Zien(2006)的综合论述将S3VM与其他半监督方法并列,至今仍是标准参考。后续工作引入了凸松弛和可扩展求解器,以解决原始方法在计算和局部最优方面的挑战。
何时使用
当有标签数据昂贵或稀缺(例如,少于几百个样本)但有大量无标签数据可用时,S3VM是合适的选择——这在文本分类、生物信息学或任何标注成本高昂的领域中都很常见。当簇假设(cluster assumption)成立时,即类别形成可分离的簇且决策边界位于低密度区域时,S3VM表现最佳。当有标签数据已经充足(标准SVM的成本更低且性能相当或更优)、簇假设被违反(类别在特征空间中高度重叠)或无标签分布偏离有标签分布(可能将边界推向错误方向)时,应避免使用S3VM。
局限与注意事项
- 由于伪标签的存在,优化过程是非凸的,使其对初始化敏感且容易陷入局部最优。
- 计算成本随无标签样本数量的增加而显著增加——大量的无标签数据池会变得昂贵。
- 依赖于簇假设;如果类别没有形成良好分离的簇,无标签数据可能会降低性能。
- 需要仔细调整有标签损失权重C和无标签损失权重C*,增加了模型选择的复杂性。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在有标签样本稀缺时,能有效利用大量无标签数据集来提高泛化能力。
- 继承了标准SVM的最大间隔保证和核函数灵活性。
- 非常适合高维稀疏数据(如文本),因为这类数据通常有大量的无标签语料库。
- 存在原则性的概率扩展(高斯过程S3VM)和核方法变体,用于处理非线性边界。
- 在低标签数据条件下,与纯监督方法相比,具有有竞争力的准确性。
应用
- 文本和文档分类,尤其是在有少量有标签训练样本的情况下。
- 生物信息学任务,如蛋白质功能预测,因为实验标注成本高昂。
- 利用大量爬取但未标注的语料库进行网页分类。
- 医学图像分析,因为专家标注耗时且昂贵。
- 任何具有大量无标签数据和稀缺标签的高维分类问题。
使用方式
使用方式
在可用的有标签样本上拟合一个初始SVM,学习一个初步的决策边界和间隔。这为后续的半监督优化提供了一个起始模型和对无标签池的初始预测,使其基于监督解决方案。
初步的SVM根据无标签样本位于当前边界的哪一侧,为所有无标签样本分配暂定的类别标签(伪标签)。这些伪标签允许无标签点参与间隔最大化,即使它们的真实类别未知。
核心的S3VM目标是联合最小化有标签样本上的合页损失(hinge loss)和无标签样本上的伪合页损失,同时最大化间隔。一个平衡参数C*控制无标签点对边界的影响程度,在利用无标签数据中的结构和拟合有标签真实值之间进行权衡。
公式
\min_{w,b,y^*} \frac{1}{2}\|w\|^2 + C\sum_{i}\xi_i + C^*\sum_{j}\xi_j^*由于伪标签可能错误,算法会进行迭代:它使用更新的边界重新分配伪标签,并重新求解联合优化问题。将错误分配的无标签样本交换到相反的类别并重新优化,会逐渐将边界移入数据中密度较低的区域。
一旦收敛,就通过学习到的线性决策函数的符号来对新样本进行分类。由此产生的超平面位于完整数据分布的低密度区域,与仅用相同少量有标签集训练的纯监督SVM相比,在保留样本上具有更好的泛化能力。
公式
f(x) = \text{sign}(w^\top x + b)常见陷阱
- 假设无标签数据总是有帮助的——如果簇假设被违反,S3VM的性能可能不如监督式SVM。
- 使用非常大的C*相对于C,会过度加权无标签点,并允许边界偏离有标签信号。
- 未能使用保留的标签集进行验证,导致无法检测无标签数据何时损害了性能。
- 在有标签和无标签数据来自不同分布(协变量偏移)时应用S3VM,这违反了该方法的前提条件。
常见问题
S3VM与标准SVM有何区别?
标准SVM仅使用有标签数据来放置其决策边界。S3VM通过要求边界穿过完整数据分布的低密度区域来额外整合无标签样本,从而在有标签数据稀缺时提高泛化能力。
什么是簇假设及其重要性?
簇假设指出决策边界位于数据密度低的区域,意味着类别形成可分离的簇。S3VM通过将边界引离密集区域来利用这一点。如果类别高度重叠,此假设将失效,无标签数据可能会误导模型。
如何选择无标签权重C*?
C*控制无标签样本对间隔的影响程度。一种常用策略是先设置一个远小于C的C*,然后逐渐增加它,同时在小的有标签保留集上监控验证准确率,在性能下降之前停止。
S3VM能处理非线性边界吗?
可以。与标准SVM一样,S3VM支持核函数(RBF、多项式等),这些函数可以隐式地将数据映射到更高维的空间,在原始特征空间中,线性边界在该空间中变得非线性。
何时应优先选择自训练(self-training)或标签传播(label propagation)而非S3VM?
自训练实现更简单,且能更好地扩展到大型无标签池;当计算资源有限时应优先选择。标签传播在图结构数据上效果很好。当需要最大间隔保证且簇假设可能满足时,S3VM是首选。
相关方法
参考文献
Joachims, T. (1999). Transductive Inference for Text Classification using Support Vector Machines. Proceedings of the 16th International Conference on Machine Learning (ICML), 200–209.
打开出版物文献已复制。Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN:978-0-262-03358-9已复制。