主动学习单类支持向量机
- 提出者
- Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
- 年份
- 2000s
- 类型
- Semi-supervised anomaly/novelty detection with iterative labeling
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
主动学习单类支持向量机(Active Learning One-class SVM)结合了单类支持向量机——一种学习正常数据边界的基于核的方法的新颖性检测器——与主动学习循环,该循环选择信息量最大的未标记实例以供专家标注。其结果是一种数据效率高、通过最少的标注工作就能改进决策边界的异常检测器。
方法背后的直觉
标准的单类支持向量机(One-class SVM)在特征空间的已知正常区域周围绘制一个紧密的边界。困难之处在于边界质量在很大程度上取决于哪些样本被标记。主动学习通过要求一个预言家(oracle)仅标记那些接近或刚好在当前决策边界之外的样本来解决这个问题——即模型最不确定的点。通过战略性而非随机性地查询,模型可以用少得多的标记样本获得信息量更大的训练集,从而节省标注成本,同时锐化正常与异常之间的界限。
历史学
单类支持向量机由Schölkopf及其同事于1999-2001年提出,作为一种原则性的核方法来估计分布的支持,并迅速成为新颖性和异常检测的参考算法。主动学习范式——系统地向预言家查询信息性标签——由Settles(2009)的调查正式确立。2000年代和2010年代的研究人员将这两个想法结合起来,将基于不确定性和基于边距的查询策略应用于OCSVM,应用于诸如入侵检测、故障诊断和医学筛查等领域,在这些领域,标记的异常值本质上是稀缺的。
何时使用
适用于必须检测异常或新颖性,但标记样本昂贵、稀少或最初不可用时——例如欺诈检测、设备故障监控、网络安全入侵检测和医学罕见病筛查。该方法适用于存在大量未标记正常数据以及少量已确认正常实例,并且预言家(人类专家或自动测试器)可以标记查询点的情况。当异常率极低以至于即使是主动查询也很难命中异常时,当特征空间维度极高且没有有意义的核映射时,或者当需要一个完全自动化的管道而无需人工干预时,应避免使用。
局限与注意事项
- 性能对核函数选择和超参数 nu 敏感;不好的默认值可能导致边界过于紧密或过于松散。
- 可扩展性有限:OCSVM的训练成本大致与支持向量的数量成二次方增长,在大数据集上速度较慢。
- 如果初始标记的种子不能代表真实的正常区域,早期的查询可能会误导模型。
- 主动学习假设预言家可用且可靠;嘈杂或不一致的标注会降低边界质量。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 显著减少构建有效的异常检测器所需的专家标签数量。
- 通过核映射(特别是RBF核)能够很好地处理高维数据。
- 初始化时不需要异常样本——它仅从正常数据引导。
- 主动查询策略将标注工作集中在空间中最具决策相关性的区域。
- OCSVM边界通过超参数 nu 对训练集中的异常值具有鲁棒性。
应用
- 网络入侵和网络安全异常检测,标记的攻击样本有限。
- 工业设备故障监控,使用传感器流和稀疏的故障事件。
- 金融交易中的欺诈检测,已确认的欺诈案例稀少且标注成本高昂。
- 医学罕见病或罕见事件筛查,专家标注时间是限制性因素。
- 图像或文本新颖性检测,初始时只有正常样本的语料库。
使用方式
使用方式
在开始时,使用一小组可用的标记正常样本训练一个初始的单类支持向量机。在迭代开始之前,设置核函数(通常是RBF核)和超参数 nu——它控制边界外部训练点的比例。
主动学习策略根据每个未标记实例到OCSVM决策边界的距离对其进行评分。最接近边界的点是最模糊的点;它们被排序,然后选择排名靠前的候选者作为预言家的查询。常见的策略包括边距采样(margin sampling)和基于密度的变体。
领域专家(或低成本的替代方案,如众包平台)为每个查询的实例分配一个标签——正常或异常。这一步是瓶颈,因此查询选择的效率决定了总体成本。
新标记的实例被添加到训练池中,并重新训练单类支持向量机。如果存在异常标签,可以通过双类边界细化来整合它们;如果只添加正常标签,边界将围绕已确认的正常数据收紧。
循环重复进行,直到预算(最大查询数)耗尽、验证集上的性能停滞不前,或者迭代之间的边界变化低于某个阈值。最终的OCSVM被部署用于生产评分。
常见陷阱
- 在没有独立验证集的情况下在训练集上调整 nu,这会导致过于乐观的边界。
- 仅根据边距选择查询而不考虑密度,导致模型查询稀疏、不具代表性的区域中的点。
- 在初始化期间将所有未标记数据视为正常,而不检查污染。
- 在查询次数太少后停止循环,并将性能报告给一个微小的验证集,就好像它很稳定一样。
- 在正常区域非凸的情况下使用线性核——核函数必须匹配正常类的几何形状。
常见问题
此方法与标准的单类支持向量机有何区别?
标准的单类支持向量机在所有可用的标记数据上训练一次。主动学习变体则进行迭代:它在一个小的种子集上训练,查询信息量最大的未标记点,收集标签,然后重新训练。这使得边界用更少的标记样本就能更准确。
我需要多少标记样本才能开始?
即使是少数已确认的正常样本(少至10-50个)也可以作为第一个OCSVM的种子。然后,主动学习循环会策略性地增长标记集。以太少的样本开始可能会导致初始边界不稳定,从而误导早期查询。
我应该使用哪种查询策略?
边距采样——查询最接近当前OCSVM决策边界的实例——是最常见的选择。当数据具有聚类结构时,那些也偏好输入空间密集区域中的点的基于密度的变体往往优于纯边距采样。
在异常标签稀缺时,我如何评估性能?
在包含已确认异常值的独立验证集上使用ROC曲线下面积(AUC-ROC)或精确率-召回曲线下面积(AUC-PR)。当异常值稀少时,准确率具有误导性。如果根本没有异常标签,则使用低维投影中边界的目视检查。
我何时应切换到其他异常检测器?
如果数据集的实例数超过几千个,Isolation Forest或基于自编码器的检测器具有更好的可扩展性。如果您有足够的标记异常值用于监督训练,标准的二元SVM或梯度提升分类器通常会优于OCSVM。
相关方法
参考文献
Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.
打开 DOI 文献已复制。Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
打开出版物文献已复制。