Skip to content
返回搜索结果

单类支持向量机

提出者
Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
年份
1999–2001
类型
Anomaly / novelty detection (unsupervised)
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

单类支持向量机(One-class SVM)是一种无监督的异常值和新颖性检测算法。它在由核函数诱导的特征空间中学习一个紧密的边界来包围正常的训练数据,并将落在该边界之外的新观测值标记为异常值。该算法由Scholkopf等人于1999-2001年提出,它将支持向量机(SVM)框架扩展到了没有标记异常值的单类设置。

方法背后的直觉

可以想象将一个气球吹胀,使其包围变换空间中的所有训练点,该空间由核函数定义。一旦气球拟合完成,任何落在气球之外的新点都会被声明为异常值。参数nu控制气球的紧密程度:较小的nu允许非常少的训练点位于边界内(严格边界),而较大的nu则允许更多点位于边界外(较宽松的边界)。核技巧使得边界在原始输入空间中可以是线性的,因此单类SVM可以捕捉到正常行为的复杂形状,而简单的阈值或距离规则会错过这些形状。

历史学

单类SVM由Scholkopf、Platt、Smola和Williamson于1999年在一份技术报告中提出,并于2001年在Neural Computation上发表,题为“Estimating the support of a high-dimensional distribution”。一个密切相关的形式,支持向量数据描述(SVDD),由Tax和Duin(2004年)同时开发。这两种方法都将监督SVM框架扩展到了无监督异常检测设置,并成为新颖性检测文献中的基础参考。Scikit-learn的OneClassSVM实现使得该方法在应用研究中得到广泛应用。

何时使用

当没有标记的异常值示例可用或非常稀少,并且您想要一个围绕正常行为的非线性边界时,请使用单类SVM——这在欺诈检测、入侵检测、工业故障监控和具有连续数值特征的医学新颖性筛查中很常见。它在中等大小的数据集(数百到数万个样本)以及线性或基于距离的检测器失败的高维或复杂形状的正常分布上效果最佳。避免在以下情况使用:训练集非常大(n > ~100,000),因为二次规划求解的计算复杂度随之增加;数据主要是分类的;或者需要快速、可解释的规则。在这些情况下,应优先选择Isolation Forest、Local Outlier Factor或基于阈值的统计模型。

局限与注意事项

  • 二次规划求解器的训练样本复杂度为O(n^2)至O(n^3),对于非常大的数据集来说不切实际。
  • 对核函数及其超参数(例如RBF的gamma)的选择敏感;选择不当会导致边界过紧或过松。
  • 需要干净的正常训练数据——受污染的训练集会移动边界并增加假阴性率。
  • 不能自然地产生校准的概率估计;决策分数不是概率。
  • 可解释性有限;在没有额外的事后工具的情况下,很难解释为什么某个特定点被标记。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在没有标记的异常值示例的情况下工作——只需要正常的训练数据。
  • 非线性核(通常是RBF)可以捕捉到基于距离的方法所忽略的正常行为的复杂、弯曲的边界。
  • nu参数提供了对预期异常值比例的直接、可解释的控制。
  • 通过核技巧可以优雅地扩展到高维特征空间。
  • 连续决策分数支持灵活的下游阈值校准。
  • 在高风险领域(如入侵检测、故障监控和医学成像)已得到验证。

应用

  • 网络入侵检测:标记在正常运行期间未见过的流量模式。
  • 工业故障监控:检测与健康状态剖面不同的机器传感器读数。
  • 欺诈检测:在欺诈示例过于稀少而无法训练监督分类器时,识别异常交易模式。
  • 医学新颖性检测:标记超出健康受试者分布的影像或生物标志物读数。
  • 自然语言处理:使用文本嵌入作为输入特征,检测域外文档或查询。

使用方式

使用方式

1

所有训练观测值都通过诸如径向基函数(RBF)之类的核函数映射到一个高维(可能无限维)特征空间。该空间中的内积可以在不显式计算映射的情况下进行评估,这使得即使对于复杂的边界,该方法也是可行的。

公式
\phi: \mathcal{X} \to \mathcal{F}
2

二次规划在特征空间中寻找一个超平面,该超平面以最大间隔将映射的训练数据与原点分开。参数nu(介于0和1之间)同时约束被视为异常值的训练点的比例和支持向量的比例,从而使实践者能够直接控制模型紧密度与训练数据污染容忍度之间的权衡。

公式
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_i
3

学习到的超平面定义了一个有符号决策函数。位于正侧的点被分类为正常;位于负侧(低于阈值rho)的点被标记为异常值或新颖性。原始分数也可以作为连续异常分数用于排序。

公式
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)
4

选择nu是关键的建模决策:将其设置接近训练集中预期的污染比例是一个实用的经验法则。应通过在未标记数据上进行网格搜索来指导选择,而不是仅凭网格搜索,还应参考已知正常样本的保留验证集或关于预期异常值率的领域知识。

5

在部署时,将异常分数阈值应用于决策函数的输出。事后可以调整阈值,以在异常值的精度和召回率之间进行权衡,从而使该方法适用于误报成本与漏报成本差异很大的应用。

常见陷阱

  • 在包含大量未检测到的异常值的训练数据上进行训练,这会破坏学习到的边界。
  • 在没有参考预期污染率的情况下设置nu,导致过多的假阳性或漏报异常值。
  • 使用默认的RBF gamma而不进行调整,这可能导致边界过紧(所有新点都是异常值)或过松(未检测到异常值)。
  • 在非常大的数据集上应用单类SVM而不考虑替代方案(如基于SGD的近似方法(sklearn的SGDOneClassSVM))。
  • 仅报告二元异常标志,而不检查连续分数分布以校准阈值。

常见问题

对于异常检测,单类SVM与Isolation Forest的区别是什么?

单类SVM学习围绕正常数据的基于核的边界,在高维、复杂形状的分布上表现良好,但随着数据集大小的增加,其扩展性较差。Isolation Forest使用随机分区,在大数据集上速度更快,但通常对细微的非线性异常模式不敏感。

应该如何选择nu参数?

将nu设置为您期望的被污染或非典型观测值的比例。如果您认为训练样本中有不到5%是异常值,则从nu=0.05开始。使用已知正常样本的保留集来评估边界紧密度,而不是仅依赖于网格搜索。

应该使用什么核函数?

RBF(高斯)核是标准的起点,可以很好地处理大多数连续数值数据集。RBF核的gamma超参数控制影响半径;在对数间隔网格上进行交叉验证。线性核更快,但将边界限制为超平面。

单类SVM能处理分类特征吗?

不能直接处理。分类变量必须在之前进行数值编码(例如,二进制或序数编码),这可能会引入距离度量失真。对于以分类特征为主的数据集,请考虑使用Isolation Forest等基于树的检测器。

我的训练集可能包含一些异常值。这会破坏模型吗?

受污染的训练数据会使边界向外移动,并可能导致模型将异常模式学习为正常模式。单类SVM对此比Isolation Forest更敏感。如果怀疑存在污染,可以考虑使用具有更高nu值的SVDD,或使用快速检测器的初步扫描来清理训练集。

相关方法

参考文献

  1. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    打开 DOI 文献
    已复制。
  2. Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.

    打开 DOI 文献
    已复制。