支持向量机(分类)
- 提出者
- Cortes, C. & Vapnik, V.
- 年份
- 1995
- 类型
- Maximum-margin classifier (kernel method)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
支持向量机(Support Vector Machine, SVM)由 Corinna Cortes 和 Vladimir Vapnik 于 1995 年提出,它是一种在 高维空间中寻找类别间最优分离超平面 的分类器。它选择能够留下 与最近训练点 最大间隔 的边界,这使得其决策在新数据上具有鲁棒性。
方法背后的直觉
设想用一条直线将两组点分开。许多直线都可以做到这一点,但 SVM 寻找的是与每类最近点距离尽可能远的那条线——它们之间最宽的“街道”。只有那些最近的点,即支持向量,实际上塑造了边界;更远的点都无关紧要。当类别无法用直线分割时,核函数可以重塑空间,从而实现清晰的分离。
历史学
支持向量机(SVM)由 Corinna Cortes 和 Vladimir Vapnik 在其 1995 年的论文“Support-Vector Networks”中提出,该论文将最大间隔思想与核技巧相结合,以处理非线性可分数据。它成为其时代最具影响力的分类方法之一,也是高维监督学习的标准基准。
何时使用
当表格数据具有大约 50 个或更多观测值,特别是当特征空间是高维且预测准确性比显式系数更重要时,可以使用 SVM 进行二元或分类任务。它不需要数据服从正态分布,但特征必须标准化,并且必须通过交叉验证来调整核函数和 C。对于非常小的样本,应优先选择逻辑回归或朴素贝叶斯等更简单的分类器。
局限与注意事项
- 对核函数和 C 参数的选择敏感,必须通过交叉验证进行调整。
- 需要仔细进行特征标准化;未缩放的特征会扭曲间隔。
- 在小样本上变得不稳定,因为支持向量太少,无法定义可靠的边界。
- 不提供直接可解释的系数,也没有原生的类别概率估计。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 在 高维特征空间 中有效,即使特征数量超过了边界复杂性所暗示的数量。
- 最大间隔原理和仅使用支持向量可以提供鲁棒、可泛化的边界。
- 核函数使 SVM 能够在不手动设计新特征的情况下捕捉非线性类别边界。
- 假设较少:它不要求数据服从正态分布。
应用
- 表格数据上的二元和多类别分类。
- 特征数量超过简单模型容量的高维分类问题。
- 决策边界鲁棒、分离良好的预测任务,比可解释的系数更重要。
- 具有非线性类别边界的问题,通过核函数解决。
使用方式
使用方式
SVM 寻找分离类别且具有最大间隔(到两侧最近数据点最大距离)的超平面。那些最近的点是支持向量,它们单独决定了边界的位置。宽间隔通常比紧贴训练点的边界在新数据上泛化得更好。
当类别不是线性可分时,核函数(例如径向基函数)会隐式地将特征映射到一个高维空间,在该空间中存在一个分离超平面。这就是为什么必须首先对特征进行标准化(需要 StandardScaler),以及为什么应该通过交叉验证来选择核函数和正则化参数 C。
边界是通过最小化上述目标函数找到的:它缩小权重向量(拓宽间隔),同时对落在错误一侧或间隔内的每个点(松弛变量 ξ)支付惩罚 C。较大的 C 要求严格拟合训练数据;较小的 C 则容忍更多违规以换取更宽、更平滑的间隔。对于类别不平衡的数据,设置 class_weight='balanced' 可以防止少数类被忽略。
公式
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i常见陷阱
- 在原始、未缩放的特征上拟合 SVM,而不是先进行标准化。
- 接受默认的核函数和 C 值,而不是通过交叉验证(例如网格搜索)选择它们。
- 忽略类别不平衡,而不是设置 class_weight='balanced'。
- 在少于约 50 个观测值的样本上应用 SVM,此时边界不稳定且容易过拟合。
- 仅报告准确率,而不报告混淆矩阵、精确率/召回率/F1 分数和 ROC-AUC。
常见问题
为什么我需要标准化特征?
SVM 计算到分离超平面的距离,因此数值尺度较大的特征会主导间隔。标准化每个特征(StandardScaler)可以使它们处于可比较的尺度上,从而使边界反映真实的类别结构,而不是任意的单位。
C 参数控制什么?
C 在间隔宽度和分类错误之间进行权衡。较大的 C 强制严格拟合训练数据并产生窄间隔;较小的 C 则允许更多的间隔违规以换取更宽、更平滑的边界。正确的值通过交叉验证找到。
核函数有什么用?
当类别无法用直线边界分离时,核函数(如径向基函数)会隐式地将数据映射到一个高维空间,在该空间中存在一个分离超平面,从而使 SVM 能够模拟非线性边界。核函数的选择应通过交叉验证进行验证。
什么时候不应该使用 SVM?
在非常小的样本上——低于约 50 个观测值——支持向量太少,无法定义稳定的边界,并且没有足够的数据来调整核函数和 C,因此模型有过度拟合的风险。在这种情况下,应优先选择逻辑回归或朴素贝叶斯等更简单的分类器。
相关方法
参考文献
Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.
打开 DOI 文献已复制。