Skip to content
返回搜索结果

支持向量回归

提出者
Smola, A.J. & Schölkopf, B.
年份
2004
类型
Kernel-based supervised model (epsilon-insensitive regression)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

支持向量回归(Support Vector Regression, SVR)由Smola和Schölkopf在2004年的教程中阐述,它通过拟合一个函数来预测连续结果,该函数在数据周围的ε宽度管内保持,同时尽可能减少误差。它将支持向量机的思想从分类扩展到回归,使用核函数来捕捉非线性关系。

方法背后的直觉

SVR不是惩罚与拟合线的每一次偏差,而是忽略小于容差ε的误差——它在预测函数周围绘制一个宽度为ε的管,只有落在管外的点才会被计入误差。模型随后寻求最平坦的函数,以使大多数点保持在管内。管边缘上或边缘外的少数点成为定义预测的支持向量。

历史学

支持向量回归将支持向量机(最初是一种分类方法)扩展到回归任务。ε不敏感公式及其核化解决方案在Smola和Schölkopf于2004年发表在《统计与计算》上的教程中进行了阐述,该教程已成为该方法的标准参考文献。

何时使用

当关系可能非线性且您至少有大约50个观测值时,使用SVR从特征预测连续(或计数)结果。特征必须归一化,并且核函数和C参数需要调优。如果案例少于50个,预测将依赖于过少的支持向量而变得不稳定,因此岭回归或线性回归更可取。

局限与注意事项

  • 至少需要大约50个观测值;如果少于此数量,预测将依赖于过少的支持向量而变得不稳定。
  • 性能取决于核函数和C参数的调优,这需要足够的交叉验证数据。
  • 特征必须事先归一化,否则核距离会失真。
  • 不提供可解释的系数。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • ε不敏感损失使拟合对微小偏差和管内异常值具有鲁棒性。
  • 核函数允许SVR对非线性关系进行建模,而无需明确设计新特征。
  • 不需要数据呈正态分布。
  • 最终模型仅依赖于支持向量,使预测紧凑。

应用

  • 预测与特征关系非线性的连续结果。
  • 对微小偏差的鲁棒性很重要的预测和预报任务。
  • 在健康、社会、工程和商业数据中对计数或连续目标进行建模。
  • 当怀疑存在非线性时,作为线性回归或岭回归的基于核函数的替代方法。

使用方式

使用方式

1

SVR定义了一个容差范围,即回归函数周围的ε-管:ε范围内的偏差被视为没有误差。这使得拟合对微小波动不敏感,并使模型专注于真正落在范围之外的观测值。

公式
|y_i - f(x_i)| \le \varepsilon
2

模型平衡了函数的平坦性与管外点产生的误差。正则化参数C控制管外偏差的惩罚程度,而核函数(如RBF核)允许函数弯曲以捕捉非线性结构。由于C和核函数都必须进行调优,因此在拟合之前应将特征归一化。

公式
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

新输入的预测是支持向量(即位于管边缘上或边缘之外的训练点)的核加权组合,再加上一个偏移量。只有这些支持向量进入最终预测,这使得拟合模型紧凑。

公式
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

常见陷阱

  • 在未归一化的特征上拟合SVR,这会扭曲核距离。
  • 在不通过交叉验证调优的情况下接受默认的核函数和C值。
  • 在样本量小、没有足够数据进行超参数优化的情境下使用SVR。
  • 将基于核函数的拟合视为能产生可解释的效应量。

常见问题

ε参数控制什么?

ε设置了拟合函数周围容差管的半宽度。小于ε的偏差被视为零误差,因此较大的ε会产生更平坦、更简单的模型,支持向量更少,而较小的ε则更紧密地拟合数据。

为什么我必须归一化特征?

SVR依赖于通过核函数计算的距离。如果特征的尺度差异很大,则范围较大的特征会主导距离,因此在拟合之前应将特征标准化。

多小的样本量算太小?

如果观测值少于大约50个,拟合将依赖于过少的支持向量而变得不稳定,并且没有足够的数据来调优核超参数;此时岭回归或线性回归是更安全的选择。

SVR与普通最小二乘法有何不同?

最小二乘法对每个残差进行二次惩罚,而SVR忽略ε-管内的残差,只惩罚管外的残差。结合核函数,这使得SVR能够捕捉非线性关系并对微小偏差保持鲁棒性。

相关方法

参考文献

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    打开 DOI 文献
    已复制。