支持向量回归
- 提出者
- Smola, A.J. & Schölkopf, B.
- 年份
- 2004
- 类型
- Kernel-based supervised model (epsilon-insensitive regression)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
支持向量回归(Support Vector Regression, SVR)由Smola和Schölkopf在2004年的教程中阐述,它通过拟合一个函数来预测连续结果,该函数在数据周围的ε宽度管内保持,同时尽可能减少误差。它将支持向量机的思想从分类扩展到回归,使用核函数来捕捉非线性关系。
方法背后的直觉
SVR不是惩罚与拟合线的每一次偏差,而是忽略小于容差ε的误差——它在预测函数周围绘制一个宽度为ε的管,只有落在管外的点才会被计入误差。模型随后寻求最平坦的函数,以使大多数点保持在管内。管边缘上或边缘外的少数点成为定义预测的支持向量。
历史学
支持向量回归将支持向量机(最初是一种分类方法)扩展到回归任务。ε不敏感公式及其核化解决方案在Smola和Schölkopf于2004年发表在《统计与计算》上的教程中进行了阐述,该教程已成为该方法的标准参考文献。
何时使用
当关系可能非线性且您至少有大约50个观测值时,使用SVR从特征预测连续(或计数)结果。特征必须归一化,并且核函数和C参数需要调优。如果案例少于50个,预测将依赖于过少的支持向量而变得不稳定,因此岭回归或线性回归更可取。
局限与注意事项
- 至少需要大约50个观测值;如果少于此数量,预测将依赖于过少的支持向量而变得不稳定。
- 性能取决于核函数和C参数的调优,这需要足够的交叉验证数据。
- 特征必须事先归一化,否则核距离会失真。
- 不提供可解释的系数。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- ε不敏感损失使拟合对微小偏差和管内异常值具有鲁棒性。
- 核函数允许SVR对非线性关系进行建模,而无需明确设计新特征。
- 不需要数据呈正态分布。
- 最终模型仅依赖于支持向量,使预测紧凑。
应用
- 预测与特征关系非线性的连续结果。
- 对微小偏差的鲁棒性很重要的预测和预报任务。
- 在健康、社会、工程和商业数据中对计数或连续目标进行建模。
- 当怀疑存在非线性时,作为线性回归或岭回归的基于核函数的替代方法。
使用方式
使用方式
SVR定义了一个容差范围,即回归函数周围的ε-管:ε范围内的偏差被视为没有误差。这使得拟合对微小波动不敏感,并使模型专注于真正落在范围之外的观测值。
公式
|y_i - f(x_i)| \le \varepsilon
模型平衡了函数的平坦性与管外点产生的误差。正则化参数C控制管外偏差的惩罚程度,而核函数(如RBF核)允许函数弯曲以捕捉非线性结构。由于C和核函数都必须进行调优,因此在拟合之前应将特征归一化。
公式
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)新输入的预测是支持向量(即位于管边缘上或边缘之外的训练点)的核加权组合,再加上一个偏移量。只有这些支持向量进入最终预测,这使得拟合模型紧凑。
公式
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b
常见陷阱
- 在未归一化的特征上拟合SVR,这会扭曲核距离。
- 在不通过交叉验证调优的情况下接受默认的核函数和C值。
- 在样本量小、没有足够数据进行超参数优化的情境下使用SVR。
- 将基于核函数的拟合视为能产生可解释的效应量。
常见问题
ε参数控制什么?
ε设置了拟合函数周围容差管的半宽度。小于ε的偏差被视为零误差,因此较大的ε会产生更平坦、更简单的模型,支持向量更少,而较小的ε则更紧密地拟合数据。
为什么我必须归一化特征?
SVR依赖于通过核函数计算的距离。如果特征的尺度差异很大,则范围较大的特征会主导距离,因此在拟合之前应将特征标准化。
多小的样本量算太小?
如果观测值少于大约50个,拟合将依赖于过少的支持向量而变得不稳定,并且没有足够的数据来调优核超参数;此时岭回归或线性回归是更安全的选择。
SVR与普通最小二乘法有何不同?
最小二乘法对每个残差进行二次惩罚,而SVR忽略ε-管内的残差,只惩罚管外的残差。结合核函数,这使得SVR能够捕捉非线性关系并对微小偏差保持鲁棒性。
相关方法
参考文献
Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.
打开 DOI 文献已复制。