Skip to content
返回搜索结果

在线线性回归

提出者
Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
年份
1960 (LMS); 1950 (RLS formalization)
类型
Incremental supervised regression
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

在线线性回归一次拟合一个线性模型,逐个更新权重。与批量最小二乘法不同,它不需要存储或重新处理整个数据集,因此非常适合流式数据、超大数据集以及数据生成过程可能随时间变化的场景。

方法背后的直觉

想象一下,在每次测量后调整线性预测器的旋钮,而不是等到收集完所有数据。每个新观测值都会告诉你当前猜测的错误程度,然后你朝着减小该误差的方向微调权重向量。经过许多观测后,权重会收敛到接近普通最小二乘解的值——但你无需将整个数据集加载到内存中即可达到此目的,并且如果底层关系发生漂移,你可以继续适应。

历史学

理论基础追溯到高斯在 19 世纪初的最小二乘法和普莱凯特在 1950 年的递归公式。实际的在线变体随着 Widrow 和 Hoff 在 1960 年开发的最小均方(LMS)算法而出现,最初是为了自适应信号处理而开发的。Zinkevich(2003)形式化并由 Shalev-Shwartz(2012)全面回顾的在线凸优化理论,将在线线性回归置于严格的遗憾最小化框架内,并证明了其近乎最优的收敛保证。

何时使用

当数据作为连续流到达且必须立即提供预测时,当数据集太大而无法在内存中进行批量拟合时,或者当预测变量与结果之间的关系可能随时间漂移且模型需要适应时,请使用在线线性回归。它也是实时生产系统中作为轻量级基线的良好选择。当关系高度非线性时,当必须在整个数据集上进行特征工程时,或者当你需要具有置信区间的精确 OLS 系数进行统计推断时,应避免使用它——在这些情况下,请使用批量线性回归。

局限与注意事项

  • 对学习率的选择敏感:过大导致振荡,过小导致收敛缓慢。
  • 不提供闭式标准误差或 p 值,因此经典的统计推断不可直接获得。
  • 可能难以处理高度相关的特征(多重共线性),除非添加 L2 正则化。
  • 当所有数据都可用且没有概念漂移时,性能相对于批量 OLS 会下降。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 以 O(p) 的内存处理数据,其中 p 是特征的数量——不需要完整数据集。
  • 持续适应概念漂移,使其适用于金融时间序列或传感器流等非平稳环境。
  • 每次更新的计算成本低:单个点积和权重向量加法。
  • 可以跨多个流或分片自然并行化。
  • 实时产生预测,无需等待批量重新拟合。

应用

  • 电子商务和能源市场中的实时价格预测和需求预测。
  • 使用递归最小二乘法的自适应信号处理和噪声消除。
  • 在批量重新拟合不可行的物联网和传感器网络环境中进行连续模型更新。
  • 金融逐笔数据回归,其中数据生成过程频繁变化。
  • 随着用户事件的到来更新大型推荐系统特征权重。
  • 在考虑更复杂的模型之前,作为 AutoML 管道中的基线流模型。

使用方式

使用方式

1

将权重向量设置为零(或一个小的随机值),并选择一个控制步长的学习率 eta。可选地初始化一个正则化项,如 L2(岭回归),以防止权重在非平稳流中无界增长。

公式
\mathbf{w}_0 = \mathbf{0},\; \eta > 0
2

对于每个到达的观测值 x_t,通过当前权重向量与特征向量的点积来计算预测输出。此预测在真实标签 y_t 揭示之前做出,反映了真实流式场景的顺序性质。

公式
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_t
3

在真实标签揭示后,计算平方预测误差。这种瞬时损失驱动梯度信号;平方损失关于权重的梯度就是误差乘以特征向量。

公式
\ell_t = (y_t - \hat{y}_t)^2
4

应用 LMS(最小均方)更新规则:将权重朝着损失的负梯度方向移动。步长 eta 控制了适应速度和噪声敏感度之间的权衡。较小的 eta 产生更平滑的收敛;较大的 eta 适应更快但有振荡的风险。

公式
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_t
5

立即处理下一个观测值,或为在线小批量变体缓冲一个小批量数据。在非平稳场景中,衰减的学习率或滑动窗口遗忘因子可以使模型对概念漂移保持响应。无需进行完整的重新拟合。

常见陷阱

  • 在特征尺度差异很大的数据上使用固定的学习率——在更新之前,始终在线标准化特征(例如,运行均值和方差)。
  • 在处理高维或近乎共线的设置时,忘记添加正则化,这会导致权重在稀疏流上发散。
  • 将在线权重视为等同于 OLS 估计值并报告其 OLS 置信区间——它们并不相同。
  • 忽略概念漂移检测:如果数据分布急剧变化,固定的学习率可能会跟踪噪声而不是信号。
  • 仅在长流结束时评估准确性,而不是在整个过程中使用预测(测试后训练)评估。

常见问题

在线线性回归与标准(批量)线性回归有何不同?

批量线性回归一次性求解整个数据集上的正规方程,给出精确的 OLS 解。在线线性回归在每次观测后使用梯度步骤增量更新权重,在不加载所有数据的情况下收敛到接近 OLS 的解——但会损失精确的推断统计。

应该使用什么学习率?

一个常见的起点是 eta = 0.01 除以特征向量的预期范数平方。网格搜索或自适应方法(AdaGrad、Adam)通常比固定的全局学习率更容易调整,并且可以自动为每个特征缩放学习率。

在线线性回归能处理概念漂移吗?

可以。恒定的(非衰减)学习率可以使模型对漂移保持响应。对于突然的转变,明确的漂移检测测试(例如 ADWIN)可以触发部分权重重置。当关系是平稳的并且你想要最终收敛时,衰减的学习率效果更好。

在线设置中是否可能进行正则化?

可以。添加 L2 惩罚可以得到在线岭(Tikhonov)更新:在每一步减去当前权重向量的一小部分。这可以防止权重在稀疏或嘈杂的流上增长过大,并且在高维设置中强烈推荐。

如何公平地评估在线模型?

使用预测(测试后训练)评估:在使用每个观测值更新模型之前,记录其预测误差。这可以无偏地、顺序地估计泛化误差,而无需单独的保留测试集。

相关方法

参考文献

  1. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    打开 DOI 文献
    已复制。
  2. Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.

    ISBN:978-0130901262
    已复制。