Skip to content
返回搜索结果

在线学习

提出者
Rosenblatt, F.; Littlestone, N.; Shalev-Shwartz, S. (key contributors)
年份
1958–2000s
类型
Learning paradigm (sequential model update)
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

在线学习是一种机器学习范式,其中模型在收到每个新数据点后进行增量更新,而不是在固定的数据集上进行一次性训练。当数据流持续不断、存储空间有限或底层分布随时间变化时,在线学习至关重要。理论性能通过与事后最佳固定预测器相比的累积遗憾来衡量。

方法背后的直觉

在经典的批量学习中,您首先收集所有数据,然后进行训练。在线学习则相反:模型一次接收一个示例,进行预测,查看真实结果,并立即更新自身。可以将其想象成一位交易员,他不是等到年底才调整策略,而是在每次交易后都进行调整。关键的理论保证是低遗憾——在许多轮次中,在线学习者的总损失几乎与事后选择的最佳单一静态策略的总损失一样小。

历史学

在线学习范式可以追溯到 Rosenblatt 的感知器(1958 年),并由 Littlestone(错误界限模型,1988 年)和 Freund & Schapire(Winnow、Hedge,1990 年代)在理论上进行了形式化。Zinkevich(2003 年)开发了在线凸优化框架,统一了许多算法的遗憾分析,并由 Shalev-Shwartz(2011 年)进行了广泛的综述。FTRL 和 AdaGrad 变体为谷歌等公司的大规模工业系统提供支持。

何时使用

当数据以连续流的形式到达,并且从头开始重新训练不切实际时;当数据分布随时间变化(概念漂移)且模型必须在不进行完全重新训练的情况下进行适应时;或者当存储和内存限制阻止保留完整数据集时,请使用在线学习。它适用于推荐系统、欺诈检测、自然语言处理管道和传感器数据应用。请勿在数据量小且静态(批量学习更简单且同样有效)时使用;当需要多次查看完整数据集以实现收敛(例如,小型数据集上的深度神经网络)时;或者当可重现性和离线评估管道至关重要且流式基础设施不可用时,请勿使用。

局限与注意事项

  • 对学习率和超参数选择敏感;不当的学习率会导致收敛缓慢或不稳定。
  • 任何给定步骤的性能取决于示例的顺序,这使得结果对顺序敏感。
  • 批量评估指标(交叉验证、留出测试集)不直接适用;需要使用预取评估。
  • 深度神经网络训练通常需要多次数据遍历(epochs),这与严格的单次遍历在线设置相冲突。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 使用恒定内存处理无界数据流,使其能够扩展到海量或无限数据集。
  • 自动适应概念漂移和分布变化,无需显式重新训练触发器。
  • 通过遗憾界限提供强大的理论保证,量化相对于任何固定竞争对手的最坏情况性能。
  • 低延迟更新使其适用于实时和时间敏感的应用。
  • 许多算法(SGD、AdaGrad、FTRL)具有良好理解的收敛和遗憾特性。

应用

  • 实时点击率预测和在线广告(谷歌规模的 FTRL-Proximal)。
  • 对需要即时模型更新的金融交易流进行欺诈和异常检测。
  • 处理不断演变的词汇的新闻或社交媒体信息流的自然语言处理管道。
  • 传感器和物联网数据分类,其中数据量排除了批量存储。
  • 必须即时适应不断变化的用户偏好的推荐系统。
  • 自适应垃圾邮件过滤,其中垃圾邮件的定义不断演变。

使用方式

使用方式

1

在每个时间步长 t,学习者从数据流中接收一个新的特征向量 x_t。该实例被立即处理,并且不被永久存储,这使得该范式即使对于无界数据流也具有内存效率。

2

当前的模型 f_t 在真实标签揭示之前,为 x_t 生成一个预测。模型可以是线性分类器、小型神经网络、决策规则或内存中维护的任何参数化函数。

公式
\hat{y}_t = f_t(x_t)
3

预测后,学习者观察真实标签 y_t 并计算损失。这个反馈信号量化了当前预测的错误程度,并驱动后续的参数更新。

公式
\ell_t = \ell(\hat{y}_t, y_t)
4

模型参数使用损失关于当前参数的梯度,并按学习率进行缩放来更新。常见的算法包括感知器、随机梯度下降、AdaGrad 和 Follow-the-Regularized-Leader (FTRL)。

公式
w_{t+1} = w_t - \eta_t \nabla \ell_t
5

性能通过累积遗憾进行评估:在线学习者的总损失与事后已知的最佳固定预测器的总损失之间的差值。次线性遗憾增长(例如,O(sqrt(T)))保证了学习者收敛到接近最优的行为。

公式
R_T = \sum_{t=1}^{T} \ell_t - \min_{f} \sum_{t=1}^{T} \ell(f(x_t), y_t)

常见陷阱

  • 使用固定的学习率,而需要 AdaGrad 或衰减调度——这会导致学习缓慢或发散。
  • 忽略概念漂移监控:即使是在线模型,如果没有明确跟踪,也可能滞后于突然的分布变化。
  • 将“在线学习”与基于网络的学习(电子学习)混淆;机器学习的含义是严格的增量模型更新。
  • 使用批量交叉验证进行评估,而不是预取(先测试后训练)评估,这会夸大或低估性能。
  • 将在线学习应用于小型静态数据集,而具有适当交叉验证的简单批量方法更合适。

常见问题

在线学习与随机梯度下降是相同的吗?

SGD 是在线学习中最常用的优化算法,但它们并不完全相同。在线学习是一个范式(处理一个示例,更新,然后继续);SGD 是一个更新规则。在线学习可以使用其他更新规则,如感知器、AdaGrad 或 FTRL。

如何评估使用在线学习训练的模型?

使用预取评估(也称为先测试后训练):对于每个到达的示例,首先进行预测,记录错误,然后进行更新。错误率的运行平均值可以无偏地估计实时性能,而无需单独的留出集。

在线学习如何处理概念漂移?

由于参数在每个示例后都会更新,因此模型会自然地跟踪缓慢的分布变化。对于通过监控错误率或统计测试(例如 DDM、ADWIN)显式检测到的突然漂移,可能需要更高的学习率或模型重置。

什么是遗憾,为什么它很重要?

遗憾是在线算法与事后选择的最佳固定预测器相比所产生的累积额外损失。次线性遗憾(增长速度慢于 T)保证了平均每轮损失收敛到最优值,提供了严格的最坏情况性能证明。

深度神经网络可以以在线方式训练吗?

可以,但有注意事项。DNN 通常需要多次数据遍历(epochs)才能稳定收敛,这与严格的单次遍历在线约束相冲突。在实践中,通常使用小批量流式 SGD 作为折衷——在更新权重之前处理最近的几个示例的小批量。

相关方法

参考文献

  1. Shalev-Shwartz, S. (2011). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    打开 DOI 文献
    已复制。
  2. Cesa-Bianchi, N. & Lugosi, G. (2006). Prediction, Learning, and Games. Cambridge University Press.

    ISBN:978-0-521-84108-5
    已复制。