Skip to content
返回搜索结果

在线逻辑回归

提出者
Rosenblatt, F. / Widrow, B. (perceptron era); modern SGD form: Bottou, L.
年份
1960s (perceptron); formalized for logistic loss ~2000s
类型
Incremental supervised classifier
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

在线逻辑回归通过随机梯度下降一次拟合一个样本(或小批量)的逻辑分类器,在每个观测值到达时更新模型权重,而不是等待看到整个数据集。这使其成为高流量、流式或内存受限的二元分类问题的标准选择,在这些问题中批量训练是不可行的。

方法背后的直觉

经典的逻辑回归需要将所有数据加载到内存中,并在整个数据集上进行优化。在线逻辑回归则读取每个传入的示例,进行概率预测,计算预测误差,并在移动到下一个示例之前,进行一小步梯度下降来修正其权重。经过许多示例后,权重会收敛到接近批量求解器找到的值,但模型可以持续更新,而无需存储整个数据集。学习率的衰减确保了随着模型的成熟,更新会变得更精细,用适应速度换取稳定性。

历史学

在线梯度学习的根源可以追溯到 Rosenblatt 的感知器(1958)和 Widrow 和 Hoff 的 LMS 规则(1960)。逻辑损失变体在 2000 年代的大规模学习文献中得到推广,特别是通过 Bottou 关于机器学习随机梯度下降的工作,以及 Shalev-Shwartz 关于在线凸优化的理论框架。它已成为网络规模点击率预测和垃圾邮件过滤的生产标准,在这些领域,数据集连续流式传输,模型必须实时更新。

何时使用

当数据作为流到达或整个数据集太大而无法放入内存时,当预期类别边界会随时间逐渐移动(概念漂移)时,或者当需要低延迟的模型更新时,请使用在线逻辑回归。对于单次 SGD 传递即可接受的非常大的静态数据集,它也是一个快速的基线。当数据集足够小可以进行批量训练时(批量逻辑回归将以更少的调整收敛到更好的解决方案),当决策边界高度非线性时(基于树或核方法将拟合得更好),或者当需要解释精确的系数标准误差和 p 值进行报告时,应避免使用它。

局限与注意事项

  • 对学习率选择敏感:过大导致发散,过小导致收敛缓慢或欠拟合。
  • 不提供系数的闭式置信区间或 p 值。
  • 与相同数据下的批量梯度下降相比,收敛到更嘈杂的解决方案;需要多次传递或平均(Polyak-Ruppert)来缩小差距。
  • 除非应用标准化或 AdaGrad,否则性能会因特征尺度差异很大而下降。
  • 假设线性决策边界;没有特征工程无法捕捉非线性结构。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 恒定的内存占用:一次处理一个示例,无需存储整个数据集。
  • 通过继续更新权重,随着新标记数据的到来,适应概念漂移。
  • 可扩展至数十亿个示例,而批量优化将是不可行的。
  • 通过 sigmoid 链接产生校准的概率输出,适用于风险评分。
  • 与 L1 和 L2 正则化以及与全批量解决方案相对应的学习率调度兼容。

应用

  • 在线广告中具有连续数据流的点击率预测。
  • 垃圾邮件和欺诈检测,其中模式会演变,模型必须每天适应。
  • 社交媒体帖子的实时情感分类,即时处理。
  • 当完整数据集不适合 RAM 时的大规模二元风险评分。
  • 金融交易监控中的概念漂移场景。
  • 在评估更复杂的在线集成模型之前的基线流式分类器。

使用方式

使用方式

1

权重向量和偏置初始化为零(或小的随机值)。此阶段不需要数据传递——模型已准备好立即处理其第一个观测值。

公式
\mathbf{w}_0 = \mathbf{0},\; b_0 = 0
2

对于每个传入的观测值,模型计算其当前权重和特征的线性组合,然后将其通过 sigmoid 函数,得到标签为 1 的概率。该概率既用作预测,也用作梯度计算的组成部分。

公式
\hat{p}_t = \sigma(\mathbf{w}_t^\top \mathbf{x}_t + b_t),\quad \sigma(z)=\frac{1}{1+e^{-z}}
3

预测概率与真实标签之间的二元交叉熵(对数损失)衡量当前预测的错误程度。交叉熵在权重上是凸的,这保证了梯度下降在数据流上的平均误差能够可靠地减小。

公式
\ell_t = -[y_t \log \hat{p}_t + (1-y_t)\log(1-\hat{p}_t)]
4

损失相对于权重的梯度简化为简单的残差(预测概率减去真实标签)乘以特征向量。添加正则化项(L2 或 L1)以惩罚大权重并防止过拟合。权重通过在每个示例的单次传递中减去缩放后的梯度来更新。

公式
\mathbf{w}_{t+1} = \mathbf{w}_t - \eta_t (\hat{p}_t - y_t)\mathbf{x}_t - \eta_t \lambda \mathbf{w}_t
5

学习率会随时间衰减——开始时较大以便在早期阶段快速移动,然后缩小以便后续更新进行精细校正而不产生振荡。常见的调度是逆时时间衰减或 AdaGrad 式的每特征自适应,它能自动处理尺度差异很大的特征。

公式
\eta_t = \eta_0 / (1 + \alpha t)

常见陷阱

  • 忘记标准化特征:在线 SGD 对尺度差异特别敏感,因为相同的学习率应用于所有维度。
  • 在整个训练过程中使用固定的学习率:权重在最优值附近振荡,从未稳定下来。
  • 忽略数据流中的类别不平衡:代表性不足的类别接收到的梯度信号很少,模型会偏向多数类别。
  • 将早期权重估计视为最终估计:模型在其权重稳定之前需要足够的示例;不要过早评估。
  • 混淆在线更新能力与自动概念漂移检测:权重会随数据漂移,但仍需要显式的漂移监控(例如 ADWIN)来检测突然的偏移。

常见问题

在线逻辑回归与标准逻辑回归有何不同?

标准逻辑回归一次使用所有数据(批量优化),并返回具有标准误差的精确最大似然系数。在线逻辑回归在每个示例后更新权重,仅使用恒定内存并容忍无限长的流,但其估计值更嘈杂,并且不产生推断统计。

如何选择学习率?

一个常见的起点是结合逆时间衰减的小固定学习率(例如 0.01),或使用自动为每特征自适应学习率的 AdaGrad。始终先标准化特征,然后在保留的验证集上调整初始学习率,或通过监控流的近期窗口上的运行对数损失来调整。

在线逻辑回归可以处理多类问题吗?

可以——将其扩展为并行训练的“一对多”二元分类器,或使用具有分类交叉熵损失和每类权重向量的 softmax(多项式)泛化,并对每个分类器应用相同的 SGD 更新规则。

应该使用什么正则化?

L2(岭)正则化是默认选项:它平滑地收缩所有权重,并与 SGD 配合良好。L1(套索)产生稀疏权重,当您希望在非常高维的空间中进行自动特征选择时很有用,但需要仔细截断或 FOBOS 更新才能在线保持精确稀疏。

如何评估一个持续更新的模型?

使用预取(测试然后训练)评估:在使用每个示例进行权重更新之前对其进行预测,然后报告滑动窗口上的运行对数损失或 AUC。这提供了当前模型质量的无偏估计,而无需固定的保留集。

相关方法

参考文献

  1. Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent. In Proceedings of COMPSTAT 2010, 177–186. Physica-Verlag.

    打开出版物文献
    已复制。
  2. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    打开 DOI 文献
    已复制。