在线逻辑回归
- 提出者
- Rosenblatt, F. / Widrow, B. (perceptron era); modern SGD form: Bottou, L.
- 年份
- 1960s (perceptron); formalized for logistic loss ~2000s
- 类型
- Incremental supervised classifier
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
在线逻辑回归通过随机梯度下降一次拟合一个样本(或小批量)的逻辑分类器,在每个观测值到达时更新模型权重,而不是等待看到整个数据集。这使其成为高流量、流式或内存受限的二元分类问题的标准选择,在这些问题中批量训练是不可行的。
方法背后的直觉
经典的逻辑回归需要将所有数据加载到内存中,并在整个数据集上进行优化。在线逻辑回归则读取每个传入的示例,进行概率预测,计算预测误差,并在移动到下一个示例之前,进行一小步梯度下降来修正其权重。经过许多示例后,权重会收敛到接近批量求解器找到的值,但模型可以持续更新,而无需存储整个数据集。学习率的衰减确保了随着模型的成熟,更新会变得更精细,用适应速度换取稳定性。
历史学
在线梯度学习的根源可以追溯到 Rosenblatt 的感知器(1958)和 Widrow 和 Hoff 的 LMS 规则(1960)。逻辑损失变体在 2000 年代的大规模学习文献中得到推广,特别是通过 Bottou 关于机器学习随机梯度下降的工作,以及 Shalev-Shwartz 关于在线凸优化的理论框架。它已成为网络规模点击率预测和垃圾邮件过滤的生产标准,在这些领域,数据集连续流式传输,模型必须实时更新。
何时使用
当数据作为流到达或整个数据集太大而无法放入内存时,当预期类别边界会随时间逐渐移动(概念漂移)时,或者当需要低延迟的模型更新时,请使用在线逻辑回归。对于单次 SGD 传递即可接受的非常大的静态数据集,它也是一个快速的基线。当数据集足够小可以进行批量训练时(批量逻辑回归将以更少的调整收敛到更好的解决方案),当决策边界高度非线性时(基于树或核方法将拟合得更好),或者当需要解释精确的系数标准误差和 p 值进行报告时,应避免使用它。
局限与注意事项
- 对学习率选择敏感:过大导致发散,过小导致收敛缓慢或欠拟合。
- 不提供系数的闭式置信区间或 p 值。
- 与相同数据下的批量梯度下降相比,收敛到更嘈杂的解决方案;需要多次传递或平均(Polyak-Ruppert)来缩小差距。
- 除非应用标准化或 AdaGrad,否则性能会因特征尺度差异很大而下降。
- 假设线性决策边界;没有特征工程无法捕捉非线性结构。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 恒定的内存占用:一次处理一个示例,无需存储整个数据集。
- 通过继续更新权重,随着新标记数据的到来,适应概念漂移。
- 可扩展至数十亿个示例,而批量优化将是不可行的。
- 通过 sigmoid 链接产生校准的概率输出,适用于风险评分。
- 与 L1 和 L2 正则化以及与全批量解决方案相对应的学习率调度兼容。
应用
- 在线广告中具有连续数据流的点击率预测。
- 垃圾邮件和欺诈检测,其中模式会演变,模型必须每天适应。
- 社交媒体帖子的实时情感分类,即时处理。
- 当完整数据集不适合 RAM 时的大规模二元风险评分。
- 金融交易监控中的概念漂移场景。
- 在评估更复杂的在线集成模型之前的基线流式分类器。
使用方式
使用方式
权重向量和偏置初始化为零(或小的随机值)。此阶段不需要数据传递——模型已准备好立即处理其第一个观测值。
公式
\mathbf{w}_0 = \mathbf{0},\; b_0 = 0对于每个传入的观测值,模型计算其当前权重和特征的线性组合,然后将其通过 sigmoid 函数,得到标签为 1 的概率。该概率既用作预测,也用作梯度计算的组成部分。
公式
\hat{p}_t = \sigma(\mathbf{w}_t^\top \mathbf{x}_t + b_t),\quad \sigma(z)=\frac{1}{1+e^{-z}}预测概率与真实标签之间的二元交叉熵(对数损失)衡量当前预测的错误程度。交叉熵在权重上是凸的,这保证了梯度下降在数据流上的平均误差能够可靠地减小。
公式
\ell_t = -[y_t \log \hat{p}_t + (1-y_t)\log(1-\hat{p}_t)]损失相对于权重的梯度简化为简单的残差(预测概率减去真实标签)乘以特征向量。添加正则化项(L2 或 L1)以惩罚大权重并防止过拟合。权重通过在每个示例的单次传递中减去缩放后的梯度来更新。
公式
\mathbf{w}_{t+1} = \mathbf{w}_t - \eta_t (\hat{p}_t - y_t)\mathbf{x}_t - \eta_t \lambda \mathbf{w}_t学习率会随时间衰减——开始时较大以便在早期阶段快速移动,然后缩小以便后续更新进行精细校正而不产生振荡。常见的调度是逆时时间衰减或 AdaGrad 式的每特征自适应,它能自动处理尺度差异很大的特征。
公式
\eta_t = \eta_0 / (1 + \alpha t)
常见陷阱
- 忘记标准化特征:在线 SGD 对尺度差异特别敏感,因为相同的学习率应用于所有维度。
- 在整个训练过程中使用固定的学习率:权重在最优值附近振荡,从未稳定下来。
- 忽略数据流中的类别不平衡:代表性不足的类别接收到的梯度信号很少,模型会偏向多数类别。
- 将早期权重估计视为最终估计:模型在其权重稳定之前需要足够的示例;不要过早评估。
- 混淆在线更新能力与自动概念漂移检测:权重会随数据漂移,但仍需要显式的漂移监控(例如 ADWIN)来检测突然的偏移。
常见问题
在线逻辑回归与标准逻辑回归有何不同?
标准逻辑回归一次使用所有数据(批量优化),并返回具有标准误差的精确最大似然系数。在线逻辑回归在每个示例后更新权重,仅使用恒定内存并容忍无限长的流,但其估计值更嘈杂,并且不产生推断统计。
如何选择学习率?
一个常见的起点是结合逆时间衰减的小固定学习率(例如 0.01),或使用自动为每特征自适应学习率的 AdaGrad。始终先标准化特征,然后在保留的验证集上调整初始学习率,或通过监控流的近期窗口上的运行对数损失来调整。
在线逻辑回归可以处理多类问题吗?
可以——将其扩展为并行训练的“一对多”二元分类器,或使用具有分类交叉熵损失和每类权重向量的 softmax(多项式)泛化,并对每个分类器应用相同的 SGD 更新规则。
应该使用什么正则化?
L2(岭)正则化是默认选项:它平滑地收缩所有权重,并与 SGD 配合良好。L1(套索)产生稀疏权重,当您希望在非常高维的空间中进行自动特征选择时很有用,但需要仔细截断或 FOBOS 更新才能在线保持精确稀疏。
如何评估一个持续更新的模型?
使用预取(测试然后训练)评估:在使用每个示例进行权重更新之前对其进行预测,然后报告滑动窗口上的运行对数损失或 AUC。这提供了当前模型质量的无偏估计,而无需固定的保留集。