Skip to content
返回搜索结果

随机梯度下降 (SGD)

提出者
Robbins, H. & Monro, S.
年份
1951
类型
First-order iterative optimization algorithm

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

随机梯度下降 (SGD) 是一种一阶迭代优化算法,源于 Robbins 和 Monro 于 1951 年提出的随机逼近框架。它通过在每一步使用单个随机选取的训练样本(或一个小批量样本)计算出的梯度来更新模型参数,从而最小化目标函数。它是现代机器学习和深度学习的核心优化引擎,能够处理内存无法容纳的大型数据集的训练。

方法背后的直觉

普通梯度下降在进行单次参数更新前,会计算所有训练样本上的精确梯度——这虽然正确但对于大型数据集来说成本过高。SGD 以牺牲精确性来换取速度:它随机选择一个样本(或一个小批量),计算梯度的噪声估计,并立即更新参数。这种噪声不仅仅是干扰;它充当了隐式正则化,帮助优化器逃离浅层局部最小值和鞍点。经过许多次迭代,这些带有噪声的步长会平均化,参数会收敛到损失函数的最小值附近,就像醉汉的步伐虽然摇摆不定但最终能到达目的地一样。

历史学

SGD 的理论基础由 Herbert Robbins 和 Sutton Monro 在其 1951 年的论文《A Stochastic Approximation Method》中奠定,该论文证明了具有衰减步长的迭代噪声更新可以收敛到回归函数的根。梯度下降优化的联系由 Kiefer 和 Wolfowitz (1952) 明确提出,后来由 Widrow 和 Hoff 的 LMS 规则 (1960) 用于自适应滤波。SGD 在机器学习领域的普及得益于 LeCun 及其合作者在 20 世纪 80 年代末和 90 年代通过反向传播训练神经网络的工作。Bottou 及其合作者在 21 世纪初发表的大规模实验证明了 SGD 在工业数据集上优于批量方法。现代小批量 SGD 的形式随着 2012 年左右的深度学习复兴(AlexNet)而普及,该算法仍然是该领域的主导优化器,其变体如 Adam (Kingma & Ba, 2014) 直接建立在其更新规则之上。

何时使用

当训练集足够大,以至于每次更新计算全梯度成本过高时,SGD 是首选方法,这几乎涵盖了所有现代神经网络训练和大规模线性模型拟合。它适用于任何可微的损失函数。关键假设是:损失函数相对于参数是可微的(或次可微的),数据点是独立采样的,并且梯度估计量是无偏的。对于强凸目标,SGD 可实现 O(1/T) 的收敛;对于一般的非凸目标(例如深度网络),它在实践中能找到驻点,尽管没有全局最优性保证。小批量 SGD(批量大小 32–512)通常优于纯单样本 SGD,因为它提供了较低方差的梯度估计并能利用现代硬件的并行性。当数据集足够小,适合全批量梯度下降且目标条件良好时,像 L-BFGS 这样的二阶方法可能收敛得更快。

局限与注意事项

  • 梯度估计带有噪声,导致损失函数波动而非单调下降,使收敛性更难诊断。
  • 对学习率高度敏感:过大导致发散;过小则训练速度过慢。
  • 对于非凸目标(如深度神经网络),不保证能找到全局最小值。
  • 各向同性更新对所有参数维度一视同仁,使其不适合损失曲面在不同轴上曲率差异很大的情况——这促使了自适应学习率变体的出现。
  • 需要仔细调整学习率衰减策略;不佳的策略会严重影响最终性能。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 由于每次更新仅需一个样本或一个小批量,因此可以扩展到任意大的数据集,使每步的内存和计算量保持恒定。
  • 内置的噪声提供了隐式正则化,并有助于在非凸景观中逃离浅层局部最小值和鞍点。
  • 极其通用:适用于任何可微损失,包括交叉熵、均方误差、合页损失和自定义目标。
  • 是几乎所有现代优化器(Adam、RMSProp、AdaGrad、Nesterov 动量)的基础——理解 SGD 是理解它们的先决条件。
  • 易于实现,并可通过小批量在 GPU 上并行化。

应用

  • 训练用于图像分类、语音识别和自然语言处理的深度神经网络。
  • 在文本分类和推荐系统中拟合大规模逻辑回归和线性 SVM 模型。
  • 在线学习场景,其中样本按顺序到达,模型必须实时更新。
  • 强化学习策略梯度方法,其中使用采样轨迹优化预期回报。
  • 推荐系统中的协同过滤矩阵分解。

使用方式

使用方式

1

训练目标是所有 n 个样本上的平均损失。对于像交叉熵分类或平方误差回归这样的任务,这个和可能包含数十亿个项,使得在每次迭代中进行完全评估不切实际。

公式
L(\theta) = \frac{1}{n} \sum_{i=1}^{n} \ell(f(x_i; \theta),\, y_i)
2

在步骤 t,均匀随机采样单个训练样本(或小批量)。该样本上的损失梯度是真实梯度的无偏估计量,因此平均而言,尽管对于任何单个步骤来说它都有噪声,但更新方向是正确的。

公式
\hat{g}_t = \nabla_\theta \ell(f(x_{i_t}; \theta_t),\, y_{i_t})
3

参数向量沿着与梯度估计相反的方向移动,并按学习率 eta_t 进行缩放。较小的学习率使更新谨慎但缓慢;较大的学习率加快收敛但有越过最小值的风险。这一行——Robbins–Monro 更新——是几乎所有现代优化器的核心。

公式
\theta_{t+1} = \theta_t - \eta_t \, \hat{g}_t
4

Robbins–Monro 条件(学习率之和发散,学习率平方之和收敛)保证了凸目标的收敛性。实践中,常用的学习率衰减策略包括步长衰减、余弦退火和热重启;这些条件为为什么需要衰减策略提供了理论依据。

公式
\sum_{t=1}^{\infty} \eta_t = \infty, \quad \sum_{t=1}^{\infty} \eta_t^2 < \infty

常见陷阱

  • 在整个训练过程中使用恒定的学习率,没有任何衰减策略,导致优化器在最小值附近振荡而不是稳定下来。
  • 选择批量大小时未考虑隐式正则化效应:非常大的批量会减少噪声,并可能比相同训练轮数的较小批量更容易过拟合,从而损害泛化能力。
  • 在每轮训练前忘记打乱训练数据,当数据按类别或时间排序时,可能会引入系统性偏差。
  • 仅在验证损失上调整一次学习率,而不是监控训练曲线,从而错过了发散或过早停滞的迹象。
  • 将 SGD 视为一个黑盒优化器,而不理解其收敛特性,然后在收敛缓慢时盲目切换到 Adam,而不诊断根本原因。

常见问题

SGD、小批量 SGD 和全批量梯度下降有什么区别?

全批量梯度下降在每次更新时计算所有 n 个训练样本上的精确梯度——准确但每步成本为 O(n)。纯 SGD 在每次更新时使用一个随机选择的样本——成本为 O(1) 但噪声很大。小批量 SGD 使用一个小的随机子集(通常为 32-512 个样本)——一种实用的折衷方案,可减少噪声,同时保持成本可控并利用 GPU 并行性。在现代用法中,“SGD”几乎总是指小批量 SGD。

如何设置学习率?

没有万能答案,但一种常见做法是选择一个适中的初始值(例如 0.01 或 0.1),监控训练损失曲线,并应用衰减策略,如步长衰减、余弦退火或热重启。学习率查找器(在几个批次上扫描学习率并观察损失)可以确定一个好的初始值。Robbins–Monro 理论要求学习率衰减到零,但实际上通常会温和地应用衰减以避免过早减速。

为什么 SGD 有时比 Adam 泛化得更好?

像 Adam 这样的自适应学习率优化器通常收敛更快,但更容易过拟合,尤其是在图像分类任务中。SGD 中较高的噪声——尤其是在小批量大小下——充当了隐式正则化,有助于模型找到泛化能力更好的平坦最小值。几项实证研究(例如 Wilson 等人,2017 年)记录了这种现象,这就是为什么在训练像 ResNet 这样的计算机视觉模型时,仍然首选带有动量的 SGD。

SGD 能保证找到全局最小值吗?

仅对严格凸目标有效,且需满足 Robbins–Monro 步长条件。对于非凸目标(几乎所有的深度网络),SGD 可收敛到驻点(梯度为零处),该点在实践中往往是一个好的局部最小值,而不是鞍点或全局最小值。经验上,找到的解通常足够好,能够达到最先进的性能。

相关方法

参考文献

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), 400–407.

    打开 DOI 文献
    已复制。
  2. Goodfellow, I., Bengio, Y. & Courville, A. (2016). Deep Learning (Ch. 8). MIT Press.

    ISBN:978-0-262-03561-3
    已复制。