随机优化 — SGD 及其变体
- 年份
- 1951 (SGD); 2014 (Adam)
- 类型
- Gradient-based iterative optimization
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
随机优化是一类迭代方法,它通过在随机采样的数据子集(即小批量)上计算梯度来最小化目标函数,而不是一次性在整个数据集上计算。该方法由 Robbins 和 Monro 于 1951 年首次提出,当时称为随机逼近,后来通过 SGD with momentum、AdaGrad、RMSProp 和 Adam 等变体,成为训练大规模机器学习模型的标准引擎。
方法背后的直觉
想象一下,您想在广阔的山地景观中找到最低点,但每一步都测量整个景观的坡度成本过高。随机优化通过测量一小块随机地面上的坡度来工作,然后向下迈出一步,并多次重复此过程。每一步都比测量整个景观要嘈杂,但大量廉价的步骤比几次昂贵的精确测量能更快地到达底部。Adam 等自适应变体通过记住每个方向的颠簸程度并相应地调整步长,进一步实现了这一点。
历史学
随机优化可以追溯到 Robbins 和 Monro (1951),他们证明了在温和的条件下,迭代梯度估计可以收敛到函数的平稳点 — 创立了随机逼近领域。通过 Bottou 在 1990 年代对大规模线性模型的研究,随机梯度下降在机器学习中得到广泛应用。深度学习时代加剧了对高效自适应方法的需求:Duchi 等人在 2011 年引入了 AdaGrad,Tieleman 和 Hinton 于 2012 年提出了 RMSProp,Kingma 和 Ba 于 2014 年发表了 Adam,由于其在各种架构和任务中的鲁棒性,Adam 迅速成为神经网络训练的默认优化器。
何时使用
当您需要在大数据集上最小化一个可微(或次可微)的损失函数,并且在每一步上计算整个数据集的精确梯度在计算上是不可行的时,就可以应用随机优化。它是训练神经网络、具有大数据的大型线性模型以及通过梯度下降拟合的任何参数化模型的标准方法。目标必须允许梯度或次梯度;该方法不适用于不可微的黑盒问题。学习率的选择至关重要 — 速率过高会导致发散,速率过低会减慢收敛速度。
局限与注意事项
- 学习率是一个关键的超参数;选择不当会导致发散或收敛速度极慢。
- 小批量梯度噪声可能导致无法收敛到精确的最小值 — 优化器通常在最优值附近振荡,而不是精确地收敛。
- 在非凸景观中,鞍点和糟糕的局部最小值是真实存在的风险,尽管梯度噪声和动量有助于缓解它们。
- Adam 和其他自适应方法可能会收敛到泛化能力较差的尖锐最小值,而普通 SGD 经过仔细调整后可以找到更平坦的最小值。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 由于每次更新只使用一个小批量而不是全部数据,因此可以扩展到任意大的数据集。
- 来自小批量采样的梯度噪声有助于跳出浅层局部最小值和鞍点。
- 自适应变体(Adam、RMSProp)通过自动调整每个参数的步长,减轻了手动调整学习率的负担。
- 在所有主要的深度学习框架中得到广泛支持,并且在理论上得到了很好的理解。
应用
- 训练各种深度的神经网络 — 从逻辑回归到大型语言模型。
- 拟合大规模线性模型和广义线性模型,其中全批量梯度下降在计算上是不可行的。
- 在线学习场景,数据以流的形式到达,模型必须增量更新。
- 强化学习策略梯度方法,其中 Adam 和 RMSProp 是标准选择。
- 推荐系统和在海量稀疏数据集上训练的嵌入模型。
使用方式
使用方式
参数向量被初始化 — 通常用小的随机值。学习率(步长)以及自适应变体的动量衰减率在训练开始前作为超参数进行设置。这些选择对收敛速度和最终性能有很大影响。
在每次迭代中,都会抽取一个小批量 — 整个数据集的一个小的随机子集。小批量大小控制着一种权衡:较小的批量引入更多的梯度噪声,但更频繁地更新参数,并且通常泛化得更好;而较大的批量以更高的每次迭代成本提供较低方差的估计。
使用小批量计算目标(损失)函数相对于当前参数的梯度。对于自适应优化器,还会跨迭代维护梯度的第一和第二矩估计,以跟踪每个参数的尺度和曲率信息。
通过沿着与梯度方向相反的方向移动来更新参数,并按学习率缩放。自适应变体(AdaGrad、RMSProp、Adam)通过除以过去梯度幅度的运行估计值来缩除每个参数的步长,有效地为不经常更新的参数提供更大的步长,为梯度大且一致的参数提供更小的步长。
该过程重复进行 — 采样、梯度计算和参数更新 — 直至满足收敛标准:损失停止下降、达到最大迭代次数,或验证性能停止提高。在独立验证集上提前停止可以防止过拟合。
常见陷阱
- 将学习率设置得太高会导致损失发散或剧烈振荡;在训练过程中始终监控损失曲线。
- 在每个 epoch 开始前忘记打乱数据可能会在梯度估计中引入周期性偏差。
- 在整个训练过程中使用固定的学习率通常会浪费性能 — 学习率调度(预热、余弦衰减)始终能提高最终结果。
- 公平比较优化器需要匹配总梯度评估次数(或挂钟时间),而不仅仅是 epoch 数。
- Adam 的自适应率可能会抑制稀疏设置中有用的梯度信号;在图像分类任务中,带动量的 SGD 有时泛化得更好。
常见问题
我应该选择哪种优化器 — SGD、Adam,还是其他?
Adam 是大多数深度学习任务的安全默认选择:它对学习率的选择具有鲁棒性,并且收敛速度快。带动量和经过调整的学习率调度的 SGD 在图像分类基准测试上通常能获得稍好的最终泛化能力,但需要更仔细的调整。AdaGrad 适用于稀疏梯度问题(例如,带有词袋特征的 NLP),而 RMSProp 在循环网络训练中效果很好。
如何选择学习率?
学习率是最重要的超参数。对于 Adam,通常的做法是从 1e-3 开始,对于 SGD,从 1e-1 开始,然后使用学习率查找器或网格搜索。应用预热阶段,然后进行余弦衰减或步衰减,几乎总能比固定学习率获得更好的结果。
应该使用什么小批量大小?
32 到 256 之间的小批量大小很常见。较小的批量引入更多的梯度噪声(这有助于泛化)并允许更频繁的更新;较大的批量减少噪声,但泛化能力可能较差,并且需要更仔细的学习率缩放。当将批量大小加倍时,按比例缩放学习率(线性缩放规则)作为起点。
如何知道何时停止训练?
监控验证损失,并在连续几个 epoch 内停止改进时停止 — 这是一种称为提前停止的技术。这比在固定 epoch 数停止更可靠,并且可以防止过拟合。