Skip to content
検索結果に戻る

確率的勾配降下法 (SGD)

提唱者
Robbins, H. & Monro, S.
年
1951
種類
First-order iterative optimization algorithm

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

確率的勾配降下法 (SGD) は、1951年に Robbins と Monro によって導入された確率的近似の枠組みに根ざした一次反復最適化アルゴリズムです。これは、各ステップでランダムに選択された単一の訓練例(または小さなミニバッチ)に基づいて計算された勾配を用いてモデルパラメータを更新することにより、目的関数を最小化します。SGD は、現代の機械学習および深層学習における中核的な最適化エンジンであり、メモリに収まらないほど大規模なデータセットでのモデル訓練を可能にします。

手法の背後にある直感

通常の勾配降下法は、単一のパラメータ更新を行う前に、すべての訓練例に対する損失の正確な勾配を計算します。これは正確ですが、大規模なデータセットでは計算コストが非常に高くなります。SGD は、正確性を速度と引き換えにします。つまり、ランダムに1つの例(または小さなバッチ)を選択し、勾配のノイズの多い推定値を計算し、直ちにパラメータを更新します。このノイズは単なる邪魔者ではなく、暗黙的な正則化として機能し、最適化器が浅い局所的最小値や鞍点から脱出するのを助けます。多くの反復を経て、ノイズの多いステップは平均化され、パラメータは損失の最小値に向かって収束します。これは、酔っぱらいの歩行が最終的に目的地にたどり着くのとよく似ています。

歴史学

SGD の理論的基礎は、Herbert Robbins と Sutton Monro が1951年の論文「A Stochastic Approximation Method」で築きました。この論文は、減衰するステップサイズを持つ反復的なノイズの多い更新が回帰関数の根に収束することを証明しました。勾配ベースの最適化との関連性は、Kiefer と Wolfowitz (1952) によって明確にされ、後に Widrow と Hoff の LMS 規則 (1960) によって適応フィルタリングに応用されました。SGD は、1980年代後半から1990年代にかけて LeCun とその共同研究者によるバックプロパゲーションを用いたニューラルネットワーク訓練の研究を通じて機械学習で注目を集めました。2000年代には Bottou とその共同研究者による大規模な実験の発表により、産業データセットにおける SGD のバッチ手法に対する優位性が示されました。現代のミニバッチ SGD の定式化は、2012年頃の深層学習のルネサンス(AlexNet)とともに普遍的となり、このアルゴリズムは、Adam (Kingma & Ba, 2014) のようなバリアントがその更新規則に直接基づいて構築されているように、この分野で支配的な最適化器であり続けています。

使うべき場面

SGD は、更新ごとに完全な勾配を計算するコストが高すぎる場合に選択される手法であり、これは事実上すべての現代のニューラルネットワーク訓練や大規模な線形モデルのフィッティングに当てはまります。あらゆる微分可能な損失関数に適用できます。主な仮定は、損失がパラメータに関して微分可能(または劣微分可能)であること、データ点が独立にサンプリングされること、勾配推定量が不偏であることです。強凸目的関数に対しては、SGD は O(1/T) の収束を達成します。一般的な非凸目的関数(例:深層ネットワーク)に対しては、大域的最適性の保証はないものの、実際には停留点を見つけます。ミニバッチ SGD(バッチサイズ 32~512)は、純粋な単一例 SGD よりも一般的に好まれます。これは、分散の低い勾配推定値を提供し、現代のハードウェアでの並列処理を活用できるためです。データセットがフルバッチ勾配降下法に十分なほど小さく、目的関数が良好な条件である場合、L-BFGS のような二次手法の方が速く収束する可能性があります。

限界と注意点

  • 勾配推定値にノイズがあるため、損失が単調に減少するのではなく変動し、収束の診断が困難になります。
  • 学習率に非常に敏感:大きすぎると発散し、小さすぎると訓練が非常に遅くなります。
  • 深層ニューラルネットワークのような非凸目的関数に対しては、大域的最小値への収束は保証されません。
  • 等方的な更新はすべてのパラメータ次元を均等に扱うため、軸によって曲率が大きく異なる損失曲面には不向きであり、適応型学習率のバリアントが開発される動機となりました。
  • 学習率スケジュールの慎重な調整が必要です。不適切なスケジュールは最終的な性能を著しく低下させます。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 各更新が1つの例またはミニバッチのみを必要とするため、メモリとステップあたりの計算量を一定に保ち、任意の大きさのデータセットにスケールします。
  • 組み込みのノイズが暗黙的な正則化を提供し、非凸な損失曲面における浅い局所的最小値や鞍点からの脱出を助けます。
  • 非常に汎用的:交差エントロピー、平均二乗誤差、ヒンジ損失、カスタム目的関数など、あらゆる微分可能な損失に適用可能です。
  • ほぼすべての現代の最適化器(Adam、RMSProp、AdaGrad、Nesterov momentum)の基盤を形成します。SGD を理解することは、それらを理解するための前提条件です。
  • ミニバッチを使用することで、実装が簡単で GPU 間での並列化も容易です。

応用

  • 画像分類、音声認識、自然言語処理のための深層ニューラルネットワークの訓練。
  • テキスト分類や推薦システムにおける大規模なロジスティック回帰および線形 SVM モデルのフィッティング。
  • 例が順次到着し、モデルをリアルタイムで更新する必要があるオンライン学習設定。
  • サンプリングされた軌跡を使用して期待される報酬を最適化する強化学習のポリシー勾配法。
  • 推薦システムにおける協調フィルタリングのための行列分解。

使い方

使い方

1

訓練目的は、n個の全例に対する平均損失です。交差エントロピーを用いた分類や二乗誤差を用いた回帰のようなタスクでは、この合計は数十億の項を持つことがあり、各反復での完全な評価は非現実的です。

数式
L(\theta) = \frac{1}{n} \sum_{i=1}^{n} \ell(f(x_i; \theta),\, y_i)
2

ステップ t において、単一の訓練例(またはミニバッチ)が一様ランダムにサンプリングされます。そのサンプルにおける損失の勾配は、真の勾配の不偏推定量であるため、個々のステップではノイズが多いものの、平均的には更新は正しい方向を指します。

数式
\hat{g}_t = \nabla_\theta \ell(f(x_{i_t}; \theta_t),\, y_{i_t})
3

パラメータベクトルは、勾配推定値とは逆の方向に、学習率 eta_t でスケーリングされて移動します。学習率が小さいと更新は慎重になりますが遅く、大きいと収束は速まりますがオーバーシュートのリスクがあります。この単一の行、すなわち Robbins–Monro 更新が、ほぼすべての現代の最適化器の核心です。

数式
\theta_{t+1} = \theta_t - \eta_t \, \hat{g}_t
4

Robbins–Monro 条件(学習率の総和が発散し、学習率の二乗の総和が収束する)は、凸目的関数に対する収束を保証します。実際には、ステップ減衰、コサインアニーリング、ウォームリスタートなどの一般的なスケジュールが含まれます。これらの条件は、減衰スケジュールが必要である理由の理論的根拠を提供します。

数式
\sum_{t=1}^{\infty} \eta_t = \infty, \quad \sum_{t=1}^{\infty} \eta_t^2 < \infty

よくある落とし穴

  • 訓練全体を通して一定の学習率を使用し、減衰スケジュールを適用しないと、最適化器が最小値の周りで振動し、そこに落ち着かなくなります。
  • 暗黙的な正則化効果を考慮せずにバッチサイズを選択すること。非常に大きなバッチはノイズを減らしますが、同じエポック数で比較した場合、小さなバッチよりも汎化性能を損なう可能性があります。
  • 各エポックの前に訓練データをシャッフルし忘れること。データがクラスや時間で順序付けられている場合、系統的なバイアスが導入される可能性があります。
  • 訓練曲線を確認せずに、一度だけ検証損失に基づいて学習率を調整すること。発散や早期のプラトーの兆候を見逃すことになります。
  • SGD を収束特性を理解せずにブラックボックスの最適化器として扱い、収束が遅いと感じたら根本原因を診断せずに盲目的に Adam に切り替えること。

よくある質問

SGD、ミニバッチ SGD、およびフルバッチ勾配降下法の違いは何ですか?

フルバッチ勾配降下法は、更新ごとに n 個のすべての訓練例に対する正確な勾配を計算します。これは正確ですが、ステップあたりのコストは O(n) です。純粋な SGD は、更新ごとにランダムに選択された1つの例のみを使用します。コストは O(1) ですが、非常にノイズが多いです。ミニバッチ SGD は、小さなランダムなサブセット(通常 32~512 例)を使用します。これは、ノイズを低減しつつコストを管理可能に保ち、GPU の並列処理を活用する実用的な妥協点です。現代の使用法では、「SGD」はほとんど常にミニバッチ SGD を意味します。

学習率はどのように設定すべきですか?

普遍的な答えはありませんが、一般的な慣行としては、中程度の値(例:0.01 または 0.1)から始め、訓練損失曲線を監視し、ステップ減衰、コサインアニーリング、ウォームリスタートなどの減衰スケジュールを適用します。学習率ファインダー(いくつかのバッチで学習率をスイープし、損失を観察する)は、良い初期値を見つけるのに役立ちます。Robbins–Monro 理論は学習率がゼロに減衰することを要求しますが、実際には早期の減速を避けるために減衰は穏やかに適用されることが多いです。

SGD が Adam よりも汎化性能が良いことがあるのはなぜですか?

Adam のような適応型学習率最適化器は、しばしばより速く収束しますが、特に画像分類タスクでは過学習しやすくなります。SGD のノイズの多さ(特に小さなバッチサイズの場合)は、暗黙的な正則化として機能し、より平坦な最小値を見つけるのに役立ち、それがより良い汎化につながります。いくつかの実証研究(例:Wilson et al., 2017)がこの現象を記録しており、これが ResNet のようなコンピュータビジョンモデルの訓練に momentum 付き SGD が依然として好まれる理由です。

SGD は大域的最小値を見つけることを保証しますか?

Robbins–Monro のステップサイズ条件の下で、厳密な凸目的関数に対してのみ保証されます。非凸目的関数(事実上すべての深層ネットワーク)の場合、SGD は停留点(勾配がゼロになる点)への収束を提供します。これは実際には、鞍点や大域的最小値ではなく、良好な局所的最小値であることが多いです。経験的には、見つかった解は最先端の性能にとって十分であることがよくあります。

関連する手法

参考文献

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics, 22(3), 400–407.

    DOI 文献を開く
    コピーしました。
  2. Goodfellow, I., Bengio, Y. & Courville, A. (2016). Deep Learning (Ch. 8). MIT Press.

    ISBN:978-0-262-03561-3
    コピーしました。