確率的最適化 — SGDとその派生手法
- 年
- 1951 (SGD); 2014 (Adam)
- 種類
- Gradient-based iterative optimization
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
確率的最適化は、データセット全体を一度に計算するのではなく、ランダムにサンプリングされたデータのサブセット(ミニバッチ)上で勾配を計算することにより、目的関数を反復的に最小化する手法群である。1951年にRobbinsとMonroによって確率的近似として先駆的に開発されたこのアプローチは、SGD with momentum、AdaGrad、RMSProp、Adamなどの派生手法を通じて、大規模機械学習モデルのトレーニングにおける標準的なエンジンとなった。
手法の背後にある直感
広大な起伏のある地形の最も低い地点を見つけたいと想像してください。しかし、各ステップで地形全体の傾斜を測定するのは費用がかかりすぎます。確率的最適化は、代わりに地面の小さなランダムな領域の傾斜を測定し、下り坂に一歩進み、このプロセスを何度も繰り返すことで機能します。個々のステップは、地形全体を測定するよりもノイズが多いですが、安価なステップを多数踏むことで、高価な正確な測定を数回行うよりも速く底に到達できます。Adamのような適応型派生手法は、各方向がどれだけでこぼこしていたかを記憶し、それに応じてステップをスケーリングすることで、さらに進みます。
歴史学
確率的最適化は、1951年のRobbinsとMonroに遡ります。彼らは、穏やかな条件下で反復勾配推定値が関数の定常点に収束することを示し、確率的近似の分野を創設しました。確率的勾配降下法は、1990年代のBottouによる大規模線形モデルの研究を通じて、機械学習で広く使用されるようになりました。深層学習時代は、効率的な適応型手法への需要を増大させました。Duchiらは2011年にAdaGradを導入し、TielemanとHintonは2012年にRMSPropを提案し、KingmaとBaは2014年にAdamを発表しました。Adamは、多様なアーキテクチャとタスクにわたる堅牢性から、ニューラルネットワークトレーニングのデフォルトオプティマイザとして急速に普及しました。
使うべき場面
確率的最適化は、各ステップで全データセットに対する正確な勾配の計算が計算上実行不可能であるような大規模データセット上で、微分可能(または準微分可能)な損失関数を最小化する必要がある場合に適用されます。これは、ニューラルネットワーク、大規模データを持つ線形モデル、および勾配降下法によって適合される任意のパラメトリックモデルのトレーニングにおける標準的なアプローチです。目的関数は勾配または準勾配を許容しなければなりません。この手法は、非微分可能なブラックボックス問題には適用されません。学習率の選択は重要です。大きすぎると発散し、小さすぎると収束が遅くなります。
限界と注意点
- 学習率は重要なハイパーパラメータです。不適切な選択は、発散または非常に遅い収束につながります。
- ミニバッチ勾配ノイズは、正確な最小値への収束を妨げる可能性があります。オプティマイザは通常、正確に収束するのではなく、最適値の近くで振動します。
- 鞍点や悪い局所的最小値は、非凸地形では実際の危険ですが、勾配ノイズとモーメンタムはそれらを軽減するのに役立ちます。
- Adamやその他の適応型手法は、慎重に調整された通常のSGDで見つかるより平坦な最小値よりも、一般化性能の悪いより鋭い最小値に収束する可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 各更新でフルデータではなくミニバッチのみを使用するため、任意に大きなデータセットにスケールします。
- ミニバッチサンプリングによる勾配ノイズは、浅い局所的最小値や鞍点から脱出するのに役立ちます。
- 適応型派生手法(Adam、RMSProp)は、パラメータごとのステップサイズを自動的に調整することにより、手動での学習率調整の負担を軽減します。
- すべての主要な深層学習フレームワークで広くサポートされており、理論的にもよく理解されています。
応用
- ロジスティック回帰から大規模言語モデルまで、あらゆる深さのニューラルネットワークのトレーニング。
- フルバッチ勾配降下法が計算上実行不可能な大規模線形モデルおよび一般化線形モデルのフィッティング。
- データがストリームで到着し、モデルが段階的に更新する必要があるオンライン学習設定。
- AdamとRMSPropが標準的な選択肢である強化学習ポリシー勾配法。
- 大規模疎データセットでトレーニングされた推薦システムおよび埋め込みモデル。
使い方
使い方
パラメータベクトルは、通常、小さなランダム値で初期化されます。学習率(ステップサイズ)および、適応型派生手法の場合は、モーメント減衰率が、トレーニング開始前にハイパーパラメータとして設定されます。これらの選択は、収束速度と最終的なパフォーマンスに大きな影響を与えます。
各イテレーションで、ミニバッチ(フルデータセットの小さなランダムサブセット)が描画されます。ミニバッチサイズはトレードオフを制御します。小さいバッチは勾配ノイズを増加させますが、パラメータをより頻繁に更新し、しばしばより良く汎化します。一方、大きいバッチは、より高いイテレーションあたりのコストで、より低い分散の推定値を提供します。
目的関数(損失関数)の現在のパラメータに対する勾配は、ミニバッチを使用して計算されます。適応型オプティマイザの場合、勾配の第1および第2モーメント推定値もイテレーション全体で維持され、パラメータごとのスケールと曲率情報を追跡します。
パラメータは、学習率でスケーリングされた勾配方向とは逆方向に移動させることで更新されます。適応型派生手法(AdaGrad、RMSProp、Adam)は、過去の勾配大きさの実行推定値で各パラメータのステップを割ることにより、更新頻度の低いパラメータにはより大きなステップを、勾配が大きい一貫したパラメータにはより小さなステップを効果的に与えます。
サンプリング、勾配計算、パラメータ更新のプロセスが繰り返され、収束基準が満たされるまで続きます。すなわち、損失の減少が停止するか、最大イテレーション数に達するか、検証パフォーマンスの向上が停止するかのいずれかです。保持された検証セットでの早期停止は、過学習を防ぎます。
よくある落とし穴
- 学習率を高く設定しすぎると、損失が発散したり激しく振動したりします。トレーニング中は常に損失曲線を確認してください。
- 各エポックの前にデータをシャッフルするのを忘れると、勾配推定値に周期的なバイアスが導入される可能性があります。
- トレーニング全体で固定学習率を使用すると、パフォーマンスが低下することがよくあります。学習率スケジュール(ウォームアップ、コサイン減衰)は、最終結果を一貫して改善します。
- オプティマイザを公平に比較するには、エポック数だけでなく、総勾配評価数(または実測時間)を一致させる必要があります。
- Adamの適応型レートは、疎な設定で有用な勾配信号を抑制する可能性があります。画像分類タスクでは、モーメンタム付きSGDの方が一般化性能が高い場合があります。
よくある質問
どのオプティマイザを選択すべきか — SGD、Adam、それとも他のもの?
Adamはほとんどの深層学習タスクにとって安全なデフォルトです。学習率の選択に対して堅牢であり、急速に収束します。モーメンタムと調整された学習率スケジュールを持つSGDは、画像分類ベンチマークでわずかに優れた最終汎化性能を達成することがよくありますが、より慎重な調整が必要です。AdaGradは疎勾配問題(例:バッグオブワーズ特徴を持つNLP)に適していますが、RMSPropはリカレントネットワークトレーニングでうまく機能します。
学習率をどのように選択するか?
学習率は最も重要なハイパーパラメータです。Adamの場合は1e-3、SGDの場合は1e-1から始めるのが一般的で、その後、学習率ファインダーまたはグリッドサーチを使用します。ウォームアップフェーズに続いてコサイン減衰またはステップ減衰を適用すると、固定レートよりも結果が一貫して改善されます。
ミニバッチサイズはいくつ使用すべきか?
32から256の間のバッチサイズが一般的です。小さいバッチはより多くの勾配ノイズ(汎化に役立つ可能性がある)を導入し、より頻繁な更新を可能にします。大きいバッチはノイズを減らしますが、汎化性能が低下する可能性があり、より慎重な学習率スケーリングが必要です。バッチサイズを2倍にする場合は、開始点として学習率を比例してスケーリングします(線形スケーリングルール)。
いつトレーニングを停止すべきか?
検証損失を監視し、連続する一定のエポック数で改善が停止したときに停止します。これは、固定エポック数で停止するよりも信頼性が高く、過学習を防ぎます。