方策勾配法
- 提唱者
- Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
- 年
- 1992
- 種類
- Policy-based reinforcement learning
- 系統
- Reinforcement learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
方策勾配法は、行動価値を学習して貪欲に行動するのではなく、期待収益に対する勾配上昇法によってパラメータ化された方策を直接最適化する強化学習アルゴリズムです。1992年のRonald WilliamsによるREINFORCEアルゴリズムと、Suttonらの (2000) の方策勾配定理に基づき、確率的かつ連続的な行動空間を自然に扱い、現代のアクタークリティック法や深層強化学習アルゴリズムの基盤となっています。
手法の背後にある直感
Q学習のような価値ベースの手法は、各行動の良さを学習してから最良の行動を選択しますが、方策勾配法は中間プロセスを省略し、方策自体を調整します。方策は、調整可能なパラメータを持つ行動に対する確率分布です。行動して収益を確認した後、高い報酬につながった行動がより起こりやすく、悪い行動が起こりにくくなるようにパラメータを更新します――期待報酬に対する勾配上昇法です。方策は任意の微分可能な分布にできるため、これは連続制御(例:操舵角)にも適用できます。このような場合、「行動に対する最大値」を取ることは実用的ではありません。ベースライン(価値推定値)を差し引くことで、ノイズの多い勾配を安定させます。
歴史学
Ronald Williamsは1992年に基礎となるモンテカルロ方策勾配法であるREINFORCEを導入しました。Sutton、McAllester、Singh、Mansour(2000)は、関数近似を用いた方策勾配定理を証明し、ニューラルネットワーク方策とアクタークリティック系の道を開きました。このアプローチは、A3C、TRPO、PPO、DDPG/SACといった深層強化学習の10年間の進歩を牽引し、大規模言語モデルの調整に使用される人間からのフィードバックによる強化学習(RLHF)の中心となっています。これは、Q学習のような価値ベースの手法に対する方策ベースの対応物です。
使うべき場面
行動空間が連続的または高次元である場合、確率的な方策が望ましい場合(探索、部分観測性、マルチエージェント)、またはニューラルネットワークで方策をエンドツーエンドで最適化したい場合(ロボット制御、連続制御ベンチマーク、対話/推薦方策、および言語モデルのRLHFの基盤)に方策勾配法を使用します。これらは目的関数を直接最適化し、価値ベースの手法が苦労する連続行動を扱います。欠点としては、勾配推定値の分散が高い(ベースライン/クリティックで緩和)、通常はオンポリシーでありサンプル効率が低い、ステップサイズや報酬スケーリングに敏感、局所最適解に陥りやすいことが挙げられます。行動空間が小さく離散的な場合は、価値ベースのQ学習/DQNの方がシンプルでサンプル効率が良い場合があります。トラストリージョン変種(TRPO/PPO)は、ステップサイズの不安定性に対処します。
限界と注意点
- 勾配推定値の分散が高いため、実用的にはベースラインまたはクリティックが必要。
- 通常はオンポリシーであり、オフポリシー価値ベースの手法と比較してサンプル効率が低い。
- 学習率、報酬スケーリングに敏感であり、局所最適解に収束する可能性がある。
- 安定性のためには注意が必要。単純に大きなステップを踏むと方策が崩壊する可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 方策を直接最適化する。
- 確率的な方策を自然に表現し、探索や部分観測性を支援する。
- ニューラルネットワーク関数近似(深層強化学習)とシームレスに統合する。
- 現代のアルゴリズム(A2C/A3C、TRPO、PPO、DDPG)およびRLHFの基盤。
応用
- ロボット工学およびシミュレーション環境における連続制御。
- ゲームプレイおよび複雑な逐次意思決定。
- 対話、推薦、適応型インタラクション方策。
- 言語モデルのための人間からのフィードバックによる強化学習(RLHF)。
- 連続的な行動を伴う運用および制御問題。
使い方
使い方
目標は、方策π_θによって生成された軌道の期待割引収益J(θ)を最大化することです。価値ベースの手法とは異なり、最適化される対象は方策のパラメータそのものであり、方策は確率的かつ連続的になり得ます。
数式
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]方策勾配定理は、期待収益の勾配を、行動価値によって重み付けされたスコア関数(対数方策の勾配)の期待値として表現します。重要なのは、この勾配は環境ダイナミクスの微分を必要としないため、サンプリングされた経験から推定できることです。
数式
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]REINFORCEはモンテカルロ推定器です。エピソード終了後、各ステップにおいて、パラメータを、そのステップからの収益からベースラインを引いた値でスケールされた対数方策勾配に沿って移動させます。ベースライン(多くの場合、状態価値の推定値)は、バイアスを加えずに分散を低減するため、ノイズの多い勾配を利用可能にします。
数式
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
アクタークリティック法は、方策(アクター)を方策勾配で更新し、有利度(ある行動が平均よりどれだけ良いか)の低分散推定値を提供するクリティック(価値関数)の2つを同時に学習します。クリティックのブートストラップ推定値は、高分散なモンテカルロ収益を置き換えることで、より安定したサンプル効率の良い学習をもたらし、A2C/A3C、PPO、DDPGの基盤となります。
数式
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot Aよくある落とし穴
- ベースライン/クリティックを省略すると、勾配が学習にはノイズが大きすぎる。
- 単純なオンポリシー推定器でオフポリシーデータを再利用すると、勾配にバイアスが生じる。
- 報酬/ステップサイズが大きいまたはスケーリングされていないと、方策が不安定になったり崩壊したりする。
- 方策が早期にほぼ決定論的になると、探索が不十分になる。
よくある質問
方策勾配法はQ学習とどのように異なりますか?
Q学習は行動価値を学習して貪欲に行動しますが、方策勾配法は期待収益に対する勾配上昇法によって方策を直接パラメータ化し最適化します。方策勾配法は連続/確率的行動を自然に扱いますが分散が高く通常はオンポリシーである一方、Q学習はオフポリシーで、小さな離散行動に対してはしばしばサンプル効率が高いです。
アクタークリティック法とは何ですか?
方策(アクター)を方策勾配で更新し、状態/行動の良さを推定する学習済み価値関数(クリティック)を組み合わせたものです。クリティックは低分散な有利度シグナルを提供し、学習を安定化・高速化します。A2C/A3C、PPO、DDPGはアクタークリティックアルゴリズムです。
なぜ方策勾配法はベースラインを使用するのですか?
生の勾配推定値は非常にノイズが多いです。収益からベースライン(通常は状態価値推定値)を差し引くことで、バイアスを導入せずに勾配の分散を低減し、学習をはるかに安定かつ効率的にします。有利度関数(収益マイナス価値)が一般的な選択肢です。
関連する手法
参考文献
Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.
DOI 文献を開くコピーしました。Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.
出版物の文献を開くコピーしました。