強化学習
- 提唱者
- Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
- 年
- 1950s–1998
- 種類
- Sequential decision-making framework
- 系統
- Deep learning / NLP / CV
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
強化学習(RL)は、エージェントが環境と相互作用し、スカラー報酬信号を受け取り、累積的な将来の報酬を最大化するようにポリシーを更新することによって、逐次的な意思決定を学習するフレームワークである。教師あり学習とは異なり、ラベル付きの例は提供されず、エージェントは経験と遅延フィードバックを通じて最適行動を完全に発見する。
手法の背後にある直感
犬のしつけを想像してほしい。一つ一つの行動を説明するのではなく、良い行動には報酬を与え、犬自身に何をすべきか考えさせる。強化学習も同様に機能する。エージェントは環境内で行動を試し、何が起こるかを観察し、報酬を受け取る――望ましい結果には正の報酬、間違いには負の報酬である。多くの相互作用を通じて、どの状況でどの行動が最も多くの報酬につながる傾向があるかを学習し、正解のラベル付きデータセットを必要とせずに、ポリシーと呼ばれる戦略を構築する。
歴史学
強化学習は、ベルマンの動的計画法(1957年)と動物学習心理学にルーツを持つ。サットンとバルトは1998年の教科書で現代的なフレームワークを形式化し、時間差学習、Q学習、方策勾配法を統一した。2013年から2015年にかけて、ディープマインドのDQNがディープCNNとQ学習を組み合わせてアタリの人間レベルのパフォーマンスを達成し、ディープ強化学習を主要な研究方向として打ち出したことで、この分野は変革した。AlphaGo(2016年)と、大規模言語モデルに関するその後のRLHFの研究は、RLの範囲をさらに拡大した。
使うべき場面
タスクが遅延報酬を伴う逐次的意思決定であり、ラベル付き訓練データがない場合に強化学習を使用する:ゲームプレイ、ロボット制御、リソーススケジューリング、推薦シーケンス、人間のフィードバック(RLHF)による言語モデルのファインチューニングなど。環境を安価にシミュレートでき、エージェントが何度も相互作用できる場合にRLは適切である。教師あり学習または自己教師あり学習アプローチで問題を解決できる場合は、RLを使用しない――RLはサンプル効率が悪く不安定である。報酬関数を特定するのが難しい場合。シミュレータなしで実際の環境との相互作用が高価または危険な場合。データセットが静的で固定されている場合(オフラインRLは注意して使用)。
限界と注意点
- 極めてサンプル効率が悪い:収束するために数百万回の環境相互作用が必要になる場合がある。
- トレーニングは不安定で、ハイパーパラメータ、報酬形成、乱数シードに敏感であることが多い。
- 報酬関数の設計は難しく、不適切に指定された報酬は意図しない最適化(報酬ハッキング)を引き起こす。
- 未知の状態または環境への汎化は保証されない。
- 広範なシミュレーションなしでの実世界展開は危険であり、探索は危険な行動を引き起こす可能性がある。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- ラベルなしデータからの直接学習により、注釈が不可能な場合に適用可能。
- 複雑な逐次タスク(ゲーム、ロボット工学、スケジューリング)で超人的な戦略を発見できる。
- 長期間の計画と時間的信用割り当てを自然にモデル化する。
- ディープニューラルネットワークと組み合わせることで、高次元状態空間(ピクセル、テキスト)にスケールする。
- RLHFは、大規模言語モデルを人間の選好と整合させることを可能にする。
応用
- ゲームプレイと戦略:アタリ、囲碁、チェス、スタークラフトを超人的レベルで。
- ロボット工学:移動、操作、器用な手の制御。
- 人間のフィードバックからの強化学習(RLHF)による大規模言語モデルの整合。
- リソースおよびネットワークスケジューリング、データセンター冷却最適化。
- 長期的なユーザーエンゲージメントをモデル化するパーソナライズされた推薦システム。
- 自動運転シミュレーションと交通信号制御。
使い方
使い方
各タイムステップで、エージェントは環境の現在の状態を観測し、現在のポリシーに従って行動を選択する。環境は新しい状態に遷移し、スカラー報酬を発する。この観測・行動・報酬のループが繰り返され、ポリシーの改善に使用される経験の軌跡が生成される。
エージェントの目的は、割引累積報酬 G_t を最大化することである。これは、0から1の間の割引係数 gamma で重み付けされたすべての将来の報酬の合計である。gamma が1に近いとエージェントは先を見通すようになり、小さいと即時報酬に焦点を当てるようになる。エージェントは受け取るあらゆる信号を最適化するため、慎重な報酬形成が重要である。
数式
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}ポリシー π は状態を行動(または行動確率)にマッピングする。小さな離散問題ではルックアップテーブルとして表現でき、画像やテキストのような高次元状態ではディープニューラルネットワーク(ディープRLエージェント)として表現できる。ポリシーはエージェントが学習するものであり、最終的に展開されるものである。
数式
\pi(a \mid s) = P(A_t = a \mid S_t = s)
価値関数は、与えられたポリシーの下で状態(または状態行動ペア)がどれほど良いかを推定する。状態価値 V(s) は、状態 s 以降の期待累積報酬である。行動価値関数 Q(s, a) はこれを特定のアクションに拡張する。これらの推定値は、Q学習、SARSA、アクタークリティックアルゴリズムなどの手法でポリシー改善を導く。
数式
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]エージェントは収集した経験を使用してポリシーを更新する。価値ベースの手法(例:DQN)は Q 値から暗黙的にポリシーを導き出す。方策勾配法(例:REINFORCE、PPO)は、高報酬軌跡の確率を増やすためにポリシーパラメータを直接調整する。ほとんどの現代的なアルゴリズムは、アクタークリティックアーキテクチャで両者を組み合わせる。
よくある落とし穴
- 最適化は容易だが真の目的と一致しない報酬関数を指定すること(報酬ハッキング)。
- 適切に調整されたシミュレーション環境をスキップして直接実機に移行し、高価な障害を引き起こすこと。
- 教師あり学習または模倣学習アプローチがはるかにサンプル効率が良い場合に、強化学習を選択すること。
- 再現性の無視:RLの結果は乱数シードによって劇的に変化するため、常に複数の実行を報告すること。
- ホールドアウト評価エピソードなしに、単一実行の学習曲線をもって収束の証拠とみなすこと。
よくある質問
強化学習と教師あり学習を区別するものは何か?
教師あり学習はラベル付き入出力ペアを必要とし、固定のマッピングを学習する。RLはラベルを必要とせず、代わりにエージェントは行動後に報酬信号を受け取り、試行錯誤を通じて何をすべきかを発見しなければならないため、正しい行動が事前にわからない逐次的意思決定問題に適している。
モデルフリーRLとモデルベースRLの違いは何か?
モデルフリーRL(例:DQN、PPO)は、環境ダイナミクスの明示的なモデルなしに、経験から直接ポリシーまたは価値関数を学習する。モデルベースRLは、遷移モデルを学習するか、与えられて、計画に使用する。モデルベースの手法はサンプル効率が高い傾向があるが、学習が難しい正確なモデルを必要とする。
価値ベースの手法と方策勾配法の手法をどのように選択するか?
DQNのような価値ベースの手法は、離散的な行動空間でうまく機能し、比較的安定している。方策勾配法(REINFORCE、PPO、SAC)は、連続的な行動空間を自然に扱い、確率的なポリシーを学習できる。アクタークリティック法は両者を組み合わせる。ほとんどの現代的なアプリケーションでは、PPOまたはSACが安全な出発点である。
RLは通常、どのくらいの環境相互作用を必要とするか?
RLは悪名高いほどサンプルを食う。単純な表形式タスクは数千ステップで収束するかもしれない。アタリDQNは数千万フレームを必要とした。複雑なロボットタスクは数億回のシミュレーションステップを必要とする可能性がある。これにより、高速なシミュレータが不可欠となり、相互作用が高価な多くの実世界の問題ではRLが除外される。
RLHFとは何か、そしてなぜそれが重要なのか?
人間のフィードバックからの強化学習は、人間の選好比較から報酬モデルを学習し、次に学習した報酬を最大化するようにRLで言語モデルをファインチューニングする。これは、大規模言語モデルを人間の価値観と整合させるための主要な技術であり、InstructGPTやClaudeのようなモデルの中心である。
関連する手法
参考文献
Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN:978-0-262-03924-6コピーしました。Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.
DOI 文献を開くコピーしました。