Q学習
- 提唱者
- Christopher Watkins & Peter Dayan
- 年
- 1992
- 種類
- Model-free reinforcement-learning control algorithm
- 系統
- Reinforcement learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
1992年にクリストファー・ワトキンスとピーター・デイアンによって導入されたQ学習は、環境のモデルなしに、経験のみから各状態における各行動の価値、すなわちQ関数を学習するモデルフリー強化学習アルゴリズムである。これはオフポリシーであり、探索的な行動ポリシーに従いながら最適な行動価値を学習し、標準的な条件下では最適なポリシーに収束することが証明されている。
手法の背後にある直感
試行錯誤によって学習するエージェントは、各状況において、可能な各行動が長期的にはどれほど良いかを知る必要がある。Q学習はまさにそれを維持する。すなわち、ある状態である行動を取り、その後最適に行動した場合の将来の総報酬を推定するQ値のテーブル(または関数)である。エージェントが行動し、報酬を観測し、新しい状態に着地するたびに、Q値は経験したことと、次にできる最善のことへとわずかに修正される。重要なのは、実際に次に取った行動に関係なく、最善の次の行動に向かって更新されることである。これにより、最適な戦略を学習しながら自由に探索できる。
歴史学
クリストファー・ワトキンスは1989年の博士論文でQ学習を導入し、ワトキンスとデイアン(1992年)は収束証明を与え、強化学習の礎として確立した。これは時間差学習を制御に一般化し、後にアタリゲームをピクセルからプレイするためにQ学習とディープネットワークを組み合わせたディープQネットワーク(Mnihら、2015年)などのランドマークの基盤となった。サットンとバルトの教科書で標準的に扱われ、価値ベースRLのデフォルトの出発点であり続けている。
使うべき場面
Q学習は、遷移や報酬のモデルを持たない(または信頼できない)マルコフ決定過程として定式化された逐次的意思決定問題に使用できる。制御、ゲーム、ルーティング、スケジューリング、適応システムなどが該当する。表形式のQ学習は、小規模で離散的な状態行動空間に適しており、十分な探索と減衰するステップサイズがあれば最適値に収束する。大規模または連続的な空間では、テーブルは関数近似器(ディープQネットワーク)に置き換えられる。マルコフ性および定常環境を仮定し、サンプル効率が悪く、max演算子は変種であるDouble Q学習で対処される楽観的(最大化)バイアスを誘発する。確率的または連続行動ポリシーが必要な場合は、ポリシー勾配法が代替となる。
限界と注意点
- 表形式では大規模または連続的な状態/行動空間にスケールしない。
- サンプル効率が悪く、収束に多くのエエピソードを必要とする場合がある。
- max演算子による最大化バイアス(過大評価);Double Q学習によって緩和される。
- (定常な)マルコフ決定過程を仮定する;部分観測可能性またはドリフト下では困難。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- モデルフリー:遷移/報酬モデルを必要とせず、サンプリングされた経験のみを必要とする。
- オフポリシー:別のポリシーで探索しながら最適なポリシーを学習する。
- 標準的な条件下で最適な行動価値に収束することが証明されている。
- シンプルで基礎的であり、ディープQネットワークおよび多くの拡張の基盤となる。
応用
- ゲームプレイおよびシミュレーション制御タスク。
- ロボットナビゲーションおよび適応制御。
- 動的ルーティング、スケジューリング、リソース割り当て。
- 推薦および適応的インタラクションポリシー。
- ディープQネットワーク以前のベースライン価値ベース手法。
使い方
使い方
Q(s, a) は、状態sで行動aを取り、その後最適に行動した場合の、将来の割引報酬の期待合計を推定する。割引率γは、近い報酬を遠い報酬よりも重視する。すべての状態行動ペアに対してQを学習することは、制御問題を解くことと同等である。
数式
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]各遷移(状態s、行動a、報酬r、次状態s')の後、Q学習はQ(s, a)を、時間差ターゲットr + γ・max_{a'} Q(s', a')に向かって、ステップαで更新する。「max」がオフポリシーであることを示し、学習を実際にとった行動とは独立した最適な値に向かわせる。
数式
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]経験を収集するために、エージェントは探索ポリシー、一般的にはε-greedyに従って行動する。通常は現在の最善の行動を選択するが、確率εでランダムな行動を選択する。探索により、すべての状態行動ペアが試行され、収束保証に必要な条件が満たされる。εは通常、時間とともに減衰する。
数式
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}Qが最適な行動価値Q*に収束した後、最適なポリシーは単純に各状態において最も高いQ値を持つ行動を取ることである。実際には、現在のQに対する貪欲ポリシーが最後に抽出される(またはデプロイメント時に使用される)。
数式
\pi^*(s) = \arg\max_a Q^*(s,a)
よくある落とし穴
- 不十分な探索(εが小さすぎる/速すぎる減衰)、最適値の学習漏れ。
- 学習率スケジュールの不良、発散または非常に遅い学習を引き起こす。
- 大規模空間に表形式のQ学習を適用し、関数近似器を使用しないこと。
- Double Q学習が役立つ確率的問題における過大評価バイアスを無視すること。
よくある質問
Q学習における「オフポリシー」とはどういう意味ですか?
それは、エージェントが異なる(探索的な)行動ポリシーに従っている間に、Q学習が最適なポリシーの価値を学習することを意味する。更新ターゲットは、実際に取られた行動ではなく、最善の次の行動(r + γ・max Q(s', a'))であるため、探索は学習された最適値にバイアスを与えない。
Q学習はディープQネットワーク(DQN)とどのように関係していますか?
DQNはQテーブルをディープニューラルネットワークに置き換えてQ(s, a)を近似し、大規模または連続的な(例:ピクセル)状態空間でのQ学習を可能にする。経験再生とターゲットネットワークという安定化トリックを追加しているが、コア学習ルールはQ学習の時間差更新である。
なぜQ学習は値を過大評価するのですか?
更新におけるmax演算子は過度に楽観的な推定値を選択する傾向があり、特にノイズの多い報酬の場合、Q値を上方バイアスする。Double Q学習は、2つの推定値を使用して行動選択と価値評価を分離することにより、これを軽減し、よりバイアスの少ない、しばしばより良いポリシーをもたらす。
関連する手法
参考文献
Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.
DOI 文献を開くコピーしました。Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN:978-0-262-03924-6コピーしました。