Q学习
- 提出者
- Christopher Watkins & Peter Dayan
- 年份
- 1992
- 类型
- Model-free reinforcement-learning control algorithm
- 类别
- Reinforcement learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
Q学习由Christopher Watkins和Peter Dayan于1992年提出,是一种无模型强化学习算法,它仅凭经验学习在每个状态下采取每个动作的价值——即Q函数——而无需环境模型。它是离策略的:它在遵循探索性行为策略的同时学习最优动作价值,并在标准条件下可证明收敛于最优策略。
方法背后的直觉
一个通过试错学习的智能体需要知道,对于每种情况,每种可能的动作从长远来看有多好。Q学习正是维护了这一点:一个Q值表(或函数),估计在某个状态下采取某个动作并随后以最优方式行动所能获得的未来总回报。每次智能体行动、观察到奖励并进入新状态时,它都会将Q值向其刚刚体验到的值加上它认为接下来能做的最好的值进行微调。关键是,它会朝着最好的下一个动作更新,而不管它实际接下来做了什么——这样它就可以自由探索,同时仍然学习最优策略。
历史学
Christopher Watkins在1989年的论文中引入了Q学习,Watkins和Dayan(1992)给出了收敛证明,将其确立为强化学习的基石。它将时间差学习推广到控制领域,并支撑了后来的里程碑——特别是深度Q网络(Mnih等人,2015),它将Q学习与深度网络相结合,从像素玩雅达利游戏。Sutton和Barto的教科书将其作为经典处理,并且它仍然是基于价值的强化学习的默认起点。
何时使用
当在马尔可夫决策过程中遇到可采样转移和奖励但没有(或不可靠)动力学模型的问题时,使用Q学习进行序列决策问题,例如控制、游戏、路由、调度和自适应系统。表格Q学习适用于小规模、离散的状态-动作空间,并在充分探索和衰减步长的情况下收敛到最优值。对于大规模或连续空间,表格被函数逼近器(深度Q网络)取代。它假设马尔可夫性质和稳态环境,可能效率低下,并且max算子会引入乐观(最大化)偏差,这可以通过双Q学习等变体来解决。当需要随机或连续动作策略时,策略梯度方法是替代方案。
局限与注意事项
- 表格形式无法扩展到大规模或连续的状态/动作空间。
- 样本效率低;可能需要许多回合才能收敛。
- 最大化偏差(高估)来自max算子;可通过双Q学习缓解。
- 假设(稳态)马尔可夫决策过程;在部分可观察性或漂移下表现不佳。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 无模型:只需要采样经验,不需要转移/奖励模型。
- 离策略:在遵循另一种(探索性)策略的同时学习最优策略。
- 在标准条件下可证明收敛到最优动作价值。
- 简单、基础,是深度Q网络和许多扩展的基础。
应用
- 游戏和模拟控制任务。
- 机器人导航和自适应控制。
- 动态路由、调度和资源分配。
- 推荐和自适应交互策略。
- 在深度Q网络之前的基线价值方法。
使用方式
使用方式
Q(s, a)估计从状态s采取动作a并随后以最优方式行动所能获得的未来折扣奖励总和。折扣因子γ对近期奖励的权重大于对遥远奖励的权重大。学习所有状态-动作对的Q值等同于解决控制问题。
公式
Q(s,a) \approx \mathbb{E}\!\left[\textstyle\sum_{k\ge0}\gamma^{k} r_{t+k+1}\mid s_t=s,a_t=a\right]在每次转移(状态s、动作a、奖励r、下一个状态s')之后,Q学习通过步长α将Q(s, a)更新为时间差目标r + γ·max(下一个动作的Q(s', a'))。“max”使其成为离策略的,并将学习指向最优值,独立于实际采取的下一个动作。
公式
Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma \max_{a'} Q(s',a') - Q(s,a)\big]为了收集经验,智能体采用探索策略,通常是ε-greedy:通常选择当前最佳动作,但有ε的概率选择一个随机动作。探索确保所有状态-动作对都被尝试,这是收敛保证所必需的;ε通常会随时间衰减。
公式
a = \begin{cases}\arg\max_a Q(s,a) & \text{prob } 1-\epsilon\\ \text{random} & \text{prob } \epsilon\end{cases}一旦Q收敛到最优动作价值Q*,最优策略就是在每个状态下采取Q值最高的动作。在实践中,通常在最后(或部署时)提取当前Q的贪婪策略。
公式
\pi^*(s) = \arg\max_a Q^*(s,a)
常见陷阱
- 探索不足(ε太小/衰减太快),导致未学到最优值。
- 学习率调度不佳,导致发散或学习速度极其缓慢。
- 将表格Q学习应用于大规模空间而不是函数逼近器。
- 在随机问题中忽略高估偏差,而双Q学习对此有帮助。
常见问题
在Q学习中,“离策略”是什么意思?
这意味着Q学习在智能体遵循不同的(探索性)行为策略时学习最优策略的价值。更新目标是r + γ·max Q(s', a')——即下一个最佳动作——而不是实际采取的动作,因此探索不会使学习到的最优值产生偏差。
Q学习与深度Q网络(DQN)有什么关系?
DQN用深度神经网络取代了Q表,该网络逼近Q(s, a),使得Q学习在大规模或连续(例如像素)状态空间中成为可能。它增加了稳定性技巧——经验回放和目标网络——但核心学习规则是Q学习的时间差更新。
为什么Q学习会高估价值?
更新中的max算子倾向于选择过于乐观的估计,将Q值向上偏差,尤其是在奖励有噪声的情况下。双Q学习通过使用两个估计器将动作选择与价值评估分离开来,从而减少了这种偏差,并通常能获得更好的策略。
相关方法
参考文献
Watkins, C. J. C. H., & Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.
打开 DOI 文献已复制。Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN:978-0-262-03924-6已复制。