深度强化学习
- 提出者
- Mnih, V. et al. (DQN)
- 年份
- 2015
- 类型
- Sequential decision-making (agent–environment interaction)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
深度强化学习将神经网络与强化学习相结合,使智能体通过与环境交互来学习。其流行得益于 Mnih 及其同事 2015 年在《自然》杂志上发表的关于人类水平 Atari 游戏控制的开创性工作。智能体并非从固定的标记数据集中学习,而是采取行动、观察奖励,并逐步形成一个能够最大化长期回报的策略。
方法背后的直觉
想象一下学习玩一个没有任何规则说明的游戏:你尝试各种走法,观察得分变化,然后慢慢摸索哪些行动在未来会带来回报。深度强化学习正是自动化了这种试错循环。神经网络用于评估当前状况和行动的好坏,智能体则保留那些随着时间推移能获得更多奖励的选择——即使回报是在决策很久之后才出现。
历史学
深度强化学习随着 Mnih 及其同事 2015 年在《自然》杂志上发表的论文而声名鹊起,该论文展示了一个深度 Q 网络在多种 Atari 游戏上直接从像素输入实现了人类水平的控制。随后出现了策略梯度方法的进展,包括 A3C 和 Schulman 及其同事 2017 年提出的近端策略优化(PPO),后者已成为广泛使用且更稳定的默认选择。DQN、PPO 和 A3C 一起构成了现代深度强化学习工具包的基础,广泛应用于游戏、机器人等领域。
何时使用
将深度强化学习用于序贯决策和控制问题——例如游戏、机器人控制、推荐优化、临床决策支持——其中智能体可以与模拟器或实时环境交互,并且可以定义奖励信号。它能够处理连续和分类变量,不作正态性假设,但需要精心设计的奖励函数和大量的交互数据(至少约 1000 个回合)。交互次数不足时,策略将无法收敛,此时监督学习模型(如随机森林或 XGBoost)是更安全的选择。
局限与注意事项
- 需要模拟器或交互环境以及精心设计的奖励函数。
- 数据饥渴:需要大量交互(约 1000+ 次)并且推荐使用 GPU。
- 在低于约 1000 次交互时,策略将无法收敛;在低于约 500 次交互时,无法产生可靠的决策策略。
- 训练可能不稳定,并且对超参数和奖励塑造敏感。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 直接从交互中学习控制和序贯决策策略,无需标记样本。
- 神经网络函数逼近能够扩展到非常大的状态和动作空间。
- 跨领域灵活应用——游戏、机器人、推荐、临床决策支持。
- 无正态性假设;可处理连续和分类输入以及多种数据结构。
应用
- 游戏和智能体控制(例如 Atari 和棋盘游戏)。
- 机器人控制和连续控制任务。
- 推荐和序贯优化问题。
- 以序贯决策为框架的临床决策支持。
使用方式
使用方式
智能体观察环境(游戏、模拟器、机器人、推荐场景等)的当前状态,选择一个行动,并接收奖励以及下一个状态。需要一个模拟器或实时交互环境,并且必须精心设计奖励函数,因为它定义了什么才是“好的行为”。每一次交互都会增加智能体从中学习的经验。
神经网络用于近似状态和行动的价值——例如,深度 Q 网络(DQN)估计每个行动的预期未来回报,而策略梯度方法(如 PPO 和 A3C)则直接参数化策略。这就是该方法“深度”的由来:神经网络能够泛化到查找表永远无法覆盖的海量状态空间。
公式
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]利用通过交互收集到的奖励,网络得到更新,以偏好那些能带来更高累积折现回报的行动,从而稳步改进策略,使其最大化长期奖励。由于学习是由经验驱动的,因此需要大量的交互数据(注册库建议至少约 1000 个回合/交互)并且最好有 GPU 才能使策略收敛。
公式
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]常见陷阱
- 将深度强化学习应用于数据量不足以使策略收敛的小数据集,而不是使用监督学习模型。
- 设计了一个糟糕的奖励函数,导致智能体以意想不到的方式对其进行利用。
- 跳过模拟器/交互环境,试图从静态记录表中学习。
- 忽略收敛诊断,信任未经充分训练的高方差策略。
- 低估计算需求,在未达到足够多的回合数且未使用 GPU 的情况下运行。
常见问题
深度强化学习需要多少数据?
它非常需要数据。注册库建议至少约 1000 次交互/回合才能使策略收敛;在低于约 500 次交互时,DQN/PPO 无法产生可靠的决策策略,此时监督学习模型更为可取。
DQN、PPO 和 A3C 有何区别?
DQN 学习价值函数(每个行动的预期回报)并对其采取贪婪行动。PPO 和 A3C 是策略梯度方法,直接优化策略;特别是 PPO 因其训练稳定性而备受推崇。
我需要模拟器吗?
是的。深度强化学习通过交互学习,因此需要模拟器或实时交互环境,以及一个精心设计的、编码了目标的奖励函数。
我需要 GPU 吗?
推荐使用 GPU。深度强化学习在海量交互数据上训练神经网络,因此没有合适的计算能力,训练会很慢,并且难以实现收敛。