Skip to content
返回搜索结果

深度强化学习

提出者
Mnih, V. et al. (DQN)
年份
2015
类型
Sequential decision-making (agent–environment interaction)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

深度强化学习将神经网络与强化学习相结合,使智能体通过与环境交互来学习。其流行得益于 Mnih 及其同事 2015 年在《自然》杂志上发表的关于人类水平 Atari 游戏控制的开创性工作。智能体并非从固定的标记数据集中学习,而是采取行动、观察奖励,并逐步形成一个能够最大化长期回报的策略。

方法背后的直觉

想象一下学习玩一个没有任何规则说明的游戏:你尝试各种走法,观察得分变化,然后慢慢摸索哪些行动在未来会带来回报。深度强化学习正是自动化了这种试错循环。神经网络用于评估当前状况和行动的好坏,智能体则保留那些随着时间推移能获得更多奖励的选择——即使回报是在决策很久之后才出现。

历史学

深度强化学习随着 Mnih 及其同事 2015 年在《自然》杂志上发表的论文而声名鹊起,该论文展示了一个深度 Q 网络在多种 Atari 游戏上直接从像素输入实现了人类水平的控制。随后出现了策略梯度方法的进展,包括 A3C 和 Schulman 及其同事 2017 年提出的近端策略优化(PPO),后者已成为广泛使用且更稳定的默认选择。DQN、PPO 和 A3C 一起构成了现代深度强化学习工具包的基础,广泛应用于游戏、机器人等领域。

何时使用

将深度强化学习用于序贯决策和控制问题——例如游戏、机器人控制、推荐优化、临床决策支持——其中智能体可以与模拟器或实时环境交互,并且可以定义奖励信号。它能够处理连续和分类变量,不作正态性假设,但需要精心设计的奖励函数和大量的交互数据(至少约 1000 个回合)。交互次数不足时,策略将无法收敛,此时监督学习模型(如随机森林或 XGBoost)是更安全的选择。

局限与注意事项

  • 需要模拟器或交互环境以及精心设计的奖励函数。
  • 数据饥渴:需要大量交互(约 1000+ 次)并且推荐使用 GPU。
  • 在低于约 1000 次交互时,策略将无法收敛;在低于约 500 次交互时,无法产生可靠的决策策略。
  • 训练可能不稳定,并且对超参数和奖励塑造敏感。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 直接从交互中学习控制和序贯决策策略,无需标记样本。
  • 神经网络函数逼近能够扩展到非常大的状态和动作空间。
  • 跨领域灵活应用——游戏、机器人、推荐、临床决策支持。
  • 无正态性假设;可处理连续和分类输入以及多种数据结构。

应用

  • 游戏和智能体控制(例如 Atari 和棋盘游戏)。
  • 机器人控制和连续控制任务。
  • 推荐和序贯优化问题。
  • 以序贯决策为框架的临床决策支持。

使用方式

使用方式

1

智能体观察环境(游戏、模拟器、机器人、推荐场景等)的当前状态,选择一个行动,并接收奖励以及下一个状态。需要一个模拟器或实时交互环境,并且必须精心设计奖励函数,因为它定义了什么才是“好的行为”。每一次交互都会增加智能体从中学习的经验。

2

神经网络用于近似状态和行动的价值——例如,深度 Q 网络(DQN)估计每个行动的预期未来回报,而策略梯度方法(如 PPO 和 A3C)则直接参数化策略。这就是该方法“深度”的由来:神经网络能够泛化到查找表永远无法覆盖的海量状态空间。

公式
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]
3

利用通过交互收集到的奖励,网络得到更新,以偏好那些能带来更高累积折现回报的行动,从而稳步改进策略,使其最大化长期奖励。由于学习是由经验驱动的,因此需要大量的交互数据(注册库建议至少约 1000 个回合/交互)并且最好有 GPU 才能使策略收敛。

公式
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]

常见陷阱

  • 将深度强化学习应用于数据量不足以使策略收敛的小数据集,而不是使用监督学习模型。
  • 设计了一个糟糕的奖励函数,导致智能体以意想不到的方式对其进行利用。
  • 跳过模拟器/交互环境,试图从静态记录表中学习。
  • 忽略收敛诊断,信任未经充分训练的高方差策略。
  • 低估计算需求,在未达到足够多的回合数且未使用 GPU 的情况下运行。

常见问题

深度强化学习需要多少数据?

它非常需要数据。注册库建议至少约 1000 次交互/回合才能使策略收敛;在低于约 500 次交互时,DQN/PPO 无法产生可靠的决策策略,此时监督学习模型更为可取。

DQN、PPO 和 A3C 有何区别?

DQN 学习价值函数(每个行动的预期回报)并对其采取贪婪行动。PPO 和 A3C 是策略梯度方法,直接优化策略;特别是 PPO 因其训练稳定性而备受推崇。

我需要模拟器吗?

是的。深度强化学习通过交互学习,因此需要模拟器或实时交互环境,以及一个精心设计的、编码了目标的奖励函数。

我需要 GPU 吗?

推荐使用 GPU。深度强化学习在海量交互数据上训练神经网络,因此没有合适的计算能力,训练会很慢,并且难以实现收敛。

相关方法

参考文献

  1. Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.

    打开 DOI 文献
    已复制。
  2. Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.

    打开出版物文献
    已复制。