策略梯度方法
- 提出者
- Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
- 年份
- 1992
- 类型
- Policy-based reinforcement learning
- 类别
- Reinforcement learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
策略梯度方法是强化学习算法,它们通过对期望回报进行梯度上升来直接优化参数化策略,而不是学习动作价值并采取贪婪策略。该方法基于 Ronald Williams 于 1992 年提出的 REINFORCE 算法以及 Sutton 等人(2000 年)的策略梯度定理,能够自然地处理随机和连续动作空间,并支撑着现代的 Actor-Critic 和深度强化学习算法。
方法背后的直觉
像 Q-learning 这样的基于价值的方法会学习每个动作的好坏程度,然后选择最优动作;而策略梯度方法则跳过中间环节,直接调整策略本身。策略是一个关于动作的概率分布,具有可调参数。在执行动作并观察到回报后,会调整参数,使得导致高回报的动作变得更可能发生,而导致低回报的动作变得不太可能发生——即对期望回报进行梯度上升。由于策略可以是任何可微分布,因此该方法适用于连续控制(例如,转向角度),在这种情况下,对动作进行“最大化”是不切实际的。减去一个基线(一个价值估计)可以保持嘈杂的梯度稳定。
历史学
Ronald Williams 于 1992 年引入了 REINFORCE,这是基础性的蒙特卡洛策略梯度方法。Sutton、McAllester、Singh 和 Mansour(2000 年)证明了具有函数逼近的策略梯度定理,从而实现了神经网络策略和 Actor-Critic 系列算法。该方法推动了深度强化学习十年的发展——A2C、TRPO、PPO、DDPG/SAC——并且是用于对齐大型语言模型的人类反馈强化学习(RLHF)的核心。它是 Q-learning 等基于价值方法的基于策略的对应物。
何时使用
当动作空间是连续或高维时,当需要随机策略(探索、部分可观测性、多智能体)时,或者当您想通过神经网络端到端地优化策略时(例如机器人控制、连续控制基准测试、对话/推荐策略,以及作为用于对大型语言模型进行对齐的 RLHF 的基础),请使用策略梯度方法。它们直接优化目标,并处理基于价值的方法难以应对的连续动作。成本包括:梯度估计具有高方差(可通过基线/Critic 缓解),它们通常是 On-Policy 且样本效率低下,对步长和奖励缩放敏感,并且容易陷入局部最优。当动作空间小且离散时,基于价值的 Q-learning/DQN 可能更简单且样本效率更高;信任区域变体(TRPO/PPO)解决了步长不稳定的问题。
局限与注意事项
- 高方差梯度估计;需要基线或 Critic 才能实用。
- 通常是 On-Policy 且与 Off-Policy 的价值方法相比样本效率低下。
- 对学习率、奖励缩放敏感,可能收敛到局部最优。
- 稳定性需要谨慎;过大的步长可能导致策略崩溃。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 直接优化策略;处理连续和高维动作空间。
- 自然地表示随机策略,有助于探索和部分可观测性。
- 与神经网络函数逼近(深度强化学习)无缝集成。
- 现代算法(A2C/A3C、TRPO、PPO、DDPG)和 RLHF 的基础。
应用
- 机器人和模拟环境中的连续控制。
- 游戏和复杂序贯决策。
- 对话、推荐和自适应交互策略。
- 用于语言模型的人类反馈强化学习(RLHF)。
- 具有连续动作的运营和控制问题。
使用方式
使用方式
目标是最大化 J(θ),即由策略 π_θ 生成的轨迹的期望折扣回报。与基于价值的方法不同,所优化的对象是策略参数本身,并且策略可以是随机的或连续的。
公式
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]策略梯度定理将期望回报的梯度表示为分数函数(对数策略的梯度)乘以动作价值的期望。关键在于,该梯度不需要区分环境动力学,因此可以从采样经验中估计出来。
公式
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]REINFORCE 是蒙特卡洛估计器:在每个回合结束后,对于每一步,它会沿着对数策略梯度移动参数,该梯度由从该步开始的回报减去基线缩放。基线(通常是状态价值估计)在不引入偏差的情况下降低了方差,使得嘈杂的梯度可用。
公式
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
Actor-Critic 方法同时学习两个部分:一个由策略梯度更新的 Actor(策略),以及一个提供低方差优势估计(动作比平均值好多少)的 Critic(价值函数)。Critic 的引导估计取代了高方差的蒙特卡洛回报,从而实现了更稳定、样本效率更高的学习,并构成了 A2C/A3C、PPO 和 DDPG 的基础。
公式
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot A常见陷阱
- 省略基线/Critic,导致梯度过于嘈杂而无法学习。
- 使用普通的 On-Policy 估计器重用 Off-Policy 数据,导致梯度有偏差。
- 过大或未缩放的奖励/步长导致策略不稳定或崩溃。
- 当策略过早地接近确定性时,探索不足。
常见问题
策略梯度方法与 Q-learning 有何不同?
Q-learning 学习动作价值并采取贪婪策略;策略梯度方法通过对期望回报进行梯度上升来参数化和直接优化策略。策略梯度方法自然地处理连续/随机动作,但方差较高且通常是 On-Policy 的,而 Q-learning 是 Off-Policy 的,对于小的离散动作通常更样本高效。
什么是 Actor-Critic 方法?
它结合了一个由策略梯度更新的 Actor(策略)和一个学习到的价值函数(Critic),该函数估计状态/动作的好坏程度。Critic 提供低方差的优势信号,从而稳定和加速学习。A2C/A3C、PPO 和 DDPG 都是 Actor-Critic 算法。
为什么策略梯度使用基线?
原始梯度估计非常嘈杂。从回报中减去一个基线——通常是状态价值估计——可以在不引入偏差的情况下降低梯度的方差,从而使学习更加稳定和高效。优势函数(回报减去价值)是常见的选择。
相关方法
参考文献
Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.
打开 DOI 文献已复制。Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.
打开出版物文献已复制。