Skip to content
返回搜索结果

强化学习

提出者
Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
年份
1950s–1998
类型
Sequential decision-making framework
类别
Deep learning / NLP / CV

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

强化学习(RL)是一个框架,其中智能体通过与环境交互、接收标量奖励信号并更新策略以最大化累积未来奖励来学习进行序贯决策。与监督学习不同,不提供标记示例;智能体完全通过经验和延迟反馈来发现最优行为。

方法背后的直觉

想象一下训练一只狗:你不会解释每一个动作;你会奖励好的行为,让它自己弄清楚该怎么做。强化学习也是如此。智能体在环境中尝试动作,观察发生的情况,并接收奖励——对期望的结果给予正奖励,对错误给予负奖励。通过多次交互,它学会了在什么情况下采取什么动作倾向于带来最多的奖励,从而建立一种策略——称为策略——而无需任何预先标记的正确答案数据集。

历史学

强化学习的根源在于 Bellman 的动态规划(1957 年)和动物学习心理学。Sutton 和 Barto 在他们 1998 年的教科书中正式确立了现代框架,统一了时序差分学习、Q-learning 和策略梯度方法。2013-2015 年,DeepMind 的 DQN 将深度卷积神经网络与 Q-learning 相结合,实现了 Atari 的人类水平性能,开启了深度强化学习作为一个主要研究方向。AlphaGo(2016 年)以及随后在大型语言模型上的 RLHF 工作进一步扩展了 RL 的应用范围。

何时使用

当任务是具有延迟奖励且没有标记训练数据的序贯决策时,使用强化学习:游戏、机器人控制、资源调度、推荐排序或通过人类反馈(RLHF)微调语言模型。当环境可以廉价地模拟并且智能体可以交互多次时,RL 是合适的。当监督或自监督方法可以解决问题时,请勿使用 RL——RL 样本效率低下且不稳定;当奖励函数难以指定时;当与真实环境的交互在没有模拟器的情况下昂贵或危险时;或者当数据集是静态且固定的(谨慎使用离线 RL)。

局限与注意事项

  • 样本效率极低:可能需要数百万次环境交互才能收敛。
  • 训练通常不稳定,对超参数、奖励塑造和随机种子敏感。
  • 奖励函数设计困难;指定不当的奖励会导致意外优化(奖励破解)。
  • 不能保证泛化到未见过的状态或环境。
  • 在没有广泛模拟的情况下,实际部署存在风险;探索可能导致危险动作。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 直接从交互中学习,无需标记数据,适用于无法标注的情况。
  • 能够发现复杂序贯任务(游戏、机器人、调度)中的超人策略。
  • 自然地模拟长期规划和时间信用分配。
  • 与深度神经网络结合时,可以扩展到高维状态空间(像素、文本)。
  • RLHF 能够使大型语言模型与人类偏好保持一致。

应用

  • 游戏和策略:Atari、围棋、国际象棋、星际争霸达到超人水平。
  • 机器人:运动、操作和灵巧的手部控制。
  • 通过人类反馈强化学习(RLHF)实现大型语言模型对齐。
  • 资源和网络调度,数据中心冷却优化。
  • 个性化推荐系统,模拟长期用户参与度。
  • 自动驾驶模拟和交通信号控制。

使用方式

使用方式

1

在每个时间步,智能体观察环境的当前状态,并根据其当前策略选择一个动作。环境转换到新的状态并发出一个标量奖励。这种观察-行动-奖励的循环重复进行,生成一个用于改进策略的经验轨迹。

2

智能体的目标是最大化折扣累积奖励 G_t,它对所有未来奖励进行加权求和,权重因子为介于 0 和 1 之间的折扣因子 gamma。gamma 接近 1 使智能体目光长远;gamma 较小使其专注于即时奖励。仔细的奖励塑造至关重要,因为智能体优化它接收到的任何信号。

公式
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
3

策略 pi 将状态映射到动作(或动作概率)。对于小型离散问题,它可以表示为查找表;对于图像或文本等高维状态,它可以表示为深度神经网络——深度强化学习智能体。策略是智能体学习的内容,也是最终部署的内容。

公式
\pi(a \mid s) = P(A_t = a \mid S_t = s)
4

价值函数估计在给定策略下,一个状态(或状态-动作对)有多好。状态价值 V(s) 是从状态 s 开始的预期累积奖励。动作价值函数 Q(s, a) 将此扩展到特定动作。这些估计指导 Q-learning、SARSA 和 actor-critic 算法等方法中的策略改进。

公式
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]
5

智能体使用收集到的经验更新其策略。基于价值的方法(例如 DQN)从 Q 值隐式推导出策略;策略梯度方法(例如 REINFORCE、PPO)直接调整策略参数以增加高奖励轨迹的概率。大多数现代算法在 actor-critic 架构中结合了两者。

常见陷阱

  • 指定一个易于优化但与真实目标不一致的奖励函数(奖励破解)。
  • 跳过一个调优良好的模拟环境,直接转向真实硬件,导致代价高昂的失败。
  • 在监督学习或模仿学习方法效率高得多的情况下选择 RL。
  • 忽略可复现性:RL 结果因随机种子而异;务必报告多次运行。
  • 将单次运行的训练曲线视为收敛的证据,而没有未见过的评估回合。

常见问题

强化学习与监督学习的区别是什么?

监督学习需要标记的输入-输出对并学习固定的映射。RL 不需要标签;相反,智能体在动作后接收奖励信号,必须通过试错来发现该做什么,因此适用于事先不知道正确动作的序贯决策问题。

模型无关 RL 和基于模型的 RL 有何区别?

模型无关 RL(例如 DQN、PPO)直接从经验中学习策略或价值函数,而无需明确的环境动力学模型。基于模型的 RL 学习或被赋予一个转移模型并用于规划。基于模型的方法通常样本效率更高,但需要一个准确的模型,而这可能难以学习。

如何在基于价值的方法和策略梯度方法之间进行选择?

像 DQN 这样的基于价值的方法在离散动作空间中效果很好,并且相对稳定。策略梯度方法(REINFORCE、PPO、SAC)自然地处理连续动作空间并可以学习随机策略。Actor-critic 方法结合了两者。对于大多数现代应用,PPO 或 SAC 是安全的起点。

RL 通常需要多少环境交互?

RL 以样本需求量大而闻名。简单的表格任务可能在数千步内收敛;Atari DQN 需要数千万帧;复杂的机器人任务可能需要数亿次模拟步骤。这使得快速模拟器至关重要,并排除了 RL 在许多交互成本高昂的现实世界问题中的应用。

什么是 RLHF?它为什么重要?

人类反馈强化学习(RLHF)从人类偏好比较中训练一个奖励模型,然后使用 RL 微调语言模型以最大化该学习到的奖励。它是将大型语言模型与人类价值观对齐的主导技术,并且是 InstructGPT 和 Claude 等模型的核心。

相关方法

参考文献

  1. Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN:978-0-262-03924-6
    已复制。
  2. Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.

    打开 DOI 文献
    已复制。