Skip to content
返回搜索结果

基于智能体的动态规划 — 多智能体系统中的序贯决策

提出者
Bellman, R. (DP foundation); Tesfatsion, L. et al. (ABM-DP integration)
年份
1957 (DP); 1990s onward (ABM integration)
类型
Hybrid simulation-optimization
类别
Simulation / optimization

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

基于智能体的动态规划(Agent-based dynamic programming, ABDP)将贝尔曼(Bellman)的动态规划框架嵌入到基于智能体的模型(agent-based model, ABM)的个体智能体中,使每个智能体能够使用后向归纳法或值函数迭代法来解决序贯的、多阶段的决策问题。其结果是形成一个优化智能体群体,它们的交互会产生涌现的系统级行为。

方法背后的直觉

设想一个住房市场,其中每个买家和卖家必须根据其当前状态和对未来的预期,逐期(period by period)决定是出价、持有还是退出。动态规划为每个智能体提供了跨时间规划的最优数学工具,而基于智能体的层则捕捉了这些个体计划如何相互作用并产生单一智能体未曾意图或完全预料到的市场范围内的模式。ABDP结合了最优控制的严谨性和异质性智能体仿真的灵活性。

历史学

动态规划由Richard Bellman于1957年正式提出。其在基于智能体的建模中的整合出现在20世纪90年代,通过基于智能体的计算经济学(Agent-based Computational Economics, ACE),特别是由Leigh Tesfatsion、Kenneth Judd和Thomas Sargent在异质性智能体模型方面的工作所推动。此后,该框架被采用于生态建模、供应链管理和公共政策仿真。

何时使用

当智能体面临不确定性下的序贯、多期决策,并且它们的交互产生了标准代表性智能体模型无法捕捉的涌现现象时,应使用ABDP——例如,异质性家庭储蓄决策、策略性企业进入/退出或适应性资源管理行为。它特别适用于不存在封闭解且仿真为唯一可行分析工具的问题。当决策问题是静态的(单期)、智能体异质性可忽略不计、状态空间过大以至于动态规划难以处理(即使是近似)、或更简单的分析模型已足够时,则不应使用ABDP。如果关键研究问题涉及可通过校准的宏观模型回答的聚合行为,则应避免使用。

局限与注意事项

  • 计算成本高昂:为每种智能体类型求解动态规划问题(在仿真之前和期间)可能因状态空间过大而变得不可行。
  • “维度灾难”限制了每个智能体能够实际跟踪的状态变量数量。
  • 指定转移概率和奖励函数需要强假设,这些假设可能没有实证依据。
  • 结果可能对智能体交互协议(行动顺序、信息披露)敏感,而这些协议没有唯一正确的规范。
  • 验证困难:涌现结果难以以统计严谨的方式与真实数据进行比较。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 结合了动态规划的数学严谨性(在智能体层面提供最优性保证)与基于智能体的仿真的灵活性。
  • 处理真实的异质性:不同的智能体可以面临不同的状态空间、偏好和约束。
  • 捕捉由微观理性行为产生的涌现宏观经济或系统级结果。
  • 与随机环境兼容:智能体通过期望值贝尔曼方程在不确定性下进行优化。
  • 支持情景分析:可以在仿真过程中引入政策冲击或结构性变化,以研究适应性响应。

应用

  • 异质性智能体宏观经济模型:家庭解决生命周期储蓄/消费动态规划问题;交互产生财富分布动态。
  • 能源市场仿真:电力生产商使用基于动态规划的竞价策略;ABM捕捉市场出清和价格形成。
  • 流行病政策建模:智能体随时间优化疫苗接种或出行决策;ABM追踪人群中的疾病传播。
  • 供应链管理:企业解决多期库存订货动态规划问题;智能体交互揭示牛鞭效应和级联效应。
  • 生态资源管理:渔民或农民解决最优捕捞动态规划问题;空间ABM捕捉公地悲剧动态。
  • 城市交通和土地利用:家庭解决居住地动态规划问题;ABM产生涌现的通勤模式和隔离现象。

使用方式

使用方式

1

定义智能体群体:指定智能体类型、状态变量(财富、库存、位置、信念)、每个智能体可用的行动集以及时间范围(有限或无限)。智能体之间的异质性是一个关键特征,可以包括不同的偏好、禀赋或信息集。

2

将每个智能体的序贯决策问题表述为贝尔曼方程:V(s) = max over actions a of [r(s,a) + discount * sum over next-states s' of P(s'|s,a) * V(s')]。相应地为每种智能体类型定义奖励函数r、转移概率P和贴现因子。

公式
V(s) = \max_{a \in A(s)} \left[ r(s,a) + \delta \sum_{s'} P(s'|s,a)\, V(s') \right]
3

使用值函数迭代、策略函数迭代或近似方法(例如,用于高维状态空间的拟合值迭代、神经网络逼近器)为每种智能体类型求解贝尔曼方程。解得到的是一个将状态映射到行动的最优策略。

4

将求解出的决策规则(策略函数)嵌入到基于智能体的模型中。每个智能体在每个时期观察其当前状态,并选择其最优策略规定的行动。如果环境发生变化,智能体可能会更新信念或重新求解动态规划(适应性预期)。

5

运行基于智能体的仿真:智能体同时或依次行动,通过市场、网络或共享环境进行交互,并转移到新的状态。记录每个时间步的微观轨迹(个体智能体历史)和聚合统计数据。

6

分析仿真输出:计算均衡或稳态分布,衡量涌现的宏观现象(价格动态、不平等、级联故障),并通过在多次仿真运行中改变智能体参数或环境冲击来进行敏感性分析。

常见陷阱

  • 将ABDP与强化学习混淆:强化学习(RL)智能体通过试错交互学习策略,而ABDP智能体在仿真开始前就已配备了经过解析或数值求解的最优策略。
  • 假设所有智能体都适用单一求解策略,而异质性要求为每种智能体类型分别求解动态规划。
  • 忽略策略性相互依赖:如果智能体奖励取决于其他智能体的行动,则动态规划公式必须考虑均衡预期,否则结果反映的是对固定环境的最佳响应,而非真正的多智能体均衡。
  • 未能先在数值上验证动态规划解再将其嵌入:贝尔曼递归中的编程错误会悄无声息地传播到整个仿真中。
  • 运行的仿真复制次数不足:随机的智能体交互需要足够的样本量才能区分聚合统计数据中的信号与噪声。

常见问题

ABDP与标准的基于智能体的建模有何不同?

标准的ABM智能体通常遵循启发式或基于规则的行为。在ABDP中,每个智能体的决策规则是通过求解动态规划问题得出的,这意味着行为在给定智能体的目标、状态和对未来的信念的情况下是明确最优的。

ABDP与多智能体强化学习(MARL)有何不同?

在MARL中,智能体通过与环境的反复交互来学习最优策略,在线更新策略。在ABDP中,智能体的策略在仿真开始前通过解析或数值方法求解,并且在运行过程中不通过试错进行更新——尽管可以进行间隔性重新求解(适应性动态规划)。

哪些软件工具支持ABDP的实现?

NetLogo、Mesa(Python)或Repast等基于智能体的平台可以托管其决策函数为预先计算的动态规划解的智能体。动态规划求解步骤通常使用MATLAB、Julia(QuantEcon.jl)或Python(scipy、自定义值迭代循环),并将结果作为策略查找表传递给ABM。

维度灾难何时成为实际障碍?

当每个智能体的状态空间包含3-4个以上的连续变量时,精确的值函数迭代将变得不可行。此时研究人员会求助于近似方法,如使用回归的拟合值迭代、神经网络函数逼近器或稀疏网格插值。

ABDP是否适用于政策评估?

是的,但需谨慎。由于智能体根据其决策规则进行优化,ABDP比简化形式模型更能避免卢卡斯批判。然而,它需要仔细校准智能体参数,并与微观数据进行验证,以确保在得出政策结论之前模拟行为是现实的。

相关方法

参考文献

  1. Bellman, R. (1957). Dynamic Programming. Princeton University Press, Princeton, NJ.

    ISBN:9780691079516
    已复制。
  2. Tesfatsion, L., Judd, K. L. (Eds.) (2006). Handbook of Computational Economics, Volume 2: Agent-Based Computational Economics. Elsevier, Amsterdam.

    打开出版物文献
    已复制。