Skip to content
返回搜索结果

马尔可夫模型 — 概率状态转移建模

提出者
Andrei Markov
年份
1906
类型
Probabilistic state-transition model
类别
Simulation / optimization

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

马尔可夫模型将系统表示为一组有限状态,并指定在每个时间步从一个状态转移到另一个状态的概率。通过仅捕获当前状态(而非完整历史),它能够对健康经济学、工程可靠性、运筹学和社会科学建模等领域的复杂动态过程进行可处理的分析。

方法背后的直觉

想象一个病人,他可能处于健康、患病或死亡状态。马尔可夫模型表明,明天患病的几率仅取决于病人今天是否健康,而与整个病史无关。这种无记忆性使得数学处理变得可行,同时仍能捕捉现实动态。在每个步骤中,一个转移概率矩阵控制着人口如何在各状态之间分布,分析师可以提出问题:系统长期来看会走向何方,以及它以多快的速度到达那里?

历史学

安德烈·马尔可夫在 1906 年对普希金诗歌中字母转移的研究中引入了依赖随机序列的数学框架,证明了依赖变量的大数定律。离散时间马尔可夫链形式主义在 20 世纪 30 年代由柯尔莫哥洛夫等人扩展。从 20 世纪 70 年代起,马尔可夫模型在运筹学、排队论中成为标准,从 20 世纪 80 年代起在卫生经济学建模中也成为标准,巩固了它们在应用概率中的基础工具地位。

何时使用

在以下情况下使用马尔可夫模型:(1) 过程可以描述为少数几个不同状态之间的转移;(2) 无记忆假设是合理的——未来转移仅取决于当前状态;(3) 您需要长期或期望值汇总(稳态比例、预期成本、预期质量调整生命年)。它在卫生技术评估 (HTA) 和可靠性工程中尤为常见。在以下情况下请勿使用:历史强烈影响未来转移(请改用高阶链或半马尔可夫模型);状态数量随问题复杂性呈爆炸式增长(请改用模拟);无法获得可靠转移概率估计的数据;或过程涉及没有自然离散化的连续状态空间。

局限与注意事项

  • 无记忆(马尔可夫)假设在实践中经常被违反——遵循非指数分布的停留时间需要半马尔可夫或相位型扩展。
  • 状态空间爆炸:增加细节以表示历史或异质性会使状态数量成倍增加,迅速增加模型复杂性和数据需求。
  • 转移概率必须从数据中估计;稀疏数据会导致宽泛的不确定性区间,这可能会主导模型结论。
  • 同质性假设:标准马尔可夫链假设转移概率随时间保持不变,这对于老龄化队列或演变系统可能不切实际。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 透明且可审计:转移矩阵完整地指定了模型,可以进行检查、验证并传达给非技术利益相关者。
  • 分析上易于处理:存在稳态分布、平均通过时间和吸收概率的闭式解。
  • 在监管环境中被广泛接受,特别是卫生技术评估(NICE、CADTH 指南认可马尔可夫队列模型)。
  • 灵活的时间范围:使用相同的模型支持短期瞬态分析和长期稳态查询。
  • 当需要控制或策略优化时,易于扩展到马尔可夫决策过程 (MDP)。

应用

  • 卫生技术评估:模拟疾病进展并计算质量调整生命年 (QALY) 和增量成本效益比 (ICER)。
  • 可靠性工程:计算多组件系统的故障率、维护计划和平均故障间隔时间。
  • 自然语言处理:基于 n-gram 转移概率的语言模型、词性标注和文本生成。
  • 金融和精算科学:信用评级迁移模型和保险索赔频率分析。
  • 生态学:种群生存力分析和栖息地适宜性转移建模。
  • 运营管理:使用购买状态转移矩阵进行库存控制和客户生命周期价值估计。

使用方式

使用方式

1

列出系统可能占据的所有互斥且穷尽的状态。状态必须定义得足够精确,以确保在任何时间点上的归属都是明确的——例如,疾病阶段、库存水平或操作模式。

2

构建转移概率矩阵 P,其中每个元素 p_ij 表示从状态 i 转移到状态 j 的一步概率。每行之和必须为 1。概率通过经验数据(队列研究、历史记录)或专家启发进行估计,并应报告不确定性范围。

公式
P = [p_{ij}], \quad p_{ij} = P(X_{t+1}=j \mid X_t=i), \quad \sum_j p_{ij} = 1
3

确认下一个状态仅取决于当前状态,而不取决于更早的历史。这种马尔可夫(无记忆)假设是模型的核心要求。如果历史很重要,请考虑高阶马尔可夫链或半马尔可夫扩展。

公式
P(X_{t+1}=j \mid X_0,\ldots,X_t) = P(X_{t+1}=j \mid X_t)
4

从初始状态分布向量 pi^(0) 开始,乘以 P^t 即可获得时间 t 的分布。这显示了队列或系统如何逐步演变,并允许计算在每个状态中花费的预期时间,即停留时间。

公式
\pi^{(t)} = \pi^{(0)} P^t
5

对于遍历链,求解平稳分布方程 pi P = pi,同时满足概率之和为 1。稳态向量 pi 描述了系统在每个状态中花费时间的长期比例,是成本效益和可靠性分析的关键输出。

公式
\pi P = \pi, \quad \sum_i \pi_i = 1

常见陷阱

  • 将临床上不同的阶段合并为一个状态以简化模型可能会掩盖成本或结果中的重要差异——始终根据临床或领域专家判断验证状态定义。
  • 忽略参数不确定性:仅报告点估计结果而不进行概率敏感性分析 (PSA) 会夸大置信度;始终通过转移矩阵传播不确定性。
  • 选择相对于状态转移速度而言过于粗糙的周期长度会引入半周期校正问题并偏倚累积估计。
  • 将吸收状态(例如,死亡)与瞬态状态混淆可能导致模型产生无限的预期成本或时间;验证至少一个吸收状态可以从每个瞬态状态到达。

常见问题

马尔可夫模型应该有多少个状态?

使用最少的状态来保留临床或操作上有意义的区别。更多的状态可以提高真实性,但会增加数据需求和验证负担。一个实用的起点是 3-8 个状态;超过 15-20 个时,个体模拟方法通常更可取。

如果我的数据表明转移概率随时间变化怎么办?

时间齐次马尔可夫链假设转移概率不变。如果概率随时间或年龄变化,请使用时间非齐次链(每个周期使用不同的 P 矩阵)、半马尔可夫模型(停留时间依赖的转移)或个体微观模拟。

我如何处理参数不确定性?

使用观测计数将狄利克雷分布拟合到转移矩阵的每一行,然后在概率敏感性分析 (PSA) 中从这些分布中抽样。将结果报告为成本效益可接受性曲线或可信区间,而不是点估计。

马尔可夫模型和马尔可夫决策过程有什么区别?

马尔可夫模型被动地描述一个系统——转移由固定概率控制。马尔可夫决策过程 (MDP) 通过添加行动和奖励来扩展这一点,从而能够优化随时间变化的决策或策略。

我应该何时使用队列马尔可夫模型而不是个体微观模拟?

队列模型跟踪各状态的比例,计算成本低且透明;当马尔可夫假设成立且异质性有限时,优先选择它们。微观模拟跟踪个体历史,因此当记忆效应、个体变异性或个体间交互作用很重要时,它很适用,但代价是更高的计算和数据需求。

相关方法

参考文献

  1. Norris, J. R. (1997). Markov Chains. Cambridge University Press, Cambridge.

    ISBN:9780521633963
    已复制。
  2. Markov chain. Wikipedia.

    打开出版物文献
    已复制。