随机马尔可夫模型 — 具有不确定性传播的概率状态转移模拟
- 提出者
- Markov, A. A. (probabilistic extension developed by Sonnenberg & Beck and others)
- 年份
- 1993
- 类型
- Probabilistic state-transition model with Monte Carlo uncertainty propagation
- 类别
- Simulation / optimization
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
随机马尔可夫模型 (Stochastic Markov Model) 是一种模拟技术,它将一个系统表示为一组互斥的健康或决策状态,通过概率抽样的转移参数将一群(或个体代理)在这些状态之间移动,并通过数千次蒙特卡洛迭代来汇总结果,从而产生成本、结果或排序的完整概率分布,而不是单一的点估计。
方法背后的直觉
想象一下,在多年的周期中追踪一个群体经历疾病阶段——健康、患病、康复、死亡。在确定性马尔可夫模型中,您固定了转移概率并得到一个轨迹。随机版本承认这些概率本身是不确定的:它们来自有限样本的研究。通过在每次蒙特卡洛迭代中从其后验分布中抽取新的转移矩阵,该模型将参数不确定性完全传播到最终输出,从而产生可信区间而不是虚假的精确度。
历史学
马尔可夫链由 Andrei Markov 于 1906 年正式化。Sonnenberg 和 Beck (1993) 系统地将其应用于医疗决策分析,为卫生经济学家提供了实用指导。概率扩展——从蒙特卡洛迭代中的分布中抽取转移参数——在 20 世纪 90 年代至 21 世纪初成为标准实践,并被 NICE 等机构的指南以及 Briggs、Sculpher 和 Claxton (2006) 的教科书所规范。如今,随机马尔可夫模型是医疗技术评估中概率敏感性分析的主导工具。
何时使用
当决策涉及离散状态、多个时间段内的重复转移事件以及必须正式传播到输出的参数不确定性时,使用随机马尔可夫模型——最常见于医疗技术评估、药物经济学和政策评估,其中转移概率和收益中的不确定性很大。当监管机构或 HTA 机构 (NICE, CADTH, etc.) 要求进行概率敏感性分析时,这是标准方法。当系统具有更适合用微分方程处理的连续状态空间时,当马尔可夫假设(无记忆性)不合理且历史明显重要但无法通过状态扩展来捕捉时,当分析范围是单个周期时,或者当数据过于稀疏以至于无法证明指定参数分布的合理性时(在这种情况下,确定性单向敏感性分析可能更合适),请勿使用。
局限与注意事项
- 马尔可夫(无记忆性)假设——即未来转移仅取决于当前状态,而非历史——在实践中经常被违反;通过隧道状态的解决方法会增加模型复杂性。
- 为所有参数指定可信概率分布需要高质量的证据;指定不当的先验会传播校准不当的不确定性。
- 计算成本随状态数、周期数和蒙特卡洛迭代次数的增加而增加;非常大的模型可能需要显著的运行时间或并行计算资源。
- 模型结构本身(包含哪些状态、周期长度)通常是固定的,不受概率不确定性的影响,这可能是未量化结构不确定性的主要来源。
- 结果对分布的选择及其相关性敏感;忽略参数之间的相关性(例如,成本和效用)可能会低估或高估总方差。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 明确量化参数不确定性并提供可信区间而非点估计,支持在不确定性下的透明决策。
- 概率输出(例如,成本效益可接受性曲线)直接为价值信息分析和预算分配决策提供信息。
- 状态转移结构对非技术利益相关者具有可解释性,并且模型逻辑可以逐周期审计。
- 自然地容纳多个同时不确定的参数,而无需手动构建场景。
- 被医疗技术评估机构 (NICE, CADTH, PBAC) 广泛接受,是经济评估中概率敏感性分析的标准。
- 可扩展性:个体水平的微观模拟和时间非齐次变体可以在同一框架内纳入患者异质性和时变转移。
应用
- 对需要进行概率敏感性分析以进行 HTA 申报的新型药物或医疗器械进行成本效益分析。
- 肿瘤学、心血管疾病和传染病流行病学中的疾病进展建模。
- 慢性病(如糖尿病或 HIV)的长期结果预测,患者在多年内会在多个健康状态之间循环。
- 向监管机构 (NICE, CADTH, EMA) 提交的医疗技术评估申报,这些申报要求进行概率不确定性报告。
- 比较筛查或预防项目的政策评估,其中每 QALY 的成本可信区间为预算分配提供信息。
- 基础设施或项目风险建模,其中资产在具有不确定转移率的状态(良好、恶化、故障)之间转换。
使用方式
使用方式
定义状态空间:列出模型实体可能占据的所有互斥、集体穷尽的状态(例如,疾病阶段、资源水平、项目阶段)。指定时间周期长度和最大周期数(时间范围)。每个状态都带有相关的收益——成本、效用或其他结果指标——这些也可能是不确定的。
对于每个转移概率和每个收益参数,指定一个反映证据基础推导出的不确定性的概率分布。转移概率通常从狄利克雷分布(确保它们从每个起始状态求和为 1)中抽取;成本从伽马或对数正态分布中抽取;效用从 [0, 1] 范围内的 Beta 分布中抽取。此步骤编码了完整的参数不确定性结构。
从所有指定的分布中抽取一组完整的模型参数——这构成一次蒙特卡洛迭代。一个完整的参数向量包括整个转移矩阵、所有特定状态的成本以及所有效用。通常使用拉丁超立方体抽样或简单随机抽样进行采样,建议 N ≥ 1000 次迭代以获得稳定的可信区间。
运行采样参数集的马尔可夫群体轨迹:将起始群体分布与转移矩阵在每个周期重复相乘,直到达到时间范围。记录每个周期中群体在每个状态的比例。通过将状态占用率乘以采样收益并跨所有周期求和来计算总预期成本和结果,并根据需要应用贴现。
对所有 N 次迭代重复步骤 3-4。这会产生每个汇总结果(例如,总成本、质量调整生命年)的 N 次重复。每个输出的 N 个值的集合形成一个经验采样分布,直接反映模型不确定性。
汇总迭代结果:报告每个输出的均值(或中位数)和 95% 可信区间。如果比较替代方案,则构建成本效益可接受性曲线 (CEAC) 或排名可接受性指数。使用概率敏感性分析 (PSA) 散点图或完美信息预期值 (EVPI) 指标来确定哪些参数导致方差最大。
常见陷阱
- 将蒙特卡洛迭代次数视为不重要:少于 1000 次迭代通常会导致可信区间不稳定,尤其是在尾部;始终报告收敛诊断。
- 在采样时忽略参数相关性:独立采样相关参数(例如,从单独的 Beta 分布而非联合狄利克雷分布中采样转移概率)会夸大明显的不确定性,并可能违反给定状态的概率之和为一的约束。
- 混淆随机不确定性(第一阶,模拟个体之间的迭代内变异性)与参数不确定性(第二阶,跨蒙特卡洛迭代);这些在群体模型与个体模型中需要不同的处理方式。
- 过度解读可信区间的宽度作为对模型质量的判断,而不是对数据稀缺性的诚实反映。
- 在引入随机层之前未能验证确定性基线案例——核心模型中的错误会被概率包装放大,而不是被揭示。
常见问题
随机马尔可夫模型与确定性马尔可夫模型有什么区别?
确定性马尔可夫模型使用所有转移概率和收益的固定点估计,产生单一结果值。随机马尔可夫模型在每次蒙特卡洛迭代中从概率分布中抽取这些参数,产生反映参数不确定性的结果分布。两者都使用相同的群体轨迹机制;只有参数处理方式不同。
需要多少次蒙特卡洛迭代才足够?
通常建议至少 1000 次迭代;10,000 次迭代通常可获得稳定的可信区间和成本效益可接受性曲线。应通过目视检查(运行均值图)或正式诊断来验证收敛性。具有许多相关参数或罕见事件的模型可能需要更多迭代。
马尔可夫假设何时失效,以及如何解决?
当离开某个状态的概率取决于患者在该状态停留的时间长短时(例如,疾病持续时间越长,死亡率风险越高),马尔可夫假设就会失效。标准的解决方法是引入隧道状态来显式跟踪在状态中的时间,但这会增加状态空间。或者,个体水平的微观模拟可以直接跟踪每个患者的历史。
随机马尔可夫模型可以处理个体异质性吗?
标准的群体水平随机马尔可夫模型仅捕获迭代之间的参数不确定性,而不捕获个体水平的变异性。要纳入患者异质性(不同的基线风险、合并症),模型必须扩展为个体水平的微观模拟,其中每个模拟的患者在状态空间中被单独跟踪。
随机马尔可夫模型与离散事件模拟有何不同?
在马尔可夫模型中,时间以固定的周期推进,所有事件都由恒定的每个周期转移概率控制。离散事件模拟模型是个体实体,其事件发生在连续时间点,这些时间点从任意分布中抽取,从而允许更灵活地表示排队、资源约束和时变速率。马尔可夫模型更简单易建易验证;DES 更灵活但更难参数化。
相关方法
参考文献
Sonnenberg, F. A., & Beck, J. R. (1993). Markov models in medical decision making: A practical guide. Medical Decision Making, 13(4), 322–338.
打开 DOI 文献已复制。Briggs, A., Sculpher, M., & Claxton, K. (2006). Decision Modelling for Health Economic Evaluation. Oxford University Press.
ISBN:9780198526629已复制。