Markov 模型在卫生经济学中的应用
- 提出者
- Beck & Pauker (medical decision analysis, Massachusetts General Hospital)
- 年份
- 1983
- 类型
- Method
- 类别
- decision modeling framework
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
马尔可夫模型是一种决策分析工具,它模拟疾病在定义好的健康状态之间随时间推移的进展,计算累积成本和质量调整生命年(QALYs),以支持成本效益分析。马尔可夫模型由 Beck 和 Pauker 于 1983 年开发,现已成为预测健康干预措施(尤其是慢性病患者在临床状态之间转换,如治疗反应、疾病进展、缓解、死亡)长期结果的标准框架。卫生技术评估机构和制药公司利用该模型来预测超出试验持续时间的干预措施的价值。
方法背后的直觉
随机试验通常随访患者 2-5 年。但医疗政策需要知道:这种药物在 10 年或终生范围内是否能节省成本并改善健康?马尔可夫模型可以外推试验结果。核心思想是:患者处于不同的健康状态(如 HIV 的 CD4 计数类别、癌症的分期、心脏病的 NYHA 分级),并且每年以确定的概率在状态之间转换。一个队列从一个状态开始;每年,一些患者病情进展,一些患者病情改善,一些患者死亡。跟踪每个状态的成本和健康(QALYs);累加 10-30 年。输出:总成本和 QALYs,从而能够进行成本效益计算。马尔可夫模型之所以优雅,是因为它能够以计算上可行的方式处理疾病的异质性路径(一些患者康复,一些患者进展,一些患者复发)和长远的时间跨度。
历史学
Beck 和 Pauker(1983)在其关于 HIV 预后的开创性论文中将马尔可夫模型引入医学决策分析,展示了状态转换模型如何预测长期结果。Sonnenberg 和 Beck(1993)提供了构建和验证马尔可夫模型的实用指南。到 21 世纪初,马尔可夫模型成为 HTA 申报的标准;TreeAge Pro(商业软件)和 Microsoft Excel(易于获取)等工具使其得到广泛应用。21 世纪 10 年代,批评主要集中在其局限性(无记忆性假设、校准困难),这促使了离散事件模拟(个体层面跟踪)和用于参数估计的机器学习方法的发展。如今,马尔可夫模型在 HTA 领域仍然占主导地位;它们通常是首选方法,对于复杂情况则使用微观模拟。
何时使用
当健康干预措施影响疾病在数年或数十年内的进展,且试验数据未能覆盖全部时间范围时。马尔可夫模型适用于:慢性病管理(糖尿病、高血压、HIV、癌症);长期预防(他汀类药物、疫苗);涉及耐用性问题的器械(植入物、心脏起搏器);任何需要超出试验持续时间进行外推的干预措施。大多数卫生技术评估(HTA)申报(NICE、CADTH、HAS)的强制要求。不适用于:结局窗口期短的急性干预措施(一次性手术);患者数量少的罕见病(数据稀疏);试验已覆盖终生的情况(不常见)。
局限与注意事项
- 马尔可夫的无记忆性假设:未来的转换仅取决于当前状态,而不取决于疾病史。如果例如患者的预后取决于在先前状态下花费的时间(例如,缓解时间长度预测复发风险),则此假设被违反。替代方法:“隧道状态”(例如,缓解 1 年,缓解 >1 年)来近似历史依赖性,但这会增加复杂性。
- 状态定义需要临床判断:如果状态过于宽泛(例如,“轻度疾病”对“重度疾病”),转换将是异质且不精确的。过多的状态(例如,CD4 以 50 个细胞为增量)会增加模型复杂性而没有提高精度。
- 转换概率通常不确定或借用:如果试验仅随访了 5 年但模型运行 20 年,则后期转换概率被外推或假定为恒定(缺乏证据支持)。转换的微小变化会随着时间累积(参数不确定性)。
- 不捕捉个体差异:马尔可夫模型是队列模型(平均路径);离散事件模拟(替代方法)跟踪个体患者轨迹,但更复杂。
- 周期长度选择是任意的:年度周期是标准,但疾病进展可能更快(需要季度、月度周期)或更慢(五年周期可接受)。更短的周期会增加精度,但也会增加计算量和不确定性。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 整合疾病自然史与干预效果:可以模拟药物如何改变疾病进展率,从而在试验持续时间之外进行现实的长期成本效益估算。
- 明确且透明:状态、转换概率、成本、效用均可见且可审计;审阅者可以批评假设。
- 灵活:可适应复杂的疾病路径(缓解、复发、治疗转换)、多种干预措施、患者异质性(亚组分析)。
- 计算效率高:马尔可夫模型在现代硬件上运行只需几秒钟;与微观模拟相比,能够快速进行敏感性和场景分析。
应用
- HIV 治疗指南:马尔可夫模型预测 CD4 引导起始治疗与立即治疗或不同方案相比的 20 年 QALYs 和成本;指导何时开始治疗以及使用何种药物。
- 癌症筛查:马尔可夫模型模拟从正常 → 癌前病变 → 癌症 → 转移 → 死亡的疾病进展;计算不同筛查间隔(每年一次 vs 每三年一次乳腺 X 线摄影)的成本效益。
- 心血管药物:他汀类药物可降低心血管事件;马尔可夫模型预测不同患者亚组(年龄、基线胆固醇、合并症)的 10 年风险降低;指导治疗阈值。
- 器械经济学:人工关节置换模型模拟从健康关节 → 骨关节炎进展 → 终生多次置换的转换;计算与保守治疗相比的长期成本效益。
- 疫苗政策:乙肝疫苗模型跟踪从出生到成年的队列;计算预防的感染、避免的并发症、终生 QALYs;指导是否将其纳入儿童计划或青少年补种。
使用方式
使用方式
步骤 1:定义健康状态。例如,HIV 的状态可以包括:CD4 <50(艾滋病)、CD4 50-200(严重免疫抑制)、CD4 200-500(中度)、CD4 >500(轻度)、病毒载量检测不到(已治疗)、死亡。这些状态应具有临床和经济意义(不同的治疗选择、成本或预后)。步骤 2:指定转换。每年(周期),患者可以:保持在当前状态,进入更健康的状况(例如,通过治疗 CD4 恢复),进入更差的状况(疾病进展),或死亡。转换概率 = 每次转换的观察到或模拟到的可能性,来源于:(a)随机对照试验(RCT)随访数据:如果试验显示 CD4 <50 的患者每年死亡率为 10%,则 P(CD4<50 → 死亡) = 0.10;(b)文献(已发表的队列研究);(c)临床专业知识和校准。步骤 3:分配特定于状态的效用(生活质量权重,0-1 量表,1 = 完美健康)。CD4 <50 的效用可能为 0.6(与艾滋病相关的症状、不确定性);CD4 >500 的治疗状态效用可能为 0.95(接近正常健康)。步骤 4:分配每个周期的特定于状态的成本:药物成本、监测(实验室、门诊)、住院/并发症(如果适用)。步骤 5:在软件(Excel 表格、TreeAge Pro、R、Python)中构建模型,表示状态和转换矩阵。步骤 6:与已发表数据进行验证:运行基线场景(标准护理),并将 10 年结果与已发表的队列数据进行比较(校准);如有必要进行调整。
公式
Define health states relevant to disease (e.g., disease-free, localized disease, metastatic disease, dead). Specify transition probabilities between states per time cycle (annual, monthly). Assign costs and quality-of-life weights (utilities) to each state. Populate model with baseline parameters from clinical trials, epidemiological data, literature.
马尔可夫轨迹计算:模拟一个基线队列(例如,1000 名患者,全部处于 CD4 200-500 状态)。第 1 年,应用转换概率:如果 P(CD4 200-500 → CD4 >500) = 0.30,P(CD4 200-500 → CD4 50-200) = 0.15,P(CD4 200-500 → 死亡) = 0.05,则:第 1 年分布:500 人保持在 CD4 200-500 状态,300 人进入 CD4 >500 状态,150 人进入 CD4 50-200 状态,50 人死亡。第 2 年,将转换概率应用于第 1 年的分布;每年重复此过程,直到所有人都死亡或达到时间范围。计算每个周期的成本和 QALYs:第 t 年成本 = Σ(处于状态 s 的队列人数)×(状态 s 的单位成本);第 t 年 QALYs = Σ(处于状态 s 的队列人数)×(状态 s 的效用)。对未来成本/QALYs 进行年化 3% 的贴现:现值 = 第 t 年的价值 / (1.03)^t。总成本/QALY = 折现后年价值的总和。示例:第 1 年成本 = 500×$2,000(CD4 200-500 成本)+ 300×$1,500(CD4 >500 成本)+ 150×$5,000(CD4 50-200 成本)+ 0(死亡)= $2.05M。折现到现值:第 1 年现值 = $2.05M / 1.03 = $1.99M。10 年后:累积现值成本(干预措施)= $15M,累积现值 QALY(干预措施)= 6.5 QALYs。对照组(标准疗法)产生 5.0 QALYs,成本 $12M。增量成本效益比(ICER)= ($15M - $12M) / (6.5 - 5.0) = $3M / 1.5 = $2M/QALY。
公式
Simulate cohort through Markov states over time cycles (discrete time steps). At each cycle, apply transition probabilities; cohort redistributes across states. Accumulate costs and QALYs per cycle, discounted. Total cost and QALY = sum across all cycles until all cohort members dead or time horizon reached.
马尔可夫模型得出的 ICER 指导报销:如果 NICE 的阈值为 £20,000/QALY(约合 25,000 美元),而 ICER = $2M/QALY,则该药物显然不具有成本效益。如果 ICER = $18,000/QALY,则可接受。敏感性分析至关重要:(1)确定性分析:一次改变一个参数(例如,死亡率±20%,转换概率±10%)并重新计算 ICER;龙卷风图显示哪些参数对结果影响最大。(2)概率性分析:为所有不确定参数分配概率分布;从分布中随机抽取样本,运行 1,000-10,000 次模拟;输出可能的 ICER 云和可接受性曲线(在不同支付意愿阈值下干预措施具有成本效益的概率)。如果可接受性曲线显示在 £20,000/QALY 下具有 80% 的成本效益概率,则 ICER 是稳健的;如果为 40%,则高度不确定性需要谨慎。亚组分析:分别为年轻患者与年长患者、初治患者与经治患者、CD4 基线高与低者运行单独的模型;确定干预措施成本效益最高/最低的群体。结果为有条件的建议提供依据:“为初治患者提供该药物(ICER $15K),但不为经治患者提供(ICER $40K)。”
公式
Compare total cost and QALYs for intervention vs comparator. Calculate ICER = (Cost_intervention − Cost_comparator) / (QALY_intervention − QALY_comparator). Conduct sensitivity analysis: vary transition probabilities, costs, utilities, time horizon, discount rate to assess robustness. Subgroup analysis to identify differential cost-effectiveness by patient characteristics. Report acceptability curve to show probability cost-effective at range of WTP thresholds.
常见陷阱
- 假设转换概率随时间恒定:如果疾病早期的患者进展方式与 10 年后的患者不同,恒定概率是错误的。如果证据支持,则使用时间依赖性转换概率(需要模型复杂性)。
- 忽略隧道状态以捕捉历史:如果患者的预后取决于他们在当前状态下停留的时间(例如,CD4 恢复的“轨迹”),则忽略这一点,转换将产生偏差。隧道状态(CD4 恢复 <1 年 vs ≥1 年)是一种解决方法。
- 过度参数化:包含过多的状态和转换会膨胀模型;参数不确定性爆炸。倾向于使用简洁模型(必需的最少状态);仅在临床上合理时才增加复杂性。
- 忽略校准:模型得出的结果应与同一人群在相同治疗下的已发表数据相匹配。如果马尔可夫模型预测的 10 年生存率为 60%,但已发表的队列研究显示为 50%,则模型校准错误,结果不可靠。务必校准基线场景。
- 假设试验得出的转换适用于真实世界患者:RCT 通常招募比真实世界更年轻、更健康、依从性更好的患者。来自 RCT 的转换概率可能不具有普遍性;与真实世界队列进行外部验证很重要。
常见问题
马尔可夫模型与决策树有何区别?
决策树在决策点(例如,治疗与不治疗)分支,并显示即时结果(试验终点)。马尔可夫模型模拟在多个周期中通过状态的进展,捕捉多年来的疾病自然史。决策树处理短期、一次性决策;马尔可夫模型处理具有持续转换的慢性病。两者经常结合使用:决策树确定基线/治疗分配;然后马尔可夫模型模拟后续进展。
如果试验数据不完整,如何校准转换概率?
方法:(1)已发表文献:搜索报告相同患者人群、相同疾病状态转换率的队列研究。(2)荟萃分析:如果有多个小型研究,则汇总数据以估计转换概率。(3)专家意见:如果数据缺失,召集临床医生估计转换(最不严谨)。(4)校准:使用估计的转换运行模型;将 5 年结果与已发表的试验数据进行比较;调整转换直到模型与试验匹配(逆向工程)。敏感性分析应反映转换中的不确定性。
马尔可夫模型是否应包含所有临床相关的健康状态?
不,只应包含对成本或结局有实质性影响的状态。例如,区分 CD4 100-150 和 CD4 50-100 在临床上很重要(不同的治疗毒性、死亡风险),因此应包含两者。区分 CD4 501-520 和 CD4 521-540 可能无关紧要;合并为 CD4 >500。经验法则:如果状态变化会改变临床管理或成本超过 10%,则应包含它。
周期长度和贴现之间有什么关系?
周期长度(年度、季度、月度)决定了转换发生的频率以及成本/QALYs 的累积时间。更短的周期(月度)会提高准确性,但也会增加计算时间。贴现应用于每个周期的成本/QALYs:年化 3% 的贴现意味着第 2 年的价值 × 1/1.03,第 3 年 × 1/1.03² 等。如果使用季度周期,则调整贴现率:季度 ≈ 3%^(1/4) ≈ 0.74% 每季度。标准:年度周期,年度 3% 贴现。
什么是“隧道状态”?何时需要它?
隧道状态捕捉患者在当前状态下停留的时间长度,这违反了无记忆性假设。例如,“近期恢复”的 CD4(抗逆转录病毒治疗 <1 年)比“稳定”的 CD4(治疗 >1 年)有更高的免疫重建炎症综合征(IRIS)风险。创建两个状态:CD4 >500(IRIS 风险)和 CD4 >500(稳定);一年后在它们之间转换。隧道状态会增加模型复杂性,但在历史很重要时可以提高准确性。
如何在马尔可夫模型中纳入依从性?
选项 1:使用 ITT(意向性治疗)分析中的真实世界试验数据,该分析包含实际的依从性。选项 2:创建单独的状态(依从性 vs. 非依从性)并模拟转换(依从性滑坡、重新参与)。选项 3:在模型中降低疗效以反映人群依从性(例如,如果试验显示依从性为 80%,则疗效假定为试验疗效的 70%)。敏感性分析应探讨依从性假设的影响。
相关方法
参考文献
Beck, J. R., & Pauker, S. G. (1983). The Markov Process in Medical Prognosis. Medical Decision Making, 3(4), 419-458.
打开 DOI 文献已复制。Sonnenberg, F. A., & Beck, J. R. (1993). Markov Models in Medical Decision Making: A Practical Guide. Medical Decision Making, 13(4), 322-338.
打开 DOI 文献已复制。Drummond, M. F., Sculpher, M. J., Claxton, K., Stoddart, G. L., & Torrance, G. W. (2015). Methods for the Economic Evaluation of Health Care Programmes (4th ed.). Oxford: Oxford University Press.
打开出版物文献已复制。