Модель Марковских цепей в экономике здравоохранения
- Автор метода
- Beck & Pauker (medical decision analysis, Massachusetts General Hospital)
- Год
- 1983
- Тип
- Method
- Семейство
- decision modeling framework
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Модель Маркова — это инструмент принятия решений, который моделирует прогрессирование заболевания через определенные состояния здоровья с течением времени, рассчитывая совокупные затраты и годы жизни с поправкой на качество (QALY) для проведения анализа экономической эффективности.
Разработанные Beck и Pauker в 1983 году, модели Маркова в настоящее время являются стандартной основой для прогнозирования долгосрочных результатов медицинских вмешательств, особенно при хронических заболеваниях, когда пациенты переходят между клиническими состояниями (ответ на лечение, прогрессирование заболевания, ремиссия, смерть). Используются органами оценки медицинских технологий и фармацевтическими компаниями для прогнозирования ценности вмешательств за пределами продолжительности испытаний.
Интуиция метода
Рандомизированные испытания обычно отслеживают пациентов в течение 2–5 лет. Но политика здравоохранения требует знать: сэкономит ли этот препарат деньги и улучшит ли здоровье в течение 10 лет или всей жизни? Модели Маркова экстраполируют результаты испытаний вперед. Основная идея: пациенты занимают различные состояния здоровья (категории количества CD4 при ВИЧ, стадии рака, классы NYHA при сердечных заболеваниях) и переходят между состояниями с определенными вероятностями каждый год. Когорта начинается в одном состоянии; каждый год некоторые прогрессируют до более тяжелого заболевания, некоторые улучшаются, некоторые умирают. Отслеживаются затраты и здоровье (QALY) в каждом состоянии; суммируются за 10–30 лет. Результат: общие затраты и QALY, позволяющие рассчитать экономическую эффективность. Марковская модель элегантна, поскольку она обрабатывает гетерогенные пути развития заболевания (некоторые пациенты выздоравливают, некоторые прогрессируют, некоторые рецидивируют) и длительные временные горизонты вычислительно управляемым способом.
История
Beck и Pauker (1983) ввели модели Маркова в анализ медицинских решений в своей основополагающей статье о прогнозе ВИЧ, показав, как модели перехода состояний могут прогнозировать долгосрочные результаты. Sonnenberg и Beck (1993) предоставили практическое руководство по построению и валидации моделей Маркова. К 2000-м годам модели Маркова стали стандартом в заявках на HTA; такие инструменты, как TreeAge Pro (коммерческий) и Microsoft Excel (доступный), способствовали их широкому распространению. Критика в 2010-х годах была сосредоточена на ограничениях (предположение об отсутствии памяти, трудности калибровки), что стимулировало разработку дискретного моделирования событий (отслеживание на индивидуальном уровне) и подходов машинного обучения для оценки параметров. Сегодня модели Маркова остаются доминирующими в HTA; они часто являются первоначальным подходом, а микросимуляция используется для сложных случаев.
Когда применять
Когда медицинское вмешательство влияет на прогрессирование заболевания в течение лет или десятилетий, а данные испытаний не охватывают полный временной горизонт. Модели Маркова являются стандартом для: лечения хронических заболеваний (диабет, гипертония, ВИЧ, рак); долгосрочной профилактики (статины, вакцины); устройств с вопросами долговечности (имплантаты, кардиологические устройства); любого вмешательства, требующего экстраполяции за пределы продолжительности испытаний. Обязательны в большинстве заявок на HTA (NICE, CADTH, HAS). Не требуются для: острых вмешательств (однократная операция) с коротким окном результатов; редких заболеваний с небольшим количеством пациентов (мало данных); ситуаций, когда испытания уже охватывают всю жизнь (редко).
Ограничения и замечания
- Марковское предположение об отсутствии памяти: будущие переходы зависят только от текущего состояния, а не от истории болезни. Это нарушается, если, например, прогноз пациента зависит от времени, проведенного в предыдущем состоянии (например, продолжительность ремиссии предсказывает риск рецидива). Альтернатива: «туннельные состояния» (например, ремиссия 1 год, ремиссия >1 год) для аппроксимации зависимости от истории, но это увеличивает сложность.
- Определение состояния требует клинического суждения: Если состояния слишком широки (например, «легкое заболевание» против «тяжелого заболевания»), переходы становятся неоднородными и неточными. Слишком много состояний (например, CD4 с шагом в 50 клеток) увеличивает сложность модели без повышения точности.
- Вероятности перехода часто неопределенны или заимствованы: Если испытание длилось всего 5 лет, а модель работает 20 лет, вероятности перехода за более поздние периоды экстраполируются или предполагаются постоянными (не основаны на фактических данных). Небольшие изменения в переходах накапливаются со временем (неопределенность параметров).
- Не учитывает индивидуальную вариабельность: Марковская модель — это когортная модель (средние пути); дискретное событие симуляции (альтернатива) отслеживает траектории отдельных пациентов, но является более сложным.
- Выбор длины цикла произволен: годовые циклы являются стандартными, но прогрессирование заболевания может быть быстрее (требуются квартальные, ежемесячные циклы) или медленнее (допустимы 5-летние циклы). Более короткие циклы увеличивают точность, но также вычисления и неопределенность.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Интегрирует естественную историю заболевания с эффектами вмешательства: может моделировать, как лекарства изменяют скорость прогрессирования, обеспечивая реалистичные долгосрочные оценки экономической эффективности за пределами продолжительности испытаний.
- Явные и прозрачные: состояния, вероятности перехода, затраты, утилиты видны и поддаются аудиту; рецензенты могут критиковать предположения.
- Гибкие: могут учитывать сложные пути развития заболевания (ремиссия, рецидив, смена лечения), множественные вмешательства, гетерогенность пациентов (анализ подгрупп).
- Вычислительно эффективные: модели Маркова работают за секунды на современном оборудовании; позволяют быстро проводить анализ чувствительности и сценариев, в отличие от микросимуляции.
Применение
- Рекомендации по лечению ВИЧ: Модель Маркова прогнозирует QALY и затраты за 20 лет для начала лечения по показаниям CD4 по сравнению с немедленным лечением или различными схемами; помогает определить, когда начинать лечение и какие препараты использовать.
- Скрининг рака: Модель Маркова моделирует прогрессирование заболевания от нормального состояния → предраковое состояние → рак → метастазы → смерть; рассчитывает экономическую эффективность различных интервалов скрининга (ежегодная или трехлетняя маммография).
- Сердечно-сосудистые препараты: Терапия статинами снижает сердечно-сосудистые события; модель Маркова прогнозирует снижение риска за 10 лет в различных подгруппах пациентов (возраст, исходный уровень холестерина, сопутствующие заболевания); информирует о пороге лечения.
- Экономика устройств: Модель замены искусственного сустава моделирует переход от здорового сустава → прогрессирование остеоартрита → множественные замены в течение жизни; рассчитывает долгосрочную экономическую эффективность по сравнению с консервативным лечением.
- Политика вакцинации: Модель вакцины против гепатита B отслеживает когорту от рождения до взрослой жизни; рассчитывает предотвращенные инфекции, предотвращенные осложнения, пожизненные QALY; информирует, следует ли включать ее в график детских прививок или проводить наверстывающую вакцинацию подростков.
Как это работает
Как это работает
Шаг 1: Определите состояния здоровья. Пример для ВИЧ: CD4 <50 (СПИД), CD4 50–200 (тяжелая иммуносупрессия), CD4 200–500 (умеренная), CD4 >500 (легкая), неопределяемая вирусная нагрузка (лечение), смерть. Они должны быть клинически и экономически значимыми (различные варианты лечения, затраты или прогноз для каждого состояния). Шаг 2: Укажите переходы. Каждый год (цикл) пациенты могут: оставаться в текущем состоянии, переходить к лучшему здоровью (например, восстановление CD4 на терапии), переходить к худшему здоровью (прогрессирование заболевания) или умирать. Вероятности перехода = наблюдаемая или смоделированная вероятность каждого перехода, полученная из: (a) данных последующего наблюдения в РКИ: если испытание показывает, что 10% пациентов с CD4 <50 умирают в год, P(CD4<50 → смерть) = 0.10; (b) литературы (опубликованные когорты); (c) клинического опыта и калибровки. Шаг 3: Назначьте специфичные для состояния утилиты (веса качества жизни, шкала от 0 до 1, где 1 = идеальное здоровье). CD4 <50 может иметь утилиту 0.6 (симптомы, связанные со СПИДом, неопределенность); CD4 >500 на терапии может иметь утилиту 0.95 (здоровье, близкое к нормальному). Шаг 4: Назначьте специфичные для состояния затраты за цикл: затраты на лекарства, мониторинг (лабораторные анализы, визиты к врачу), госпитализация/осложнения, если применимо. Шаг 5: Постройте модель в программном обеспечении (электронная таблица Excel, TreeAge Pro, R, Python), представляющую состояния и матрицу переходов. Шаг 6: Проверьте соответствие опубликованным данным: запустите базовый сценарий (стандартное лечение) и сравните 10-летние результаты с опубликованными данными когорты (калибровка); при необходимости внесите коррективы.
Формула
Define health states relevant to disease (e.g., disease-free, localized disease, metastatic disease, dead). Specify transition probabilities between states per time cycle (annual, monthly). Assign costs and quality-of-life weights (utilities) to each state. Populate model with baseline parameters from clinical trials, epidemiological data, literature.
Расчет траектории Маркова: смоделируйте когорту из 1000 пациентов в начале (например, все в состоянии CD4 200–500). К Году 1 примените вероятности перехода: если P(CD4 200–500 → CD4 >500) = 0.30, P(CD4 200–500 → CD4 50–200) = 0.15, P(CD4 200–500 → смерть) = 0.05, то: распределение Года 1: 500 остаются в CD4 200–500, 300 переходят в CD4 >500, 150 переходят в CD4 50–200, 50 умирают. К Году 2 примените вероятности перехода к распределению Года 1; повторите для каждого года, пока все не умрут или не будет достигнут временной горизонт. Для каждого цикла рассчитайте затраты и QALY: затраты Года t = Σ(когорта в состоянии s) × (затраты на состояние s); QALY Года t = Σ(когорта в состоянии s) × (утилита состояния s). Дисконтируйте будущие затраты/QALY со ставкой 3% ежегодно: PV = значение в Году t / (1.03)^t. Общие затраты/QALY = сумма дисконтированных годовых значений. Пример: затраты Года 1 = 500×$2000 (затраты на CD4 200–500) + 300×$1500 (затраты на CD4 >500) + 150×$5000 (затраты на CD4 50–200) + 0 (смерть) = $2.05 млн. Дисконтирование к настоящему моменту: PV Года 1 = $2.05 млн / 1.03 = $1.99 млн. Через 10 лет: совокупные дисконтированные затраты (вмешательство) = $15 млн, совокупные дисконтированные QALY (вмешательство) = 6.5 QALY. Сравнительный анализ (стандартная терапия) дает 5.0 QALY, затраты $12 млн. ICER = ($15 млн − $12 млн) / (6.5 − 5.0) = $3 млн / 1.5 = $2 млн за QALY.
Формула
Simulate cohort through Markov states over time cycles (discrete time steps). At each cycle, apply transition probabilities; cohort redistributes across states. Accumulate costs and QALYs per cycle, discounted. Total cost and QALY = sum across all cycles until all cohort members dead or time horizon reached.
ICER из модели Маркова определяет возмещение: если порог NICE составляет £20 000/QALY (примерно $25 000 USD), а ICER = $2 млн за QALY, этот препарат явно не является экономически эффективным. Если ICER = $18 000/QALY, он приемлем. Анализ чувствительности имеет решающее значение: (1) Детерминированный: варьируйте один параметр за раз (например, уровень смертности ±20%, вероятности перехода ±10%) и пересчитайте ICER; диаграмма торнадо показывает, какие параметры наиболее влияют на результат. (2) Вероятностный: назначьте распределения вероятностей всем неопределенным параметрам; выполните 1000–10 000 симуляций со случайными выборками из распределений; выведите облако возможных ICER и кривую приемлемости (вероятность того, что вмешательство экономически эффективно при различных пороговых значениях WTP). Если кривая приемлемости показывает 80% вероятность экономической эффективности при £20 000/QALY, ICER является надежным; если 40%, высокая неопределенность требует осторожности. Анализ подгрупп: запустите отдельные модели для более молодых и пожилых пациентов, ранее не получавших лечения и получавших его, с высоким и низким исходным уровнем CD4; определите группы, для которых вмешательство наиболее/наименее экономически эффективно. Результаты информируют условные рекомендации: «Финансировать этот препарат для пациентов, ранее не получавших лечения (ICER $15 тыс.), но не для пациентов, получавших лечение (ICER $40 тыс.).»
Формула
Compare total cost and QALYs for intervention vs comparator. Calculate ICER = (Cost_intervention − Cost_comparator) / (QALY_intervention − QALY_comparator). Conduct sensitivity analysis: vary transition probabilities, costs, utilities, time horizon, discount rate to assess robustness. Subgroup analysis to identify differential cost-effectiveness by patient characteristics. Report acceptability curve to show probability cost-effective at range of WTP thresholds.
Частые ошибки
- Предположение о постоянстве вероятностей перехода с течением времени: Если пациенты в начале заболевания прогрессируют иначе, чем через 10 лет, постоянные вероятности неверны. Используйте зависящие от времени вероятности перехода, если данные это подтверждают (требует сложности модели).
- Игнорирование туннельных состояний для учета истории: Если прогноз пациента зависит от того, как долго он находился в текущем состоянии (например, «траектория» восстановления CD4), игнорируйте это, и переходы будут предвзятыми. Туннельные состояния (восстановление CD4 <1 года против ≥1 года) являются обходным путем.
- Чрезмерная параметризация: Включение слишком большого количества состояний и переходов раздувает модель; неопределенность параметров взрывообразно растет. Предпочтительны экономные модели (минимально необходимые состояния); сложность добавляется только при клиническом обосновании.
- Игнорирование калибровки: Результаты, полученные моделью, должны соответствовать опубликованным данным для той же популяции при том же лечении. Если 10-летняя выживаемость, предсказанная Марковым, составляет 60%, а опубликованная когорта показывает 50%, модель неправильно откалибрована, и результаты ненадежны. Всегда калибруйте базовый сценарий.
- Предположение, что переходы, полученные в ходе испытаний, применимы к пациентам в реальном мире: РКИ часто включают более молодых, здоровых и более приверженных пациентов, чем в реальном мире. Вероятности перехода из РКИ могут не обобщаться; внешняя валидация на когортах реального мира важна.
Часто задаваемые вопросы
В чем разница между моделью Маркова и деревом решений?
Деревья решений разветвляются в точках принятия решений (например, лечить или не лечить) и показывают немедленные результаты (конечные точки испытаний). Модели Маркова моделируют прогрессирование через состояния в течение многих циклов, учитывая естественную историю заболевания на протяжении многих лет. Деревья решений обрабатывают краткосрочные, однократные решения; модели Маркова обрабатывают хронические заболевания с постоянными переходами. Часто комбинируются: дерево решений определяет базовое назначение/назначение лечения; затем модель Маркова моделирует прогрессирование после этого.
Как калибруются вероятности перехода, если данные испытаний неполны?
Методы: (1) Опубликованная литература: поиск когортных исследований, сообщающих о частоте переходов для той же популяции пациентов, тех же состояний заболевания. (2) Мета-анализ: если доступно несколько небольших исследований, объедините данные для оценки вероятности перехода. (3) Мнение экспертов: соберите клиницистов для оценки переходов при отсутствии данных (наименее строгий метод). (4) Калибровка: запустите модель с оцененными переходами; сравните 5-летние результаты с опубликованными данными испытаний; скорректируйте переходы до тех пор, пока модель не совпадет с испытанием (обратное проектирование). Анализ чувствительности должен отражать неопределенность в переходах.
Должны ли модели Маркова включать все клинически значимые состояния здоровья?
Нет, включайте только состояния, которые существенно влияют на затраты или результаты. Пример: различение CD4 100–150 от CD4 50–100 клинически важно (различная токсичность лечения, риск смертности), поэтому включите оба. Различение CD4 501–520 от CD4 521–540, вероятно, несущественно; объедините в CD4 >500. Практическое правило: если изменение состояния повлияет на клиническое управление или затраты более чем на 10%, включите его.
Как связаны длина цикла и дисконтирование?
Длина цикла (годовая, квартальная, ежемесячная) определяет, как часто происходят переходы и когда начисляются затраты/QALY. Более короткие циклы (ежемесячные) повышают точность, но увеличивают время вычислений. Дисконтирование применяется к затратам/QALY каждого цикла: годовая скидка в 3% означает, что значение Года 2 × 1/1.03, Года 3 × 1/1.03², и т. д. При использовании квартальных циклов скорректируйте ставку дисконтирования: квартальная = 3%^(1/4) ≈ 0.74% за квартал. Стандарт: годовые циклы с годовой скидкой 3%.
Что такое «туннельное состояние» и когда оно необходимо?
Туннельное состояние учитывает, как долго пациент находился в текущем состоянии, нарушая предположение об отсутствии памяти. Пример: CD4 «недавно восстановленный» (на антиретровирусной терапии <1 года) имеет более высокий риск синдрома восстановления иммунитета (IRIS), чем CD4 «стабильный» (на терапии >1 года). Создайте два состояния: CD4 >500 (риск IRIS) и CD4 >500 (стабильный); переход между ними через 1 год. Туннельные состояния увеличивают сложность модели, но повышают точность, когда история имеет значение.
Как учитывается соблюдение режима/приверженность в моделях Маркова?
Вариант 1: Используйте данные реальных испытаний из анализа ITT (намерение лечить), который включает фактическую приверженность. Вариант 2: Создайте отдельные состояния (приверженный и неприверженный) и моделируйте переходы (срывы приверженности, повторное вовлечение). Вариант 3: Снизьте эффективность в модели, чтобы отразить приверженность на уровне популяции (например, если испытание показало 80% приверженность, а эффективность предполагается как 70% от эффективности испытания). Анализ чувствительности должен исследовать влияние предположений о приверженности.
Похожие методы
Источники
Beck, J. R., & Pauker, S. G. (1983). The Markov Process in Medical Prognosis. Medical Decision Making, 3(4), 419-458.
Открыть ссылку DOIСкопировано.Sonnenberg, F. A., & Beck, J. R. (1993). Markov Models in Medical Decision Making: A Practical Guide. Medical Decision Making, 13(4), 322-338.
Открыть ссылку DOIСкопировано.Drummond, M. F., Sculpher, M. J., Claxton, K., Stoddart, G. L., & Torrance, G. W. (2015). Methods for the Economic Evaluation of Health Care Programmes (4th ed.). Oxford: Oxford University Press.
Открыть ссылку на публикациюСкопировано.