Стохастическая марковская модель — имитационное моделирование переходов между состояниями с учетом вероятностной неопределенности.
- Автор метода
- Markov, A. A. (probabilistic extension developed by Sonnenberg & Beck and others)
- Год
- 1993
- Тип
- Probabilistic state-transition model with Monte Carlo uncertainty propagation
- Семейство
- Simulation / optimization
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Стохастическая марковская модель — это метод имитационного моделирования, который представляет систему как набор взаимоисключающих состояний здоровья или решений.
Модель перемещает когорту (или отдельных агентов) между этими состояниями, используя вероятностно выбранные параметры переходов, и агрегирует результаты по тысячам итераций Монте-Карло для получения полных распределений вероятностей по затратам, исходам или ранжированию, а не единичных точечных оценок.
Интуиция метода
Представьте отслеживание популяции по стадиям заболевания — здоровая, больная, выздоровевшая, умершая — в течение многих годовых циклов. В детерминированной марковской модели вы фиксируете вероятности переходов и получаете одну траекторию. Стохастическая версия признает, что сами эти вероятности неопределенны: они получены из исследований с конечной выборкой. Путем выборки новых матриц переходов из их апостериорных распределений в каждой итерации Монте-Карло модель распространяет эту неопределенность параметров вплоть до конечных выходных данных, выдавая доверительные интервалы вместо ложной точности.
История
Марковские цепи были формализованы Андреем Марковым в 1906 году. Их применение к анализу медицинских решений было систематически введено Зонненбергом и Беком (1993), которые предоставили практические рекомендации для медицинских экономистов. Вероятностные расширения — выборка параметров переходов из распределений в итерациях Монте-Карло — стали стандартной практикой в 1990-х–2000-х годах, кодифицированы в руководствах таких органов, как NICE, и в учебниках Бриггса, Скулфера и Клэкстона (2006). Сегодня стохастическая марковская модель является доминирующим инструментом для анализа вероятностной чувствительности в оценке медицинских технологий.
Когда применять
Используйте стохастическую марковскую модель, когда принятие решений включает дискретные состояния, повторяющиеся переходные события в течение нескольких периодов времени и неопределенность параметров, которую необходимо формально распространить на выходные данные — чаще всего в оценке медицинских технологий, фармакоэкономике и оценке политики, где неопределенность вероятностей переходов и выплат существенна. Это стандартный подход, когда регулирующие органы или органы оценки медицинских технологий (NICE, CADTH и т. д.) требуют анализа вероятностной чувствительности. НЕ используйте ее, когда система имеет непрерывные пространства состояний, лучше обрабатываемые дифференциальными уравнениями, когда марковское предположение (отсутствие памяти) неправдоподобно и история явно имеет значение, не будучи улавливаемой расширением состояний, когда горизонт анализа составляет один период, или когда данных слишком мало, чтобы оправдать указание распределений параметров (в этом случае может быть более подходящим детерминированный однофакторный анализ чувствительности).
Ограничения и замечания
- Марковское предположение (отсутствие памяти) — что будущие переходы зависят только от текущего состояния, а не от истории — часто нарушается на практике; обходные пути через туннельные состояния усложняют модель.
- Указание достоверных распределений вероятностей для всех параметров требует качественных доказательств; плохо заданные априорные значения распространяют плохо откалиброванную неопределенность.
- Вычислительная стоимость растет с увеличением числа состояний, циклов и итераций Монте-Карло; очень большие модели могут потребовать значительного времени выполнения или ресурсов параллельных вычислений.
- Сама структура модели (какие состояния включать, длина цикла) обычно фиксирована и не подвержена вероятностной неопределенности, что может быть основным источником неквантифицированной структурной неопределенности.
- Результаты чувствительны к выбору распределений и их корреляций; игнорирование корреляции между параметрами (например, затрат и полезностей) может недооценить или переоценить общую дисперсию.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Явно количественно определяет неопределенность параметров и предоставляет доверительные интервалы вместо точечных оценок, поддерживая прозрачное принятие решений в условиях неопределенности.
- Вероятностный выход (например, кривые приемлемости экономической эффективности) напрямую информирует анализ ценности информации и решения о распределении бюджета.
- Структура переходов между состояниями интерпретируема для нетехнических заинтересованных сторон, а логика модели может быть проверена цикл за циклом.
- Естественно вмещает несколько одновременно неопределенных параметров без необходимости ручного построения сценариев.
- Широко признана органами оценки медицинских технологий (NICE, CADTH, PBAC) как стандарт для анализа вероятностной чувствительности в экономических оценках.
- Расширяемость: микромоделирование на индивидуальном уровне и варианты с нестационарными временами могут включать гетерогенность пациентов и изменяющиеся во времени переходы в рамках одной и той же структуры.
Применение
- Анализ экономической эффективности новых фармацевтических препаратов или медицинских устройств, требующий анализа вероятностной чувствительности для подачи заявок на оценку медицинских технологий.
- Моделирование прогрессирования заболеваний в онкологии, сердечно-сосудистых заболеваниях и эпидемиологии инфекционных болезней.
- Долгосрочное прогнозирование исходов при хронических заболеваниях, таких как диабет или ВИЧ, где пациенты проходят через несколько состояний здоровья в течение многих лет.
- Подача заявок на оценку медицинских технологий в регулирующие органы (NICE, CADTH, EMA), которые предписывают отчетность о вероятностной неопределенности.
- Оценка политики путем сравнения программ скрининга или профилактики, где доверительные интервалы стоимости на QALY информируют о распределении бюджета.
- Моделирование рисков в инфраструктуре или проектах, где активы переходят через состояния (хорошее, ухудшенное, неисправное) с неопределенными скоростями перехода.
Как это работает
Как это работает
Определите пространство состояний: перечислите все взаимоисключающие, совместно исчерпывающие состояния, которые может занимать моделируемый объект (например, стадии заболевания, уровни ресурсов, фазы проекта). Укажите длину временного цикла и максимальное количество циклов (временной горизонт). Каждое состояние несет связанные с ним выплаты — затраты, полезности или другие метрики исходов, которые также могут быть неопределенными.
Для каждой вероятности перехода и каждого параметра выплаты укажите распределение вероятностей, отражающее неопределенность, полученную из базы доказательств. Вероятности переходов обычно выбираются из распределения Дирихле (гарантируя, что они в сумме дают 1 для каждого исходного состояния); затраты — из гамма- или логнормального распределений; полезности — из бета-распределений, ограниченных интервалом [0, 1]. Этот шаг кодирует полную структуру неопределенности параметров.
Выберите один полный набор параметров модели из всех указанных распределений — это составляет одну итерацию Монте-Карло. Полный вектор параметров включает всю матрицу переходов, все затраты, специфичные для состояния, и все полезности. Выборка обычно выполняется с использованием латинского гиперкубического или простого случайного отбора, при этом рекомендуется N ≥ 1000 итераций для стабильных доверительных интервалов.
Выполните трассировку когорты по Маркову для выбранного набора параметров: многократно умножьте начальное распределение когорты на матрицу переходов для каждого цикла до достижения временного горизонта. Запишите долю когорты в каждом состоянии на каждом цикле. Вычислите общие ожидаемые затраты и исходы, умножив занятость состояний на выбранные выплаты и суммируя по всем циклам, применяя дисконтирование по мере необходимости.
Повторите шаги 3–4 для всех N итераций. Это дает N репликаций каждого агрегированного исхода (например, общие затраты, качественные годы жизни). Коллекция N значений для каждого выходного параметра формирует эмпирическое выборочное распределение, которое напрямую отражает неопределенность модели.
Суммируйте результаты по итерациям: сообщите среднее (или медиану) и 95% доверительный интервал для каждого выходного параметра. Постройте кривые приемлемости экономической эффективности (CEAC) или индексы приемлемости ранжирования, если сравниваются альтернативы. Определите, какие параметры вносят наибольший вклад в дисперсию, используя диаграммы рассеяния анализа вероятностной чувствительности (PSA) или метрики ожидаемой стоимости совершенной информации (EVPI).
Частые ошибки
- Рассмотрение количества итераций Монте-Карло как несущественного: менее 1000 итераций часто дает нестабильные доверительные интервалы, особенно на хвостах; всегда сообщайте диагностику сходимости.
- Игнорирование корреляций параметров при выборке: независимая выборка коррелированных параметров (например, вероятностей переходов из отдельных бета-распределений вместо совместного Дирихле) увеличивает кажущуюся неопределенность и может нарушить ограничение, что вероятности из данного состояния в сумме дают единицу.
- Смешение стохастической неопределенности (первого порядка, вариабельность внутри итерации между смоделированными индивидами) с неопределенностью параметров (второго порядка, между итерациями Монте-Карло); эти два типа требуют разного подхода в когортных и индивидуальных моделях.
- Чрезмерная интерпретация ширины доверительных интервалов как вердикта о качестве модели, а не как честного отражения скудости данных.
- Неспособность проверить детерминированный базовый случай перед введением стохастических слоев — ошибки в основной модели усиливаются, а не выявляются, при вероятностном обертывании.
Часто задаваемые вопросы
В чем разница между стохастической и детерминированной марковской моделью?
Детерминированная марковская модель использует фиксированные точечные оценки для всех вероятностей переходов и выплат, производя одно значение исхода. Стохастическая марковская модель выбирает эти параметры из распределений вероятностей в каждой итерации Монте-Карло, производя распределение исходов, отражающее неопределенность параметров. Обе используют одинаковую механику трассировки когорты; различается только обработка параметров.
Сколько итераций Монте-Карло достаточно?
Обычно рекомендуется минимум 1000 итераций; 10 000 типичны для стабильных доверительных интервалов и кривых приемлемости экономической эффективности. Сходимость следует проверять визуально (графики скользящего среднего) или с помощью формальной диагностики. Модели с множеством коррелированных параметров или редкими событиями могут потребовать больше итераций.
Когда марковское предположение нарушается и как его можно исправить?
Марковское предположение нарушается, когда вероятность перехода из состояния зависит от того, как долго пациент в нем находился (например, увеличение риска смертности с продолжительностью заболевания). Стандартное исправление — введение туннельных состояний, которые явно отслеживают время пребывания в состоянии, ценой увеличения пространства состояний. Альтернативно, микромоделирование на индивидуальном уровне может напрямую отслеживать историю каждого пациента.
Может ли стохастическая марковская модель учитывать индивидуальную гетерогенность?
Стандартные стохастические марковские модели на уровне когорты учитывают только неопределенность параметров между итерациями, а не вариабельность на индивидуальном уровне. Для учета гетерогенности пациентов (различные исходные риски, сопутствующие заболевания) модель должна быть расширена до микромоделирования на индивидуальном уровне, где каждый смоделированный пациент отслеживается отдельно по пространству состояний.
Чем стохастическая марковская модель отличается от имитационного моделирования дискретных событий?
В марковской модели время продвигается фиксированными циклами, и все события управляются постоянными вероятностями переходов за цикл. Модели имитационного моделирования дискретных событий отслеживают отдельных агентов, события которых происходят в непрерывное время, выбранное из произвольных распределений, что позволяет более гибко представлять очереди, ограничения ресурсов и изменяющиеся во времени ставки. Марковские модели проще в построении и проверке; DES более гибок, но его сложнее параметризовать.
Похожие методы
Источники
Sonnenberg, F. A., & Beck, J. R. (1993). Markov models in medical decision making: A practical guide. Medical Decision Making, 13(4), 322–338.
Открыть ссылку DOIСкопировано.Briggs, A., Sculpher, M., & Claxton, K. (2006). Decision Modelling for Health Economic Evaluation. Oxford University Press.
ISBN: 9780198526629Скопировано.