Modelo de Markov estocástico — Simulación probabilística de transición de estados con propagación de incertidumbre
- Propuesto por
- Markov, A. A. (probabilistic extension developed by Sonnenberg & Beck and others)
- Año
- 1993
- Tipo
- Probabilistic state-transition model with Monte Carlo uncertainty propagation
- Familia
- Simulation / optimization
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Un Modelo de Markov estocástico es una técnica de simulación que representa un sistema como un conjunto de estados de salud o decisión mutuamente excluyentes, mueve una cohorte (o agentes individuales) a través de esos estados utilizando parámetros de transición muestreados probabilísticamente, y agrega resultados a través de miles de iteraciones de Monte Carlo para producir distribuciones de probabilidad completas sobre costos, resultados o clasificaciones en lugar de estimaciones puntuales.
La intuición detrás del método
Imagine rastrear una población a través de etapas de la enfermedad — sana, enferma, recuperada, muerta — durante muchos ciclos anuales. En un modelo de Markov determinista, usted fija las probabilidades de transición y obtiene una trayectoria. La versión estocástica reconoce que esas probabilidades son en sí mismas inciertas: provienen de estudios con muestras finitas. Al extraer nuevas matrices de transición de sus distribuciones posteriores en cada iteración de Monte Carlo, el modelo propaga esa incertidumbre de parámetros hasta los resultados finales, produciendo intervalos de credibilidad en lugar de una falsa precisión.
Historia
Las cadenas de Markov fueron formalizadas por Andrei Markov en 1906. Su aplicación al análisis de decisiones médicas fue introducida sistemáticamente por Sonnenberg y Beck (1993), quienes proporcionaron orientación práctica para economistas de la salud. Las extensiones probabilísticas — extracción de parámetros de transición de distribuciones a través de iteraciones de Monte Carlo — se convirtieron en práctica estándar durante las décadas de 1990-2000, codificadas en guías de organismos como NICE y en libros de texto de Briggs, Sculpher y Claxton (2006). Hoy en día, el modelo de Markov estocástico es la herramienta dominante para el análisis de sensibilidad probabilístico en la evaluación de tecnologías sanitarias.
Cuándo usarlo
Utilice un Modelo de Markov estocástico cuando la toma de decisiones involucre estados discretos, eventos de transición recurrentes en múltiples períodos de tiempo e incertidumbre de parámetros que debe propagarse formalmente a los resultados — más comúnmente en la evaluación de tecnologías sanitarias, la farmacoeconomía y la evaluación de políticas donde la incertidumbre en las probabilidades de transición y los pagos es sustancial. Es el enfoque estándar cuando los organismos reguladores o de evaluación de tecnologías sanitarias (NICE, CADTH, etc.) requieren análisis de sensibilidad probabilístico. NO lo utilice cuando el sistema tiene espacios de estados continuos mejor manejados por ecuaciones diferenciales, cuando la suposición de Markov (ausencia de memoria) es implausible y el historial claramente importa sin poder ser capturado mediante la expansión de estados, cuando el horizonte de análisis es un solo período, o cuando los datos son demasiado escasos para justificar la especificación de distribuciones de parámetros (en ese caso, un análisis de sensibilidad univariante determinista puede ser más apropiado).
Limitaciones y consideraciones
- La suposición de Markov (ausencia de memoria) — que las transiciones futuras dependen solo del estado actual, no del historial — a menudo se viola en la práctica; las soluciones alternativas a través de estados túnel añaden complejidad al modelo.
- La especificación de distribuciones de probabilidad creíbles para todos los parámetros requiere evidencia de buena calidad; los priors mal especificados propagan incertidumbre mal calibrada.
- El costo computacional crece con el número de estados, ciclos e iteraciones de Monte Carlo; modelos muy grandes pueden requerir un tiempo de ejecución significativo o recursos de computación paralela.
- La estructura del modelo en sí (qué estados incluir, longitud del ciclo) generalmente se fija y no está sujeta a incertidumbre probabilística, lo que puede ser una fuente importante de incertidumbre estructural no cuantificada.
- Los resultados son sensibles a la elección de las distribuciones y sus correlaciones; ignorar la correlación entre parámetros (p. ej., costos y utilidades) puede subestimar o sobreestimar la varianza total.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Cuantifica explícitamente la incertidumbre de parámetros y entrega intervalos de credibilidad en lugar de estimaciones puntuales, apoyando la toma de decisiones transparente bajo incertidumbre.
- La salida probabilística (p. ej., curvas de aceptabilidad de costo-efectividad) informa directamente los análisis de valor de la información y las decisiones de asignación presupuestaria.
- La estructura de transición de estados es interpretable para partes interesadas no técnicas, y la lógica del modelo puede ser auditada ciclo a ciclo.
- Acomoda naturalmente múltiples parámetros simultáneamente inciertos sin requerir la construcción manual de escenarios.
- Ampliamente aceptado por organismos de evaluación de tecnologías sanitarias (NICE, CADTH, PBAC) como el estándar para el análisis de sensibilidad probabilístico en evaluaciones económicas.
- Extensible: la microsimulación a nivel individual y las variantes no homogéneas en el tiempo pueden incorporar heterogeneidad del paciente y transiciones dependientes del tiempo dentro del mismo marco.
Aplicaciones
- Análisis de costo-efectividad de nuevos productos farmacéuticos o dispositivos médicos que requieren análisis de sensibilidad probabilístico para presentaciones de HTA.
- Modelado de progresión de enfermedades en oncología, enfermedades cardiovasculares y epidemiología de enfermedades infecciosas.
- Proyección de resultados a largo plazo para afecciones crónicas como la diabetes o el VIH, donde los pacientes transitan por múltiples estados de salud a lo largo de los años.
- Presentaciones de evaluación de tecnologías sanitarias a organismos reguladores (NICE, CADTH, EMA) que exigen la notificación de incertidumbre probabilística.
- Evaluación de políticas comparando programas de detección o prevención, donde los intervalos de credibilidad de costo por QALY informan la asignación presupuestaria.
- Modelado de riesgos de infraestructura o proyectos donde los activos transitan por estados de condición (bueno, deteriorado, fallido) con tasas de transición inciertas.
Cómo funciona
Cómo funciona
Defina el espacio de estados: enumere todos los estados mutuamente excluyentes y colectivamente exhaustivos que la entidad modelada puede ocupar (p. ej., etapas de la enfermedad, niveles de recursos, fases de proyectos). Especifique la longitud del ciclo de tiempo y el número máximo de ciclos (horizonte temporal). Cada estado conlleva pagos asociados — costos, utilidades u otras métricas de resultados — que también pueden ser inciertos.
Para cada probabilidad de transición y cada parámetro de pago, especifique una distribución de probabilidad que refleje la incertidumbre derivada de la base de evidencia. Las probabilidades de transición se extraen típicamente de una distribución de Dirichlet (asegurando que sumen 1 por estado de origen); los costos de distribuciones gamma o log-normal; las utilidades de distribuciones beta acotadas en [0, 1]. Este paso codifica la estructura completa de incertidumbre de parámetros.
Extraiga un conjunto completo de parámetros del modelo de todas las distribuciones especificadas — esto constituye una iteración de Monte Carlo. Un vector de parámetros completo incluye una matriz de transición completa, todos los costos específicos del estado y todas las utilidades. El muestreo se realiza típicamente utilizando muestreo de hipercubo latino o muestreo aleatorio simple, y se recomiendan N ≥ 1000 iteraciones para obtener intervalos de credibilidad estables.
Ejecute el rastreo de cohortes de Markov para el conjunto de parámetros muestreados: multiplique la distribución de la cohorte inicial por la matriz de transición repetidamente para cada ciclo hasta que se alcance el horizonte temporal. Registre la proporción de la cohorte en cada estado en cada ciclo. Calcule los costos y resultados esperados totales multiplicando las ocupaciones de estado por los pagos muestreados y sumando en todos los ciclos, aplicando el descuento según corresponda.
Repita los pasos 3-4 para todas las N iteraciones. Esto produce N réplicas de cada resultado agregado (p. ej., costo total, años de vida ajustados por calidad). La colección de N valores para cada salida forma una distribución de muestreo empírica que refleja directamente la incertidumbre del modelo.
Resuma los resultados a través de las iteraciones: informe la media (o mediana) y el intervalo de credibilidad del 95% para cada salida. Construya curvas de aceptabilidad de costo-efectividad (CEAC) o índices de aceptabilidad de clasificación si compara alternativas. Identifique qué parámetros impulsan la mayor varianza utilizando diagramas de dispersión de análisis de sensibilidad probabilístico (PSA) o métricas de valor esperado de información perfecta (EVPI).
Errores comunes
- Tratar el número de iteraciones de Monte Carlo como irrelevante: menos de 1000 iteraciones frecuentemente produce intervalos de credibilidad inestables, particularmente en las colas; siempre informe diagnósticos de convergencia.
- Ignorar las correlaciones de parámetros al muestrear: el muestreo independiente de parámetros correlacionados (p. ej., probabilidades de transición de distribuciones Beta separadas en lugar de una Dirichlet conjunta) infla la incertidumbre aparente y puede violar la restricción de que las probabilidades de un estado dado sumen uno.
- Confundir la incertidumbre estocástica (variabilidad de primer orden, dentro de la iteración entre individuos simulados) con la incertidumbre de parámetros (de segundo orden, entre iteraciones de Monte Carlo); estos requieren un manejo diferente en modelos de cohortes versus modelos a nivel individual.
- Sobreinterpretar el ancho de los intervalos de credibilidad como un veredicto sobre la calidad del modelo en lugar de un reflejo honesto de la escasez de datos.
- No validar el caso base determinista antes de introducir capas estocásticas — los errores en el modelo central se amplifican, no se revelan, al envolverlos probabilísticamente.
Preguntas frecuentes
¿Cuál es la diferencia entre un modelo de Markov estocástico y uno determinista?
Un modelo de Markov determinista utiliza estimaciones puntuales fijas para todas las probabilidades de transición y pagos, produciendo un único valor de resultado. Un modelo de Markov estocástico extrae estos parámetros de distribuciones de probabilidad en cada iteración de Monte Carlo, produciendo una distribución de resultados que refleja la incertidumbre de parámetros. Ambos utilizan la misma mecánica de rastreo de cohortes; solo el tratamiento de parámetros difiere.
¿Cuántas iteraciones de Monte Carlo son suficientes?
Comúnmente se recomienda un mínimo de 1000 iteraciones; 10.000 es típico para intervalos de credibilidad estables y curvas de aceptabilidad de costo-efectividad. La convergencia debe verificarse visualmente (gráficos de medias móviles) o con diagnósticos formales. Los modelos con muchos parámetros correlacionados o eventos raros pueden requerir más iteraciones.
¿Cuándo falla la suposición de Markov y cómo se puede abordar?
La suposición de Markov falla cuando la probabilidad de transitar fuera de un estado depende de cuánto tiempo ha estado un paciente en él (p. ej., aumento del riesgo de mortalidad con la duración de la enfermedad). La solución estándar es introducir estados túnel que rastrean explícitamente el tiempo en el estado, a costa de un espacio de estados más grande. Alternativamente, la microsimulación a nivel individual puede rastrear el historial de cada paciente directamente.
¿Puede un modelo de Markov estocástico manejar la heterogeneidad individual?
Los modelos estándar de Markov estocásticos a nivel de cohorte capturan solo la incertidumbre de parámetros entre iteraciones, no la variabilidad a nivel individual. Para incorporar la heterogeneidad del paciente (diferentes riesgos de base, comorbilidades), el modelo debe extenderse a una microsimulación a nivel individual donde cada paciente simulado es rastreado por separado a través del espacio de estados.
¿En qué se diferencia un modelo de Markov estocástico de una simulación de eventos discretos?
En un modelo de Markov, el tiempo avanza en ciclos fijos y todos los eventos se rigen por probabilidades de transición constantes por ciclo. Los modelos de simulación de eventos discretos modelan entidades individuales cuyos eventos ocurren en tiempos continuos extraídos de distribuciones arbitrarias, lo que permite una representación más flexible de colas, restricciones de recursos y tasas variables en el tiempo. Los modelos de Markov son más simples de construir y validar; la simulación de eventos discretos es más flexible pero más difícil de parametrizar.
Métodos relacionados
Fuentes
Sonnenberg, F. A., & Beck, J. R. (1993). Markov models in medical decision making: A practical guide. Medical Decision Making, 13(4), 322–338.
Abrir referencia DOICopiado.Briggs, A., Sculpher, M., & Claxton, K. (2006). Decision Modelling for Health Economic Evaluation. Oxford University Press.
ISBN: 9780198526629Copiado.