Skip to content
Voltar aos resultados

Modelo de Markov Estocástico — Simulação Probabilística de Transição de Estados com Propagação de Incerteza

Proposto por
Markov, A. A. (probabilistic extension developed by Sonnenberg & Beck and others)
Ano
1993
Tipo
Probabilistic state-transition model with Monte Carlo uncertainty propagation
Família
Simulation / optimization

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Um Modelo de Markov Estocástico é uma técnica de simulação que representa um sistema como um conjunto de estados de saúde ou decisão mutuamente exclusivos, move uma coorte (ou agentes individuais) através desses estados usando parâmetros de transição amostrados probabilisticamente e agrega resultados a partir de milhares de iterações de Monte Carlo para produzir distribuições de probabilidade completas sobre custos, resultados ou classificações, em vez de estimativas pontuais únicas.

A intuição por trás do método

Imagine rastrear uma população através de estágios de doença — saudável, doente, recuperado, falecido — ao longo de muitos ciclos anuais. Em um modelo de Markov determinístico, você fixa as probabilidades de transição e obtém uma trajetória. A versão estocástica reconhece que essas probabilidades são elas mesmas incertas: elas vêm de estudos com amostras finitas. Ao extrair novas matrizes de transição de suas distribuições posteriores em cada iteração de Monte Carlo, o modelo propaga essa incerteza de parâmetro até os resultados finais, gerando intervalos de credibilidade em vez de falsa precisão.

História

As cadeias de Markov foram formalizadas por Andrei Markov em 1906. Sua aplicação à análise de decisão médica foi sistematicamente introduzida por Sonnenberg e Beck (1993), que forneceram orientação prática para economistas da saúde. Extensões probabilísticas — extraindo parâmetros de transição de distribuições em iterações de Monte Carlo — tornaram-se prática padrão nos anos 1990-2000, codificadas em diretrizes de órgãos como o NICE e em livros didáticos de Briggs, Sculpher e Claxton (2006). Hoje, o modelo de Markov estocástico é a ferramenta dominante para análise de sensibilidade probabilística em avaliação de tecnologia em saúde.

Quando usar

Use um Modelo de Markov Estocástico quando a tomada de decisão envolve estados discretos, eventos de transição recorrentes ao longo de múltiplos períodos de tempo e incerteza de parâmetro que deve ser formalmente propagada para as saídas — mais comumente em avaliação de tecnologia em saúde, farmacoeconomia e avaliação de políticas, onde a incerteza nas probabilidades de transição e nos pagamentos é substancial. É a abordagem padrão quando órgãos reguladores ou de HTA (NICE, CADTH, etc.) exigem análise de sensibilidade probabilística. NÃO o use quando o sistema tiver espaços de estados contínuos melhor tratados por equações diferenciais, quando a suposição de Markov (falta de memória) for implausível e o histórico claramente importar sem ser capturável por expansão de estado, quando o horizonte de análise for um único período, ou quando os dados forem muito esparsos para justificar a especificação de distribuições de parâmetros (nesse caso, uma análise de sensibilidade determinística unidirecional pode ser mais apropriada).

Limitações e considerações

  • A suposição de Markov (falta de memória) — que as transições futuras dependem apenas do estado atual, não do histórico — é frequentemente violada na prática; contornos via estados túnel adicionam complexidade ao modelo.
  • A especificação de distribuições de probabilidade credíveis para todos os parâmetros requer evidências de boa qualidade; priors mal especificados propagam incerteza mal calibrada.
  • O custo computacional cresce com o número de estados, ciclos e iterações de Monte Carlo; modelos muito grandes podem exigir tempo de execução significativo ou recursos de computação paralela.
  • A própria estrutura do modelo (quais estados incluir, comprimento do ciclo) é tipicamente fixa e não sujeita a incerteza probabilística, o que pode ser uma fonte importante de incerteza estrutural não quantificada.
  • Os resultados são sensíveis à escolha das distribuições e suas correlações; ignorar a correlação entre parâmetros (por exemplo, custos e utilidades) pode subestimar ou superestimar a variância total.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Quantifica explicitamente a incerteza de parâmetro e entrega intervalos de credibilidade em vez de estimativas pontuais, apoiando a tomada de decisão transparente sob incerteza.
  • A saída probabilística (por exemplo, curvas de aceitabilidade de custo-efetividade) informa diretamente análises de valor da informação e decisões de alocação de orçamento.
  • A estrutura de transição de estado é interpretável para partes interessadas não técnicas, e a lógica do modelo pode ser auditada ciclo a ciclo.
  • Acomoda naturalmente múltiplos parâmetros simultaneamente incertos sem exigir a construção manual de cenários.
  • Amplamente aceito por órgãos de avaliação de tecnologia em saúde (NICE, CADTH, PBAC) como o padrão para análise de sensibilidade probabilística em avaliações econômicas.
  • Extensível: microssimulação em nível individual e variantes não homogêneas no tempo podem incorporar heterogeneidade do paciente e transições variáveis no tempo dentro do mesmo framework.

Aplicações

  • Análise de custo-efetividade de novos produtos farmacêuticos ou dispositivos médicos que exigem análise de sensibilidade probabilística para submissões de HTA.
  • Modelagem de progressão de doenças em oncologia, doenças cardiovasculares e epidemiologia de doenças infecciosas.
  • Projeção de resultados a longo prazo para condições crônicas como diabetes ou HIV, onde os pacientes transitam por múltiplos estados de saúde ao longo de anos.
  • Submissões de avaliação de tecnologia em saúde a órgãos reguladores (NICE, CADTH, EMA) que exigem relatórios de incerteza probabilística.
  • Avaliação de políticas comparando programas de rastreamento ou prevenção, onde os intervalos de credibilidade de custo por QALY informam a alocação de orçamento.
  • Modelagem de risco de infraestrutura ou projetos onde os ativos transitam por estados de condição (bom, deteriorado, falhado) com taxas de transição incertas.

Como funciona

Como funciona

1

Defina o espaço de estados: enumere todos os estados mutuamente exclusivos e coletivamente exaustivos que a entidade modelada pode ocupar (por exemplo, estágios da doença, níveis de recursos, fases do projeto). Especifique o comprimento do ciclo de tempo e o número máximo de ciclos (horizonte de tempo). Cada estado carrega pagamentos associados — custos, utilidades ou outras métricas de resultado — que também podem ser incertos.

2

Para cada probabilidade de transição e cada parâmetro de pagamento, especifique uma distribuição de probabilidade refletindo a incerteza derivada da base de evidências. As probabilidades de transição são tipicamente extraídas de uma distribuição de Dirichlet (garantindo que somem 1 por estado de origem); custos de distribuições gama ou log-normal; utilidades de distribuições beta limitadas em [0, 1]. Esta etapa codifica a estrutura completa da incerteza de parâmetro.

3

Extraia um conjunto completo de parâmetros do modelo de todas as distribuições especificadas — isso constitui uma iteração de Monte Carlo. Um vetor de parâmetros completo inclui uma matriz de transição inteira, todos os custos específicos do estado e todas as utilidades. A amostragem é tipicamente realizada usando amostragem de hipercubo latino ou amostragem aleatória simples, com N ≥ 1000 iterações recomendadas para intervalos de credibilidade estáveis.

4

Execute o rastreamento da coorte de Markov para o conjunto de parâmetros amostrados: multiplique a distribuição inicial da coorte pela matriz de transição repetidamente para cada ciclo até que o horizonte de tempo seja alcançado. Registre a proporção da coorte em cada estado em cada ciclo. Calcule os custos e resultados totais esperados multiplicando as ocupações de estado pelos pagamentos amostrados e somando todos os ciclos, aplicando o desconto conforme apropriado.

5

Repita os passos 3-4 para todas as N iterações. Isso produz N réplicas de cada resultado agregado (por exemplo, custo total, anos de vida ajustados pela qualidade). A coleção de N valores para cada saída forma uma distribuição de amostragem empírica que reflete diretamente a incerteza do modelo.

6

Resuma os resultados entre as iterações: relate a média (ou mediana) e o intervalo de credibilidade de 95% para cada saída. Construa curvas de aceitabilidade de custo-efetividade (CEACs) ou índices de aceitabilidade de classificação se estiver comparando alternativas. Identifique quais parâmetros impulsionam a maior variância usando gráficos de dispersão de análise de sensibilidade probabilística (PSA) ou métricas de valor esperado de informação perfeita (EVPI).

Erros comuns

  • Tratar a contagem de iterações de Monte Carlo como sem importância: menos de 1000 iterações frequentemente produzem intervalos de credibilidade instáveis, particularmente nas caudas; sempre relate diagnósticos de convergência.
  • Ignorar correlações de parâmetros ao amostrar: amostrar independentemente parâmetros correlacionados (por exemplo, probabilidades de transição de distribuições Beta separadas em vez de uma Dirichlet conjunta) infla a incerteza aparente e pode violar a restrição de que as probabilidades de um determinado estado somam um.
  • Confundir incerteza estocástica (variabilidade de primeira ordem, dentro da iteração entre indivíduos simulados) com incerteza de parâmetro (segunda ordem, entre iterações de Monte Carlo); estes requerem tratamento diferente em modelos de coorte versus em nível individual.
  • Superinterpretar a largura dos intervalos de credibilidade como um veredito sobre a qualidade do modelo em vez de um reflexo honesto da escassez de dados.
  • Falha em validar o caso base determinístico antes de introduzir camadas estocásticas — erros no modelo central são amplificados, não revelados, pelo encapsulamento probabilístico.

Perguntas frequentes

Qual é a diferença entre um modelo de Markov estocástico e um determinístico?

Um modelo de Markov determinístico usa estimativas pontuais fixas para todas as probabilidades de transição e pagamentos, produzindo um único valor de resultado. Um modelo de Markov estocástico amostra esses parâmetros de distribuições de probabilidade em cada iteração de Monte Carlo, produzindo uma distribuição de resultados que reflete a incerteza de parâmetro. Ambos usam a mesma mecânica de rastreamento de coorte; apenas o tratamento de parâmetro difere.

Quantas iterações de Monte Carlo são suficientes?

Um mínimo de 1000 iterações é comumente recomendado; 10.000 é típico para intervalos de credibilidade estáveis e curvas de aceitabilidade de custo-efetividade. A convergência deve ser verificada visualmente (gráficos de média móvel) ou com diagnósticos formais. Modelos com muitos parâmetros correlacionados ou eventos raros podem exigir mais iterações.

Quando a suposição de Markov falha e como ela pode ser abordada?

A suposição de Markov falha quando a probabilidade de transição para fora de um estado depende de quanto tempo um paciente está nele (por exemplo, aumento do risco de mortalidade com a duração da doença). A solução padrão é introduzir estados túnel que rastreiam o tempo no estado explicitamente, ao custo de um espaço de estados maior. Alternativamente, a microssimulação em nível individual pode rastrear o histórico de cada paciente diretamente.

Um modelo de Markov estocástico pode lidar com heterogeneidade individual?

Modelos de Markov estocásticos de coorte padrão capturam apenas a incerteza de parâmetro entre iterações, não a variabilidade em nível individual. Para incorporar heterogeneidade do paciente (diferentes riscos de base, comorbidades), o modelo deve ser estendido para uma microssimulação em nível individual onde cada paciente simulado é rastreado separadamente através do espaço de estados.

Como um modelo de Markov estocástico difere de uma simulação de eventos discretos?

Em um modelo de Markov, o tempo avança em ciclos fixos e todos os eventos são regidos por probabilidades de transição por ciclo constantes. Modelos de simulação de eventos discretos rastreiam entidades individuais cujos eventos ocorrem em tempos contínuos extraídos de distribuições arbitrárias, permitindo uma representação mais flexível de filas, restrições de recursos e taxas variáveis no tempo. Modelos de Markov são mais simples de construir e validar; DES é mais flexível, mas mais difícil de parametrizar.

Métodos relacionados

Fontes

  1. Sonnenberg, F. A., & Beck, J. R. (1993). Markov models in medical decision making: A practical guide. Medical Decision Making, 13(4), 322–338.

    Abrir referência DOI
    Copiado.
  2. Briggs, A., Sculpher, M., & Claxton, K. (2006). Decision Modelling for Health Economic Evaluation. Oxford University Press.

    ISBN: 9780198526629
    Copiado.