Model stochastyczny Markowa — symulacja probabilistycznych przejść stanów z propagacją niepewności
- Autor metody
- Markov, A. A. (probabilistic extension developed by Sonnenberg & Beck and others)
- Rok
- 1993
- Typ
- Probabilistic state-transition model with Monte Carlo uncertainty propagation
- Rodzina
- Simulation / optimization
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Model stochastyczny Markowa to technika symulacyjna, która przedstawia system jako zbiór wzajemnie wykluczających się stanów zdrowia lub decyzji, przesuwa kohortę (lub indywidualnych agentów) przez te stany przy użyciu probabilistycznie próbkowanych parametrów przejścia i agreguje wyniki w tysiącach iteracji Monte Carlo, aby uzyskać pełne rozkłady prawdopodobieństwa kosztów, wyników lub rankingów, zamiast pojedynczych wartości punktowych.
Intuicja stojąca za metodą
Wyobraźmy sobie śledzenie populacji przez stadia choroby — zdrowy, chory, wyleczony, zmarły — przez wiele rocznych cykli. W deterministycznym modelu Markowa ustalamy prawdopodobieństwa przejścia i otrzymujemy jedną trajektorię. Wersja stochastyczna uwzględnia, że same te prawdopodobieństwa są niepewne: pochodzą z badań z ograniczonymi próbkami. Poprzez losowanie nowych macierzy przejścia z ich rozkładów a posteriori w każdej iteracji Monte Carlo, model propaguje tę niepewność parametrów aż do końcowych wyników, generując przedziały ufności zamiast fałszywej precyzji.
Historia
Łańcuchy Markowa zostały sformalizowane przez Andrieja Markowa w 1906 roku. Ich zastosowanie do analizy decyzji medycznych zostało systematycznie wprowadzone przez Sonnenberga i Becka (1993), którzy przedstawili praktyczne wskazówki dla ekonomistów ochrony zdrowia. Rozszerzenia probabilistyczne — losowanie parametrów przejścia z rozkładów w iteracjach Monte Carlo — stały się standardową praktyką w latach 90.–2000., skodyfikowane w wytycznych organów takich jak NICE i w podręcznikach Briggsa, Sculphera i Claxtona (2006). Obecnie stochastyczny model Markowa jest dominującym narzędziem do analizy wrażliwości probabilistycznej w ocenie technologii medycznych.
Kiedy stosować
Użyj modelu stochastycznego Markowa, gdy podejmowanie decyzji obejmuje dyskretne stany, powtarzające się zdarzenia przejścia w wielu okresach czasowych i niepewność parametrów, którą należy formalnie propagować do wyników — najczęściej w ocenie technologii medycznych, farmakoekonomii i ocenie polityki, gdzie niepewność prawdopodobieństw przejścia i wypłat jest znacząca. Jest to standardowe podejście, gdy organy regulacyjne lub oceniające technologie medyczne (NICE, CADTH itp.) wymagają analizy wrażliwości probabilistycznej. NIE używaj go, gdy system ma ciągłe przestrzenie stanów lepiej obsługiwane przez równania różniczkowe, gdy założenie Markowa (brak pamięci) jest nieprawdopodobne i historia wyraźnie ma znaczenie, ale nie może być uchwycona przez rozszerzenie stanów, gdy horyzont analizy jest pojedynczym okresem, lub gdy dane są zbyt skąpe, aby uzasadnić określenie rozkładów parametrów (w takim przypadku bardziej odpowiednia może być deterministyczna analiza wrażliwości jednokierunkowej).
Ograniczenia i uwagi
- Założenie Markowa (brak pamięci) — że przyszłe przejścia zależą tylko od obecnego stanu, a nie od historii — jest często naruszane w praktyce; obejścia za pomocą stanów tunelowych zwiększają złożoność modelu.
- Określenie wiarygodnych rozkładów prawdopodobieństwa dla wszystkich parametrów wymaga dobrej jakości dowodów; źle określone priory propagują źle skalibrowaną niepewność.
- Koszt obliczeniowy rośnie wraz z liczbą stanów, cykli i iteracji Monte Carlo; bardzo duże modele mogą wymagać znacznego czasu pracy lub zasobów obliczeniowych równoległych.
- Sama struktura modelu (które stany uwzględnić, długość cyklu) jest zazwyczaj ustalona i nie podlega niepewności probabilistycznej, co może być głównym źródłem niekwantyfikowanej niepewności strukturalnej.
- Wyniki są wrażliwe na wybór rozkładów i ich korelacji; ignorowanie korelacji między parametrami (np. kosztów i użyteczności) może nie docenić lub przeszacować całkowitą wariancję.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wyraźnie kwantyfikuje niepewność parametrów i dostarcza przedziały ufności zamiast oszacowań punktowych, wspierając przejrzyste podejmowanie decyzji w warunkach niepewności.
- Probabilistyczne wyniki (np. krzywe akceptowalności efektywności kosztowej) bezpośrednio informują analizy wartości informacji i decyzje dotyczące alokacji budżetu.
- Struktura przejścia stanów jest zrozumiała dla interesariuszy niebędących ekspertami, a logika modelu może być audytowana cykl po cyklu.
- Naturalnie uwzględnia wiele jednocześnie niepewnych parametrów bez konieczności ręcznego konstruowania scenariuszy.
- Szeroko akceptowany przez organy oceniające technologie medyczne (NICE, CADTH, PBAC) jako standard analizy wrażliwości probabilistycznej w ocenach ekonomicznych.
- Rozszerzalny: mikrosymulacja na poziomie indywidualnym i warianty niestacjonarne w czasie mogą uwzględniać heterogeniczność pacjentów i przejścia zależne od czasu w tej samej ramie.
Zastosowania
- Analiza efektywności kosztowej nowych farmaceutyków lub urządzeń medycznych wymagająca analizy wrażliwości probabilistycznej do zgłoszeń HTA.
- Modelowanie progresji choroby w onkologii, chorobach układu krążenia i epidemiologii chorób zakaźnych.
- Prognozowanie długoterminowych wyników chorób przewlekłych, takich jak cukrzyca czy HIV, gdzie pacjenci przechodzą przez wiele stanów zdrowia przez lata.
- Zgłoszenia do oceny technologii medycznych do organów regulacyjnych (NICE, CADTH, EMA) wymagające raportowania niepewności probabilistycznej.
- Ocena polityki porównująca programy przesiewowe lub prewencyjne, gdzie przedziały ufności kosztu na QALY informują o alokacji budżetu.
- Modelowanie ryzyka infrastruktury lub projektów, gdzie aktywa przechodzą przez stany warunkowe (dobre, zniszczone, uszkodzone) z niepewnymi wskaźnikami przejścia.
Jak to działa
Jak to działa
Zdefiniuj przestrzeń stanów: wymień wszystkie wzajemnie wykluczające się, zbiorczo wyczerpujące stany, które może zajmować modelowany podmiot (np. stadia choroby, poziomy zasobów, fazy projektu). Określ długość cyklu czasowego i maksymalną liczbę cykli (horyzont czasowy). Każdy stan wiąże się z przypisanymi wypłatami — kosztami, użytecznościami lub innymi metrykami wyników — które również mogą być niepewne.
Dla każdego prawdopodobieństwa przejścia i każdego parametru wypłaty określ rozkład prawdopodobieństwa odzwierciedlający niepewność pochodzącą z bazy dowodowej. Prawdopodobieństwa przejścia są zazwyczaj losowane z rozkładu Dirichleta (zapewniającego, że sumują się do 1 dla każdego stanu początkowego); koszty z rozkładów gamma lub log-normalnych; użyteczności z rozkładów beta ograniczonych do [0, 1]. Ten krok koduje pełną strukturę niepewności parametrów.
Wylosuj jeden kompletny zestaw parametrów modelu ze wszystkich określonych rozkładów — stanowi to jedną iterację Monte Carlo. Pełny wektor parametrów obejmuje całą macierz przejścia, wszystkie koszty specyficzne dla stanu i wszystkie użyteczności. Próbkowanie jest zazwyczaj wykonywane przy użyciu próbkowania typu Latin hypercube lub prostego próbkowania losowego, z zalecaną liczbą N ≥ 1000 iteracji dla stabilnych przedziałów ufności.
Przeprowadź śledzenie kohorty Markowa dla wylosowanego zestawu parametrów: mnoż przez początkowy rozkład kohorty macierz przejścia wielokrotnie dla każdego cyklu, aż do osiągnięcia horyzontu czasowego. Zapisz proporcję kohorty w każdym stanie w każdym cyklu. Oblicz całkowite oczekiwane koszty i wyniki, mnożąc zajętość stanów przez wylosowane wypłaty i sumując we wszystkich cyklach, stosując odpowiednie dyskontowanie.
Powtórz kroki 3–4 dla wszystkich N iteracji. Generuje to N replikacji każdego zagregowanego wyniku (np. całkowity koszt, lata życia skorygowane jakościowo). Zbiór N wartości dla każdego wyjścia tworzy empiryczny rozkład próbkowania, który bezpośrednio odzwierciedla niepewność modelu.
Podsumuj wyniki między iteracjami: podaj średnią (lub medianę) i 95% przedział ufności dla każdego wyjścia. Skonstruuj krzywe akceptowalności efektywności kosztowej (CEAC) lub wskaźniki akceptowalności rankingu, jeśli porównujesz alternatywy. Zidentyfikuj, które parametry napędzają największą wariancję, używając wykresów rozrzutu analizy wrażliwości probabilistycznej (PSA) lub metryk oczekiwanej wartości doskonałej informacji (EVPI).
Częste pułapki
- Traktowanie liczby iteracji Monte Carlo jako nieistotnej: mniej niż 1000 iteracji często daje niestabilne przedziały ufności, szczególnie na ogonach; zawsze raportuj diagnostykę zbieżności.
- Ignorowanie korelacji parametrów podczas próbkowania: niezależne próbkowanie skorelowanych parametrów (np. prawdopodobieństw przejścia z oddzielnych rozkładów Beta zamiast wspólnego Dirichleta) zwiększa pozorną niepewność i może naruszać ograniczenie, że prawdopodobieństwa z danego stanu sumują się do jedności.
- Mylenie niepewności stochastycznej (pierwszego rzędu, zmienności wewnątrz iteracji między symulowanymi osobami) z niepewnością parametrów (drugiego rzędu, między iteracjami Monte Carlo); wymagają one innego traktowania w modelach kohortowych i indywidualnych.
- Nadmierna interpretacja szerokości przedziałów ufności jako oceny jakości modelu, a nie uczciwego odzwierciedlenia niedostatku danych.
- Niewłaściwe walidowanie deterministycznego przypadku bazowego przed wprowadzeniem warstw stochastycznych — błędy w podstawowym modelu są wzmacniane, a nie ujawniane, przez probabilistyczne opakowanie.
Najczęściej zadawane pytania
Jaka jest różnica między stochastycznym a deterministycznym modelem Markowa?
Deterministyczny model Markowa wykorzystuje ustalone oszacowania punktowe dla wszystkich prawdopodobieństw przejścia i wypłat, generując pojedynczą wartość wyniku. Stochastyczny model Markowa losuje te parametry z rozkładów prawdopodobieństwa w każdej iteracji Monte Carlo, generując rozkład wyników odzwierciedlający niepewność parametrów. Oba wykorzystują te same mechanizmy śledzenia kohorty; różni się tylko traktowanie parametrów.
Ile iteracji Monte Carlo jest wystarczające?
Często zaleca się minimum 1000 iteracji; 10 000 jest typowe dla stabilnych przedziałów ufności i krzywych akceptowalności efektywności kosztowej. Należy zweryfikować zbieżność wizualnie (wykresy średniej kroczącej) lub za pomocą formalnych diagnostyk.
Kiedy założenie Markowa zawodzi i jak można sobie z tym poradzić?
Założenie Markowa zawodzi, gdy prawdopodobieństwo przejścia ze stanu zależy od tego, jak długo pacjent w nim przebywał (np. zwiększone ryzyko śmiertelności wraz z czasem trwania choroby). Standardowym rozwiązaniem jest wprowadzenie stanów tunelowych, które jawnie śledzą czas spędzony w stanie, kosztem większej przestrzeni stanów. Alternatywnie, mikrosymulacja na poziomie indywidualnym może bezpośrednio śledzić historię każdego pacjenta.
Czy stochastyczny model Markowa może uwzględniać heterogeniczność indywidualną?
Standardowe stochastyczne modele Markowa na poziomie kohorty uwzględniają jedynie niepewność parametrów między iteracjami, a nie zmienność na poziomie indywidualnym. Aby uwzględnić heterogeniczność pacjentów (różne ryzyko bazowe, choroby współistniejące), model musi zostać rozszerzony do mikrosymulacji na poziomie indywidualnym, w której każdy symulowany pacjent jest śledzony oddzielnie przez przestrzeń stanów.
Czym stochastyczny model Markowa różni się od symulacji zdarzeń dyskretnych?
W modelu Markowa czas postępuje w ustalonych cyklach, a wszystkie zdarzenia są sterowane przez stałe prawdopodobieństwa przejścia na cykl. Modele symulacji zdarzeń dyskretnych śledzą indywidualne jednostki, których zdarzenia występują w ciągłych momentach losowanych z dowolnych rozkładów, co pozwala na bardziej elastyczne przedstawienie kolejek, ograniczeń zasobów i zmiennych w czasie wskaźników. Modele Markowa są prostsze w budowie i walidacji; DES jest bardziej elastyczny, ale trudniejszy do sparametryzowania.
Pokrewne metody
Źródła
Sonnenberg, F. A., & Beck, J. R. (1993). Markov models in medical decision making: A practical guide. Medical Decision Making, 13(4), 322–338.
Otwórz odnośnik DOISkopiowano.Briggs, A., Sculpher, M., & Claxton, K. (2006). Decision Modelling for Health Economic Evaluation. Oxford University Press.
ISBN: 9780198526629Skopiowano.