Model Markov Stokastik — Simulasi Transisi Keadaan Probabilistik dengan Propagasi Ketidakpastian
- Diperkenalkan oleh
- Markov, A. A. (probabilistic extension developed by Sonnenberg & Beck and others)
- Tahun
- 1993
- Jenis
- Probabilistic state-transition model with Monte Carlo uncertainty propagation
- Keluarga
- Simulation / optimization
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Model Markov Stokastik adalah teknik simulasi yang merepresentasikan suatu sistem sebagai sekumpulan keadaan kesehatan atau keputusan yang saling eksklusif, memindahkan kohort (atau agen individual) melalui keadaan-keadaan tersebut menggunakan parameter transisi yang disampel secara probabilistik, dan mengagregasi hasil di ribuan iterasi Monte Carlo untuk menghasilkan distribusi probabilitas penuh atas biaya, hasil, atau peringkat, alih-alih estimasi titik tunggal.
Intuisi di balik metode
Bayangkan melacak populasi melalui stadium penyakit — sehat, sakit, sembuh, meninggal — selama banyak siklus tahunan. Dalam model Markov deterministik, Anda menetapkan probabilitas transisi dan mendapatkan satu lintasan. Versi stokastik mengakui bahwa probabilitas tersebut sendiri tidak pasti: mereka berasal dari studi dengan sampel terbatas. Dengan menarik matriks transisi baru dari distribusi posterior mereka di setiap iterasi Monte Carlo, model menyebarkan ketidakpastian parameter tersebut hingga ke hasil akhir, menghasilkan interval kredibel alih-alih presisi palsu.
Sejarah
Rantai Markov diformalkan oleh Andrei Markov pada tahun 1906. Penerapannya pada analisis keputusan medis secara sistematis diperkenalkan oleh Sonnenberg dan Beck (1993), yang memberikan panduan praktis untuk ekonom kesehatan. Perluasan probabilistik — menarik parameter transisi dari distribusi di seluruh iterasi Monte Carlo — menjadi praktik standar melalui tahun 1990-an–2000-an, dikodifikasikan dalam pedoman oleh badan-badan seperti NICE dan dalam buku teks oleh Briggs, Sculpher, dan Claxton (2006). Saat ini model Markov stokastik adalah alat dominan untuk analisis sensitivitas probabilistik dalam penilaian teknologi kesehatan.
Kapan digunakan
Gunakan Model Markov Stokastik ketika pengambilan keputusan melibatkan keadaan diskrit, peristiwa transisi berulang selama beberapa periode waktu, dan ketidakpastian parameter yang harus disebarkan secara formal ke keluaran — paling umum dalam penilaian teknologi kesehatan, farmakoekonomi, dan evaluasi kebijakan di mana ketidakpastian dalam probabilitas transisi dan imbalan cukup besar. Ini adalah pendekatan standar ketika badan pengatur atau HTA (NICE, CADTH, dll.) memerlukan analisis sensitivitas probabilistik. JANGAN gunakan ketika sistem memiliki ruang keadaan kontinu yang lebih baik ditangani oleh persamaan diferensial, ketika asumsi Markov (tanpa memori) tidak masuk akal dan riwayat jelas penting tanpa dapat ditangkap melalui perluasan keadaan, ketika cakrawala analisis adalah satu periode, atau ketika data terlalu jarang untuk membenarkan penentuan distribusi parameter (dalam kasus tersebut analisis sensitivitas satu arah deterministik mungkin lebih tepat).
Batasan dan pertimbangan
- Asumsi Markov (tanpa memori) — bahwa transisi di masa depan hanya bergantung pada keadaan saat ini, bukan riwayat — sering dilanggar dalam praktik; solusi melalui keadaan terowongan menambah kompleksitas model.
- Menentukan distribusi probabilitas kredibel untuk semua parameter memerlukan bukti berkualitas baik; prior yang ditentukan dengan buruk menyebarkan ketidakpastian yang dikalibrasi dengan buruk.
- Biaya komputasi tumbuh dengan jumlah keadaan, siklus, dan iterasi Monte Carlo; model yang sangat besar mungkin memerlukan waktu berjalan yang signifikan atau sumber daya komputasi paralel.
- Struktur model itu sendiri (keadaan mana yang akan dimasukkan, panjang siklus) biasanya tetap dan tidak tunduk pada ketidakpastian probabilistik, yang dapat menjadi sumber utama ketidakpastian struktural yang tidak terkuantifikasi.
- Hasil sensitif terhadap pilihan distribusi dan korelasinya; mengabaikan korelasi antar parameter (misalnya, biaya dan utilitas) dapat meremehkan atau melebihkan varians total.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara eksplisit mengkuantifikasi ketidakpastian parameter dan memberikan interval kredibel alih-alih estimasi titik, mendukung pengambilan keputusan yang transparan di bawah ketidakpastian.
- Keluaran probabilistik (misalnya, kurva penerimaan efektivitas biaya) secara langsung menginformasikan analisis nilai informasi dan keputusan alokasi anggaran.
- Struktur transisi keadaan dapat diinterpretasikan oleh pemangku kepentingan non-teknis, dan logika model dapat diaudit siklus demi siklus.
- Secara alami mengakomodasi beberapa parameter yang tidak pasti secara bersamaan tanpa memerlukan konstruksi skenario manual.
- Diterima secara luas oleh badan penilaian teknologi kesehatan (NICE, CADTH, PBAC) sebagai standar untuk analisis sensitivitas probabilistik dalam evaluasi ekonomi.
- Dapat diperluas: mikrosimulasi tingkat individu dan varian yang tidak homogen waktu dapat menggabungkan heterogenitas pasien dan transisi yang bervariasi waktu dalam kerangka kerja yang sama.
Penerapan
- Analisis efektivitas biaya farmasi baru atau perangkat medis yang memerlukan analisis sensitivitas probabilistik untuk pengajuan HTA.
- Pemodelan progresi penyakit dalam onkologi, penyakit kardiovaskular, dan epidemiologi penyakit menular.
- Proyeksi hasil jangka panjang untuk kondisi kronis seperti diabetes atau HIV, di mana pasien berputar melalui beberapa keadaan kesehatan selama bertahun-tahun.
- Pengajuan penilaian teknologi kesehatan ke badan pengatur (NICE, CADTH, EMA) yang mewajibkan pelaporan ketidakpastian probabilistik.
- Evaluasi kebijakan yang membandingkan program skrining atau pencegahan, di mana interval kredibel biaya-per-QALY menginformasikan alokasi anggaran.
- Pemodelan risiko infrastruktur atau proyek di mana aset bertransisi melalui keadaan kondisi (baik, rusak, gagal) dengan tingkat transisi yang tidak pasti.
Cara kerjanya
Cara kerjanya
Definisikan ruang keadaan: uraikan semua keadaan yang saling eksklusif dan secara kolektif lengkap yang dapat ditempati oleh entitas yang dimodelkan (misalnya, stadium penyakit, tingkat sumber daya, fase proyek). Tentukan panjang siklus waktu dan jumlah maksimum siklus (cakrawala waktu). Setiap keadaan memiliki imbalan terkait — biaya, utilitas, atau metrik hasil lainnya — yang juga bisa tidak pasti.
Untuk setiap probabilitas transisi dan setiap parameter imbalan, tentukan distribusi probabilitas yang mencerminkan ketidakpastian yang berasal dari basis bukti. Probabilitas transisi biasanya ditarik dari distribusi Dirichlet (memastikan jumlahnya 1 per keadaan asal); biaya dari distribusi gamma atau log-normal; utilitas dari distribusi beta yang dibatasi dalam [0, 1]. Langkah ini mengkodekan struktur ketidakpastian parameter penuh.
Tarik satu set lengkap parameter model dari semua distribusi yang ditentukan — ini merupakan satu iterasi Monte Carlo. Vektor parameter lengkap mencakup seluruh matriks transisi, semua biaya spesifik keadaan, dan semua utilitas. Pengambilan sampel biasanya dilakukan menggunakan pengambilan sampel Latin hypercube atau pengambilan sampel acak sederhana, dengan N ≥ 1000 iterasi direkomendasikan untuk interval kredibel yang stabil.
Jalankan jejak kohort Markov untuk set parameter yang disampel: kalikan distribusi kohort awal dengan matriks transisi berulang kali untuk setiap siklus hingga cakrawala waktu tercapai. Catat proporsi kohort di setiap keadaan pada setiap siklus. Hitung total biaya dan hasil yang diharapkan dengan mengalikan hunian keadaan dengan imbalan yang disampel dan menjumlahkan di semua siklus, menerapkan diskonto sebagaimana mestinya.
Ulangi langkah 3–4 untuk semua N iterasi. Ini menghasilkan N replikasi dari setiap hasil agregat (misalnya, total biaya, tahun hidup yang disesuaikan kualitas). Kumpulan N nilai untuk setiap keluaran membentuk distribusi sampling empiris yang secara langsung mencerminkan ketidakpastian model.
Ringkas hasil di seluruh iterasi: laporkan rata-rata (atau median) dan interval kredibel 95% untuk setiap keluaran. Buat kurva penerimaan efektivitas biaya (CEAC) atau indeks penerimaan peringkat jika membandingkan alternatif. Identifikasi parameter mana yang mendorong varians paling banyak menggunakan plot sebar analisis sensitivitas probabilistik (PSA) atau metrik nilai informasi sempurna (EVPI).
Kesalahan umum
- Memperlakukan jumlah iterasi Monte Carlo sebagai tidak penting: kurang dari 1000 iterasi sering menghasilkan interval kredibel yang tidak stabil, terutama di ekor; selalu laporkan diagnostik konvergensi.
- Mengabaikan korelasi parameter saat pengambilan sampel: pengambilan sampel parameter yang berkorelasi secara independen (misalnya, probabilitas transisi dari distribusi Beta terpisah daripada Dirichlet gabungan) meningkatkan ketidakpastian yang tampak dan dapat melanggar batasan bahwa probabilitas dari keadaan tertentu berjumlah satu.
- Mencampuradukkan ketidakpastian stokastik (variabilitas urutan pertama, dalam iterasi di antara individu yang disimulasikan) dengan ketidakpastian parameter (urutan kedua, di seluruh iterasi Monte Carlo); keduanya memerlukan penanganan yang berbeda dalam model kohort versus tingkat individu.
- Terlalu menafsirkan lebar interval kredibel sebagai vonis atas kualitas model daripada cerminan jujur dari kelangkaan data.
- Gagal memvalidasi kasus dasar deterministik sebelum memperkenalkan lapisan stokastik — kesalahan dalam model inti diperkuat, bukan diungkapkan, oleh pembungkusan probabilistik.
Pertanyaan yang sering diajukan
Apa perbedaan antara model Markov stokastik dan deterministik?
Model Markov deterministik menggunakan estimasi titik tetap untuk semua probabilitas transisi dan imbalan, menghasilkan satu nilai hasil. Model Markov stokastik mengambil sampel parameter ini dari distribusi probabilitas di setiap iterasi Monte Carlo, menghasilkan distribusi hasil yang mencerminkan ketidakpastian parameter. Keduanya menggunakan mekanisme jejak kohort yang sama; hanya perlakuan parameter yang berbeda.
Berapa banyak iterasi Monte Carlo yang cukup?
Minimal 1000 iterasi umumnya direkomendasikan; 10.000 adalah tipikal untuk interval kredibel yang stabil dan kurva penerimaan efektivitas biaya. Konvergensi harus diverifikasi secara visual (plot rata-rata bergerak) atau dengan diagnostik formal. Model dengan banyak parameter yang berkorelasi atau peristiwa langka mungkin memerlukan lebih banyak iterasi.
Kapan asumsi Markov gagal, dan bagaimana cara mengatasinya?
Asumsi Markov gagal ketika probabilitas transisi keluar dari suatu keadaan bergantung pada berapa lama pasien berada di dalamnya (misalnya, peningkatan risiko kematian seiring durasi penyakit). Perbaikan standar adalah dengan memperkenalkan keadaan terowongan yang melacak waktu-dalam-keadaan secara eksplisit, dengan mengorbankan ruang keadaan yang lebih besar. Alternatifnya, mikrosimulasi tingkat individu dapat melacak riwayat setiap pasien secara langsung.
Bisakah model Markov stokastik menangani heterogenitas individu?
Model Markov stokastik tingkat kohort standar hanya menangkap ketidakpastian parameter di seluruh iterasi, bukan variabilitas tingkat individu. Untuk menggabungkan heterogenitas pasien (risiko dasar yang berbeda, komorbiditas), model harus diperluas ke mikrosimulasi tingkat individu di mana setiap pasien yang disimulasikan dilacak secara terpisah melalui ruang keadaan.
Bagaimana model Markov stokastik berbeda dari simulasi kejadian diskrit?
Dalam model Markov, waktu maju dalam siklus tetap dan semua peristiwa diatur oleh probabilitas transisi per siklus yang konstan. Model simulasi kejadian diskrit melacak entitas individual yang peristiwanya terjadi pada waktu kontinu yang diambil dari distribusi arbitrer, memungkinkan representasi antrean, batasan sumber daya, dan tingkat yang bervariasi waktu yang lebih fleksibel. Model Markov lebih sederhana untuk dibangun dan divalidasi; DES lebih fleksibel tetapi lebih sulit untuk diparameterisasi.
Metode terkait
Sumber
Sonnenberg, F. A., & Beck, J. R. (1993). Markov models in medical decision making: A practical guide. Medical Decision Making, 13(4), 322–338.
Buka referensi DOIDisalin.Briggs, A., Sculpher, M., & Claxton, K. (2006). Decision Modelling for Health Economic Evaluation. Oxford University Press.
ISBN: 9780198526629Disalin.