Skip to content
بازگشت به نتایج جست‌وجو

مدل مارکوف تصادفی — شبیه‌سازی انتقال حالت احتمالی با انتشار عدم قطعیت

معرفی‌شده توسط
Markov, A. A. (probabilistic extension developed by Sonnenberg & Beck and others)
سال
1993
نوع
Probabilistic state-transition model with Monte Carlo uncertainty propagation
خانواده
Simulation / optimization

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

مدل مارکوف تصادفی (Stochastic Markov Model) تکنیکی شبیه‌سازی است که یک سیستم را به صورت مجموعه‌ای از حالات سلامت یا تصمیم‌گیریِ به‌هم‌پوشیده و انحصاری نمایش می‌دهد، یک گروه (یا عامل‌های فردی) را با استفاده از پارامترهای انتقالِ نمونه‌برداری شده به‌صورت احتمالی از میان آن حالات جابجا می‌کند، و نتایج را در هزاران تکرار مونت کارلو تجمیع می‌کند تا به جای تخمین‌های نقطه‌ایِ منفرد، توزیع‌های احتمالی کاملی بر روی هزینه‌ها، پیامدها، یا رتبه‌بندی‌ها تولید کند.

شهود پشت روش

تصور کنید جمعیتی را در مراحل بیماری — سالم، بیمار، بهبود یافته، مرده — در طول چرخه‌های سالانه متعدد دنبال می‌کنید. در یک مدل مارکوف قطعی، احتمالات انتقال را ثابت نگه می‌دارید و یک مسیر واحد به دست می‌آورید. نسخه تصادفی اذعان دارد که خود این احتمالات نامطمئن هستند: آن‌ها از مطالعاتی با نمونه‌های محدود به دست می‌آیند. با کشیدن ماتریس‌های انتقال جدید از توزیع‌های پسین آن‌ها در هر تکرار مونت کارلو، مدل عدم قطعیت پارامتر را تا خروجی‌های نهایی منتشر می‌کند و به جای دقت کاذب، فواصل اطمینان (credible intervals) ارائه می‌دهد.

تاریخ

زنجیره‌های مارکوف توسط آندری مارکوف در سال ۱۹۰۶ فرموله شدند. کاربرد آن‌ها در تحلیل تصمیم پزشکی به‌طور سیستماتیک توسط Sonnenberg و Beck (۱۹۹۳) معرفی شد، که راهنمایی عملی برای اقتصاددانان سلامت ارائه دادند. گسترش‌های احتمالی — کشیدن پارامترهای انتقال از توزیع‌ها در میان تکرارهای مونت کارلو — در طول دهه‌های ۱۹۹۰ تا ۲۰۰۰ به رویه استاندارد تبدیل شد، که در دستورالعمل‌های نهادهایی مانند NICE و در کتاب‌های درسی توسط Briggs، Sculpher و Claxton (۲۰۰۶) تدوین شد. امروزه مدل مارکوف تصادفی ابزار غالب برای تحلیل حساسیت احتمالی در ارزیابی فناوری سلامت است.

چه زمانی استفاده شود

هنگامی از مدل مارکوف تصادفی استفاده کنید که تصمیم‌گیری شامل حالات گسسته، رویدادهای انتقال مکرر در طول دوره‌های زمانی متعدد، و عدم قطعیت پارامتر است که باید به‌طور رسمی به خروجی‌ها منتشر شود — که بیشتر در ارزیابی فناوری سلامت، داروسازی اقتصادی، و ارزیابی سیاست‌گذاری رایج است، جایی که عدم قطعیت در احتمالات انتقال و پرداخت‌ها قابل توجه است. این رویکرد استاندارد زمانی است که نهادهای نظارتی یا ارزیابی فناوری سلامت (مانند NICE، CADTH) تحلیل حساسیت احتمالی را الزامی می‌کنند. زمانی از آن استفاده نکنید که سیستم دارای فضاهای حالت پیوسته است که بهتر توسط معادلات دیفرانسیل مدیریت می‌شوند، زمانی که فرض مارکوف (بی‌حافظگی) غیرقابل قبول است و تاریخچه به‌وضوح اهمیت دارد بدون اینکه از طریق گسترش حالت قابل ثبت باشد، زمانی که افق تحلیل یک دوره واحد است، یا زمانی که داده‌ها برای توجیه مشخص کردن توزیع‌های پارامتر بسیار پراکنده هستند (در این صورت تحلیل حساسیت یک‌طرفه قطعی ممکن است مناسب‌تر باشد).

محدودیت‌ها و ملاحظات

  • فرض مارکوف (بی‌حافظگی) — که انتقالات آینده فقط به حالت فعلی بستگی دارند، نه تاریخچه — اغلب در عمل نقض می‌شود؛ راه‌حل‌ها از طریق حالات تونل (tunnel states) پیچیدگی مدل را افزایش می‌دهند.
  • مشخص کردن توزیع‌های احتمالی قابل اعتماد برای همه پارامترها به شواهد با کیفیت خوب نیاز دارد؛ پیش‌فرض‌های ضعیف مشخص شده، عدم قطعیت ضعیف کالیبره شده را منتشر می‌کنند.
  • هزینه محاسباتی با افزایش تعداد حالات، چرخه‌ها و تکرارهای مونت کارلو افزایش می‌یابد؛ مدل‌های بسیار بزرگ ممکن است به زمان اجرای قابل توجه یا منابع محاسباتی موازی نیاز داشته باشند.
  • ساختار خود مدل (کدام حالات گنجانده شوند، طول چرخه) معمولاً ثابت است و تحت عدم قطعیت احتمالی قرار نمی‌گیرد، که می‌تواند منبع اصلی عدم قطعیت ساختاری اندازه‌گیری نشده باشد.
  • نتایج به انتخاب توزیع‌ها و همبستگی‌های آن‌ها حساس هستند؛ نادیده گرفتن همبستگی بین پارامترها (مانند هزینه‌ها و مطلوبیت‌ها) می‌تواند واریانس کل را کمتر یا بیشتر از حد واقعی تخمین بزند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • عدم قطعیت پارامتر را به‌طور صریح کمی‌سازی می‌کند و به جای تخمین‌های نقطه‌ای، فواصل اطمینان ارائه می‌دهد و تصمیم‌گیری شفاف تحت عدم قطعیت را پشتیبانی می‌کند.
  • خروجی احتمالی (مانند منحنی‌های پذیرش هزینه-اثربخشی) مستقیماً تحلیل‌های ارزش اطلاعات و تصمیمات تخصیص بودجه را هدایت می‌کند.
  • ساختار انتقال حالت برای ذینفعان غیر فنی قابل تفسیر است و منطق مدل را می‌توان چرخه به چرخه حسابرسی کرد.
  • به‌طور طبیعی پارامترهای نامطمئن متعدد همزمان را بدون نیاز به ساخت سناریوی دستی، در بر می‌گیرد.
  • به‌طور گسترده توسط نهادهای ارزیابی فناوری سلامت (مانند NICE، CADTH، PBAC) به عنوان استاندارد تحلیل حساسیت احتمالی در ارزیابی‌های اقتصادی پذیرفته شده است.
  • قابل توسعه: شبیه‌سازی خرد در سطح فردی و انواع ناهمگن زمانی می‌توانند ناهمگونی بیمار و انتقالات متغیر با زمان را در چارچوب مشابهی ادغام کنند.

کاربردها

  • تحلیل هزینه-اثربخشی داروها یا دستگاه‌های پزشکی جدید که نیازمند تحلیل حساسیت احتمالی برای ارائه‌های HTA هستند.
  • مدل‌سازی پیشرفت بیماری در انکولوژی، بیماری‌های قلبی عروقی، و اپیدمیولوژی بیماری‌های عفونی.
  • پیش‌بینی پیامدهای بلندمدت برای بیماری‌های مزمن مانند دیابت یا HIV، که در آن بیماران در طول سال‌ها بین چندین حالت سلامت در گردش هستند.
  • ارائه‌های ارزیابی فناوری سلامت به نهادهای نظارتی (مانند NICE، CADTH، EMA) که گزارش عدم قطعیت احتمالی را الزامی می‌کنند.
  • ارزیابی سیاست‌گذاری با مقایسه برنامه‌های غربالگری یا پیشگیری، که در آن فواصل اطمینان هزینه-به-ازای-QALY تخصیص بودجه را هدایت می‌کند.
  • مدل‌سازی ریسک زیرساخت یا پروژه که در آن دارایی‌ها بین حالات وضعیت (خوب، فرسوده، خراب) با نرخ‌های انتقال نامطمئن جابجا می‌شوند.

چگونه کار می‌کند

چگونه کار می‌کند

1

فضای حالت را تعریف کنید: تمام حالات انحصاری و جمعاً پوشا را که موجودیت مدل‌سازی شده می‌تواند اشغال کند (مانند مراحل بیماری، سطوح منابع، فازهای پروژه) فهرست کنید. طول چرخه زمانی و حداکثر تعداد چرخه‌ها (افق زمانی) را مشخص کنید. هر حالت دارای پرداخت‌های مرتبطی است — هزینه‌ها، مطلوبیت‌ها، یا معیارهای پیامد دیگر — که ممکن است نامطمئن نیز باشند.

2

برای هر احتمال انتقال و هر پارامتر پرداخت، یک توزیع احتمالی مشخص کنید که عدم قطعیت ناشی از پایگاه شواهد را منعکس کند. احتمالات انتقال معمولاً از توزیع دیریکله (Dirichlet distribution) (که تضمین می‌کند مجموع آن‌ها برای هر حالت مبدأ برابر ۱ است)؛ هزینه‌ها از توزیع‌های گاما یا لگ-نرمال (log-normal)؛ و مطلوبیت‌ها از توزیع‌های بتا (beta distributions) که در بازه [۰، ۱] محدود شده‌اند، کشیده می‌شوند. این مرحله ساختار کامل عدم قطعیت پارامتر را رمزگذاری می‌کند.

3

یک مجموعه کامل از پارامترهای مدل را از تمام توزیع‌های مشخص شده بکشید — این یک تکرار مونت کارلو را تشکیل می‌دهد. یک بردار پارامتر کامل شامل یک ماتریس انتقال کامل، تمام هزینه‌های خاص حالت، و تمام مطلوبیت‌ها است. نمونه‌برداری معمولاً با استفاده از نمونه‌برداری هایپرکیوب لاتین (Latin hypercube sampling) یا نمونه‌برداری تصادفی ساده انجام می‌شود، و حداقل ۱۰۰۰ تکرار برای فواصل اطمینان پایدار توصیه می‌شود.

4

ردیابی گروه مارکوف را برای مجموعه پارامتر نمونه‌برداری شده اجرا کنید: توزیع گروه اولیه را در ماتریس انتقال به‌طور مکرر برای هر چرخه ضرب کنید تا به افق زمانی برسید. نسبت گروه را در هر حالت در هر چرخه ثبت کنید. هزینه‌ها و پیامدهای کل مورد انتظار را با ضرب اشغال حالت‌ها در پرداخت‌های نمونه‌برداری شده و جمع کردن در تمام چرخه‌ها، با اعمال تخفیف در صورت لزوم، محاسبه کنید.

5

مراحل ۳ تا ۴ را برای تمام N تکرار تکرار کنید. این کار N تکرار از هر پیامد تجمیعی (مانند کل هزینه، سال‌های عمر با کیفیت تعدیل شده) تولید می‌کند. مجموعه N مقدار برای هر خروجی، یک توزیع نمونه‌برداری تجربی را تشکیل می‌دهد که مستقیماً عدم قطعیت مدل را منعکس می‌کند.

6

نتایج را در میان تکرارها خلاصه کنید: میانگین (یا میانه) و بازه اطمینان ۹۵٪ را برای هر خروجی گزارش دهید. در صورت مقایسه جایگزین‌ها، منحنی‌های پذیرش هزینه-اثربخشی (cost-effectiveness acceptability curves - CEACs) یا شاخص‌های رتبه‌بندی-پذیرش را بسازید. با استفاده از نمودارهای پراکندگی تحلیل حساسیت احتمالی (probabilistic sensitivity analysis - PSA) یا معیارهای ارزش اطلاعات کامل مورد انتظار (expected value of perfect information - EVPI)، مشخص کنید کدام پارامترها بیشترین واریانس را ایجاد می‌کنند.

دام‌های رایج

  • تعداد تکرارهای مونت کارلو را بی‌اهمیت تلقی کردن: کمتر از ۱۰۰۰ تکرار اغلب فواصل اطمینان ناپایدار تولید می‌کند، به‌ویژه در دم‌ها؛ همیشه معیارهای همگرایی را گزارش دهید.
  • نادیده گرفتن همبستگی‌های پارامتر هنگام نمونه‌برداری: نمونه‌برداری مستقل از پارامترهای همبسته (مانند احتمالات انتقال از توزیع‌های بتا جداگانه به جای دیریکله مشترک) عدم قطعیت ظاهری را افزایش می‌دهد و می‌تواند محدودیت مجموع احتمالات از یک حالت معین به یک را نقض کند.
  • مخلوط کردن عدم قطعیت تصادفی (مرتبه اول، تغییرپذیری درون تکرار در میان افراد شبیه‌سازی شده) با عدم قطعیت پارامتر (مرتبه دوم، در میان تکرارهای مونت کارلو)؛ این‌ها نیاز به مدیریت متفاوتی در مدل‌های گروهی در مقابل مدل‌های سطح فردی دارند.
  • تفسیر بیش از حد عرض فواصل اطمینان به عنوان حکمی بر کیفیت مدل به جای بازتاب صادقانه کمبود داده.
  • عدم اعتبارسنجی مورد پایه قطعی قبل از معرفی لایه‌های تصادفی — خطاهای مدل اصلی تقویت می‌شوند، نه آشکار، توسط پوشش احتمالی.

پرسش‌های متداول

تفاوت مدل مارکوف تصادفی و قطعی چیست؟

یک مدل مارکوف قطعی از تخمین‌های نقطه‌ای ثابت برای تمام احتمالات انتقال و پرداخت‌ها استفاده می‌کند و یک مقدار پیامد واحد تولید می‌کند. یک مدل مارکوف تصادفی این پارامترها را در هر تکرار مونت کارلو از توزیع‌های احتمالی نمونه‌برداری می‌کند و توزیعی از پیامدها تولید می‌کند که عدم قطعیت پارامتر را منعکس می‌کند. هر دو از مکانیسم‌های ردیابی گروهی یکسان استفاده می‌کنند؛ فقط نحوه برخورد با پارامترها متفاوت است.

چه تعداد تکرار مونت کارلو کافی است؟

حداقل ۱۰۰۰ تکرار معمولاً توصیه می‌شود؛ ۱۰۰۰۰ تکرار برای فواصل اطمینان پایدار و منحنی‌های پذیرش هزینه-اثربخشی معمول است. همگرایی باید به‌صورت بصری (نمودارهای میانگین متحرک) یا با معیارهای رسمی تأیید شود. مدل‌هایی با پارامترهای همبسته زیاد یا رویدادهای نادر ممکن است به تکرارهای بیشتری نیاز داشته باشند.

چه زمانی فرض مارکوف شکست می‌خورد و چگونه می‌توان آن را برطرف کرد؟

فرض مارکوف زمانی شکست می‌خورد که احتمال انتقال از یک حالت به احتمال طول مدت حضور بیمار در آن حالت بستگی داشته باشد (مانند افزایش خطر مرگ‌ومیر با طول مدت بیماری). راه‌حل استاندارد معرفی حالات تونل است که زمان حضور در حالت را به‌طور صریح ردیابی می‌کنند، اما این کار با هزینه فضای حالت بزرگ‌تر همراه است. به‌طور جایگزین، شبیه‌سازی خرد در سطح فردی می‌تواند تاریخچه هر بیمار را مستقیماً ردیابی کند.

آیا مدل مارکوف تصادفی می‌تواند ناهمگونی فردی را مدیریت کند؟

مدل‌های استاندارد مارکوف تصادفی در سطح گروه، فقط عدم قطعیت پارامتر را در میان تکرارها ثبت می‌کنند، نه تغییرپذیری در سطح فردی. برای ادغام ناهمگونی بیمار (ریسک‌های پایه متفاوت، بیماری‌های همراه)، مدل باید به یک شبیه‌سازی خرد در سطح فردی گسترش یابد که در آن هر بیمار شبیه‌سازی شده به‌طور جداگانه در فضای حالت ردیابی می‌شود.

مدل مارکوف تصادفی چگونه با شبیه‌سازی رویداد گسسته (discrete-event simulation) متفاوت است؟

در مدل مارکوف، زمان در چرخه‌های ثابت پیش می‌رود و تمام رویدادها توسط احتمالات انتقال ثابت در هر چرخه هدایت می‌شوند. مدل‌های شبیه‌سازی رویداد گسسته، موجودیت‌های فردی را مدل می‌کنند که رویدادهای آن‌ها در زمان‌های پیوسته رخ می‌دهد که از توزیع‌های دلخواه کشیده می‌شوند و امکان نمایش انعطاف‌پذیرتر صف‌ها، محدودیت‌های منابع و نرخ‌های متغیر با زمان را فراهم می‌کنند. مدل‌های مارکوف ساده‌تر برای ساخت و اعتبارسنجی هستند؛ DES انعطاف‌پذیرتر اما پارامتردهی آن دشوارتر است.

روش‌های مرتبط

منابع

  1. Sonnenberg, F. A., & Beck, J. R. (1993). Markov models in medical decision making: A practical guide. Medical Decision Making, 13(4), 322–338.

    باز کردن مرجع DOI
    کپی شد.
  2. Briggs, A., Sculpher, M., & Claxton, K. (2006). Decision Modelling for Health Economic Evaluation. Oxford University Press.

    شابک: 9780198526629
    کپی شد.