แบบจำลองมาร์คอฟแบบสุ่ม — การจำลองการเปลี่ยนสถานะเชิงความน่าจะเป็นพร้อมการแพร่กระจายความไม่แน่นอน
- ผู้เสนอ
- Markov, A. A. (probabilistic extension developed by Sonnenberg & Beck and others)
- ปี
- 1993
- ประเภท
- Probabilistic state-transition model with Monte Carlo uncertainty propagation
- กลุ่มวิธี
- Simulation / optimization
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
แบบจำลองมาร์คอฟแบบสุ่ม (Stochastic Markov Model) เป็นเทคนิคการจำลองที่แสดงระบบเป็นชุดของสถานะสุขภาพหรือสถานะการตัดสินใจที่ไม่สามารถเกิดขึ้นร่วมกันได้ โดยเคลื่อนย้ายกลุ่มประชากร (หรือตัวแทนแต่ละราย) ผ่านสถานะเหล่านั้นโดยใช้พารามิเตอร์การเปลี่ยนผ่านที่สุ่มตามความน่าจะเป็น และรวมผลลัพธ์จากการวนซ้ำแบบ Monte Carlo หลายพันครั้ง เพื่อให้ได้การแจกแจงความน่าจะเป็นที่สมบูรณ์สำหรับต้นทุน ผลลัพธ์ หรือการจัดอันดับ แทนที่จะเป็นค่าประมาณจุดเดียว
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการติดตามประชากรผ่านระยะของโรค — สุขภาพ ป่วย หาย ตาย — ในช่วงหลายรอบปี ในแบบจำลองมาร์คอฟแบบกำหนด (deterministic Markov model) คุณจะกำหนดความน่าจะเป็นในการเปลี่ยนผ่านที่แน่นอนและได้เส้นทางการดำเนินงานเดียว แบบสุ่มจะยอมรับว่าความน่าจะเป็นเหล่านั้นมีความไม่แน่นอนในตัวเอง: มาจากการศึกษาที่มีกลุ่มตัวอย่างจำกัด โดยการสุ่มเมทริกซ์การเปลี่ยนผ่านใหม่จากการแจกแจงภายหลัง (posterior distributions) ในแต่ละรอบการวนซ้ำแบบ Monte Carlo แบบจำลองจะแพร่กระจายความไม่แน่นอนของพารามิเตอร์นั้นไปจนถึงผลลัพธ์สุดท้าย ทำให้ได้ช่วงความเชื่อมั่น (credible intervals) แทนที่จะเป็นความแม่นยำที่ผิดพลาด
ประวัติศาสตร์
ลูกโซ่มาร์คอฟ (Markov chains) ได้รับการสร้างรูปแบบอย่างเป็นทางการโดย Andrei Markov ในปี 1906 การประยุกต์ใช้กับการวิเคราะห์การตัดสินใจทางการแพทย์ได้รับการแนะนำอย่างเป็นระบบโดย Sonnenberg และ Beck (1993) ซึ่งให้แนวทางปฏิบัติสำหรับนักเศรษฐศาสตร์ด้านสุขภาพ การขยายเชิงความน่าจะเป็น — การสุ่มพารามิเตอร์การเปลี่ยนผ่านจากการแจกแจงผ่านการวนซ้ำแบบ Monte Carlo — กลายเป็นแนวปฏิบัติมาตรฐานในช่วงทศวรรษ 1990–2000 ซึ่งถูกกำหนดไว้ในแนวทางโดยหน่วยงานต่างๆ เช่น NICE และในตำราโดย Briggs, Sculpher และ Claxton (2006) ปัจจุบันแบบจำลองมาร์คอฟแบบสุ่มเป็นเครื่องมือหลักสำหรับการวิเคราะห์ความไวเชิงความน่าจะเป็นในการประเมินเทคโนโลยีด้านสุขภาพ
ควรใช้เมื่อใด
ใช้แบบจำลองมาร์คอฟแบบสุ่มเมื่อการตัดสินใจเกี่ยวข้องกับสถานะที่ไม่ต่อเนื่อง เหตุการณ์การเปลี่ยนผ่านที่เกิดขึ้นซ้ำๆ ในช่วงเวลาหลายช่วง และความไม่แน่นอนของพารามิเตอร์ที่ต้องแพร่กระจายไปยังผลลัพธ์อย่างเป็นทางการ — ที่พบบ่อยที่สุดในการประเมินเทคโนโลยีด้านสุขภาพ เศรษฐศาสตร์เภสัชกรรม และการประเมินนโยบาย ที่ซึ่งความไม่แน่นอนในความน่าจะเป็นการเปลี่ยนผ่านและผลตอบแทนมีความสำคัญ เป็นแนวทางมาตรฐานเมื่อหน่วยงานกำกับดูแลหรือ HTA (NICE, CADTH, etc.) ต้องการการวิเคราะห์ความไวเชิงความน่าจะเป็น ห้ามใช้เมื่อระบบมีปริภูมิสถานะต่อเนื่องที่จัดการได้ดีกว่าด้วยสมการเชิงอนุพันธ์ เมื่อข้อสมมติฐานมาร์คอฟ (การไม่จดจำอดีต - memorylessness) ไม่สมเหตุสมผลและประวัติมีความสำคัญอย่างชัดเจนโดยไม่สามารถจับได้ผ่านการขยายสถานะ เมื่อขอบเขตการวิเคราะห์เป็นช่วงเวลาเดียว หรือเมื่อข้อมูลมีน้อยเกินไปที่จะสนับสนุนการระบุการแจกแจงพารามิเตอร์ (ในกรณีนั้น การวิเคราะห์ความไวแบบทางเดียวแบบกำหนดอาจเหมาะสมกว่า)
ข้อจำกัดและข้อควรพิจารณา
- ข้อสมมติฐานมาร์คอฟ (การไม่จดจำอดีต) — ที่ว่าการเปลี่ยนผ่านในอนาคตขึ้นอยู่กับสถานะปัจจุบันเท่านั้น ไม่ใช่ประวัติ — มักถูกละเมิดในทางปฏิบัติ การแก้ไขผ่านสถานะอุโมงค์ (tunnel states) จะเพิ่มความซับซ้อนให้กับแบบจำลอง
- การระบุการแจกแจงความน่าจะเป็นที่น่าเชื่อถือสำหรับพารามิเตอร์ทั้งหมดต้องอาศัยหลักฐานคุณภาพดี; การกำหนดค่าเริ่มต้น (priors) ที่ระบุไม่ดีจะแพร่กระจายความไม่แน่นอนที่ปรับเทียบไม่ดี
- ต้นทุนการคำนวณเพิ่มขึ้นตามจำนวนสถานะ รอบเวลา และการวนซ้ำแบบ Monte Carlo แบบจำลองขนาดใหญ่อาจต้องใช้เวลาทำงานนานหรือทรัพยากรคอมพิวเตอร์แบบขนาน
- โครงสร้างแบบจำลองเอง (สถานะที่จะรวม ระยะเวลาของรอบ) โดยทั่วไปจะถูกกำหนดไว้และไม่อยู่ภายใต้ความไม่แน่นอนเชิงความน่าจะเป็น ซึ่งอาจเป็นแหล่งสำคัญของความไม่แน่นอนเชิงโครงสร้างที่ไม่ได้วัดผล
- ผลลัพธ์มีความไวต่อการเลือกการแจกแจงและความสัมพันธ์ระหว่างกัน (correlations) ของพารามิเตอร์ การละเลยความสัมพันธ์ระหว่างพารามิเตอร์ (เช่น ต้นทุนและอรรถประโยชน์) อาจประเมินต่ำหรือประเมินสูงเกินไปซึ่งความแปรปรวนทั้งหมด
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ระบุความไม่แน่นอนของพารามิเตอร์อย่างชัดเจนและให้ช่วงความเชื่อมั่นแทนที่จะเป็นค่าประมาณจุดเดียว สนับสนุนการตัดสินใจภายใต้ความไม่แน่นอนอย่างโปร่งใส
- ผลลัพธ์เชิงความน่าจะเป็น (เช่น กราฟเส้นโค้งความสามารถในการคุ้มค่า) เป็นข้อมูลโดยตรงสำหรับการวิเคราะห์มูลค่าของข้อมูล (value-of-information analyses) และการตัดสินใจจัดสรรงบประมาณ
- โครงสร้างการเปลี่ยนสถานะสามารถตีความได้โดยผู้มีส่วนได้ส่วนเสียที่ไม่ใช่ผู้เชี่ยวชาญ และตรรกะของแบบจำลองสามารถตรวจสอบได้ทีละรอบ
- รองรับพารามิเตอร์หลายตัวที่มีความไม่แน่นอนพร้อมกันได้อย่างเป็นธรรมชาติโดยไม่จำเป็นต้องสร้างสถานการณ์ด้วยตนเอง
- ได้รับการยอมรับอย่างกว้างขวางจากหน่วยงานประเมินเทคโนโลยีด้านสุขภาพ (NICE, CADTH, PBAC) ในฐานะมาตรฐานสำหรับการวิเคราะห์ความไวเชิงความน่าจะเป็นในการประเมินทางเศรษฐกิจ
- สามารถขยายได้: การจำลองระดับจุลภาค (microsimulation) และรูปแบบที่ไม่เป็นเนื้อเดียวกันตามเวลา (time-inhomogeneous variants) สามารถรวมความแตกต่างของผู้ป่วยและการเปลี่ยนผ่านที่เปลี่ยนแปลงตามเวลาได้ภายในกรอบงานเดียวกัน
การประยุกต์ใช้
- การวิเคราะห์ความคุ้มค่าของยาหรืออุปกรณ์ทางการแพทย์ใหม่ที่ต้องการการวิเคราะห์ความไวเชิงความน่าจะเป็นสำหรับการยื่นขอ HTA
- การสร้างแบบจำลองความก้าวหน้าของโรคในด้านเนื้องอกวิทยา โรคหัวใจและหลอดเลือด และระบาดวิทยาของโรคติดเชื้อ
- การคาดการณ์ผลลัพธ์ระยะยาวสำหรับโรคเรื้อรัง เช่น เบาหวาน หรือ HIV ซึ่งผู้ป่วยจะหมุนเวียนผ่านสถานะสุขภาพหลายสถานะในช่วงหลายปี
- การยื่นขอประเมินเทคโนโลยีด้านสุขภาพต่อหน่วยงานกำกับดูแล (NICE, CADTH, EMA) ที่กำหนดให้มีการรายงานความไม่แน่นอนเชิงความน่าจะเป็น
- การประเมินนโยบายเปรียบเทียบโปรแกรมการคัดกรองหรือการป้องกัน ซึ่งช่วงความเชื่อมั่นของต้นทุนต่อ QALY เป็นข้อมูลในการจัดสรรงบประมาณ
- การสร้างแบบจำลองความเสี่ยงโครงสร้างพื้นฐานหรือโครงการ ซึ่งสินทรัพย์จะเปลี่ยนผ่านสถานะสภาพ (ดี เสื่อมสภาพ ชำรุด) ด้วยอัตราการเปลี่ยนผ่านที่ไม่แน่นอน
วิธีการทำงาน
วิธีการทำงาน
กำหนดปริภูมิสถานะ (state space): แจกแจงสถานะทั้งหมดที่ไม่สามารถเกิดขึ้นร่วมกันได้และครอบคลุมกันทั้งหมดที่หน่วยที่ถูกจำลองสามารถครอบครองได้ (เช่น ระยะของโรค ระดับทรัพยากร ระยะของโครงการ) กำหนดความยาวของรอบเวลา (time cycle length) และจำนวนรอบสูงสุด (time horizon) แต่ละสถานะจะมีผลตอบแทนที่เกี่ยวข้อง — ต้นทุน อรรถประโยชน์ หรือตัวชี้วัดผลลัพธ์อื่น ๆ ซึ่งอาจมีความไม่แน่นอนเช่นกัน
สำหรับความน่าจะเป็นในการเปลี่ยนผ่านแต่ละค่าและพารามิเตอร์ผลตอบแทนแต่ละค่า ให้ระบุการแจกแจงความน่าจะเป็นที่สะท้อนถึงความไม่แน่นอนที่ได้จากฐานหลักฐาน ความน่าจะเป็นในการเปลี่ยนผ่านมักจะสุ่มจากการแจกแจง Dirichlet (เพื่อให้แน่ใจว่าผลรวมเท่ากับ 1 ต่อสถานะต้นทาง); ต้นทุนจากการแจกแจง Gamma หรือ Log-normal; อรรถประโยชน์จากการแจกแจง Beta ที่มีขอบเขตในช่วง [0, 1] ขั้นตอนนี้จะเข้ารหัสโครงสร้างความไม่แน่นอนของพารามิเตอร์ทั้งหมด
สุ่มชุดพารามิเตอร์ของแบบจำลองที่สมบูรณ์หนึ่งชุดจากการแจกแจงที่ระบุทั้งหมด — นี่คือการวนซ้ำแบบ Monte Carlo หนึ่งครั้ง เวกเตอร์พารามิเตอร์ที่สมบูรณ์ประกอบด้วยเมทริกซ์การเปลี่ยนผ่านทั้งหมด ต้นทุนเฉพาะสถานะทั้งหมด และอรรถประโยชน์ทั้งหมด การสุ่มมักจะดำเนินการโดยใช้การสุ่มแบบ Latin hypercube หรือการสุ่มแบบธรรมดา โดยแนะนำให้มีการวนซ้ำ N ≥ 1000 ครั้งเพื่อให้ได้ช่วงความเชื่อมั่นที่เสถียร
ดำเนินการติดตามกลุ่มประชากรแบบมาร์คอฟสำหรับชุดพารามิเตอร์ที่สุ่ม: คูณการแจกแจงกลุ่มประชากรเริ่มต้นด้วยเมทริกซ์การเปลี่ยนผ่านซ้ำๆ ในแต่ละรอบจนกว่าจะถึงขอบเขตเวลา บันทึกสัดส่วนของกลุ่มประชากรในแต่ละสถานะในแต่ละรอบ คำนวณต้นทุนและผลลัพธ์ที่คาดหวังทั้งหมดโดยการคูณการครอบครองสถานะด้วยผลตอบแทนที่สุ่มและรวมผลลัพธ์ทั้งหมดตลอดทุกรอบ โดยใช้ส่วนลดตามความเหมาะสม
ทำซ้ำขั้นตอนที่ 3–4 สำหรับการวนซ้ำ N ครั้งทั้งหมด สิ่งนี้จะสร้างการจำลองซ้ำ N ครั้งของผลลัพธ์รวมแต่ละรายการ (เช่น ต้นทุนรวม คุณภาพชีวิตที่ปรับด้วยอรรถประโยชน์) ชุดของค่า N สำหรับผลลัพธ์แต่ละรายการจะสร้างการแจกแจงการสุ่มเชิงประจักษ์ที่สะท้อนถึงความไม่แน่นอนของแบบจำลองโดยตรง
สรุปผลลัพธ์จากการวนซ้ำ: รายงานค่าเฉลี่ย (หรือมัธยฐาน) และช่วงความเชื่อมั่น 95% สำหรับผลลัพธ์แต่ละรายการ สร้างกราฟเส้นโค้งความสามารถในการคุ้มค่า (cost-effectiveness acceptability curves - CEACs) หรือดัชนีความสามารถในการจัดอันดับ (rank-acceptability indices) หากมีการเปรียบเทียบทางเลือก ระบุว่าพารามิเตอร์ใดที่ก่อให้เกิดความแปรปรวนมากที่สุดโดยใช้แผนภาพกระจายของการวิเคราะห์ความไวเชิงความน่าจะเป็น (probabilistic sensitivity analysis - PSA) หรือตัวชี้วัดค่าความรู้สมบูรณ์ (expected value of perfect information - EVPI)
ข้อผิดพลาดที่พบบ่อย
- การถือว่าจำนวนรอบการวนซ้ำแบบ Monte Carlo ไม่สำคัญ: จำนวนรอบน้อยกว่า 1000 ครั้งมักให้ช่วงความเชื่อที่ไม่เสถียร โดยเฉพาะอย่างยิ่งในส่วนหาง; ควรรายงานการวินิจฉัยการลู่เข้า (convergence diagnostics) เสมอ
- การละเลยความสัมพันธ์ของพารามิเตอร์เมื่อทำการสุ่ม: การสุ่มพารามิเตอร์ที่มีความสัมพันธ์กันอย่างอิสระ (เช่น ความน่าจะเป็นการเปลี่ยนผ่านจากการแจกแจง Beta แยกกัน แทนที่จะเป็น Dirichlet ร่วม) จะเพิ่มความไม่แน่นอนที่ปรากฏและอาจละเมิดข้อจำกัดที่ว่าความน่าจะเป็นจากสถานะที่กำหนดต้องรวมกันเป็นหนึ่ง
- การผสมปนเประหว่างความไม่แน่นอนแบบสุ่ม (อันดับแรก ความแปรปรวนระหว่างผู้ป่วยที่จำลองภายในรอบการวนซ้ำ) กับความไม่แน่นอนของพารามิเตอร์ (อันดับสอง ระหว่างรอบการวนซ้ำแบบ Monte Carlo); สิ่งเหล่านี้ต้องการการจัดการที่แตกต่างกันในแบบจำลองกลุ่มประชากรเทียบกับแบบจำลองระดับบุคคล
- การตีความความกว้างของช่วงความเชื่อมั่นมากเกินไปว่าเป็นข้อตัดสินเกี่ยวกับคุณภาพของแบบจำลอง แทนที่จะเป็นการสะท้อนที่ซื่อสัตย์ของความขาดแคลนข้อมูล
- ความล้มเหลวในการตรวจสอบกรณีพื้นฐานแบบกำหนด (deterministic base case) ก่อนที่จะเพิ่มชั้นความน่าจะเป็น — ข้อผิดพลาดในแบบจำลองหลักจะถูกขยาย ไม่ใช่เปิดเผย โดยการห่อหุ้มด้วยความน่าจะเป็น
คำถามที่พบบ่อย
อะไรคือความแตกต่างระหว่างแบบจำลองมาร์คอฟแบบสุ่มและแบบจำลองมาร์คอฟแบบกำหนด?
แบบจำลองมาร์คอฟแบบกำหนดใช้ค่าประมาณจุดที่แน่นอนสำหรับความน่าจะเป็นในการเปลี่ยนผ่านและผลตอบแทนทั้งหมด ทำให้ได้ค่าผลลัพธ์เดียว แบบจำลองมาร์คอฟแบบสุ่มสุ่มพารามิเตอร์เหล่านี้จากการแจกแจงความน่าจะเป็นในแต่ละรอบการวนซ้ำแบบ Monte Carlo ทำให้ได้การแจกแจงผลลัพธ์ที่สะท้อนถึงความไม่แน่นอนของพารามิเตอร์ ทั้งสองแบบใช้กลไกการติดตามกลุ่มประชากรแบบเดียวกัน ความแตกต่างอยู่ที่การจัดการพารามิเตอร์เท่านั้น
ต้องใช้การวนซ้ำแบบ Monte Carlo กี่ครั้งจึงจะเพียงพอ?
โดยทั่วไปแนะนำให้ใช้ขั้นต่ำ 1000 ครั้ง และ 10,000 ครั้งเป็นเรื่องปกติสำหรับช่วงความเชื่อมั่นที่เสถียรและกราฟเส้นโค้งความสามารถในการคุ้มค่า ควรตรวจสอบการลู่เข้าด้วยสายตา (กราฟค่าเฉลี่ยที่กำลังดำเนิน) หรือการวินิจฉัยอย่างเป็นทางการ แบบจำลองที่มีพารามิเตอร์ที่มีความสัมพันธ์กันจำนวนมากหรือเหตุการณ์ที่เกิดขึ้นไม่บ่อยอาจต้องใช้การวนซ้ำมากขึ้น
เมื่อใดที่ข้อสมมติฐานมาร์คอฟล้มเหลว และจะแก้ไขได้อย่างไร?
ข้อสมมติฐานมาร์คอฟล้มเหลวเมื่อความน่าจะเป็นในการเปลี่ยนออกจากสถานะขึ้นอยู่กับระยะเวลาที่ผู้ป่วยอยู่ในสถานะนั้น (เช่น ความเสี่ยงการเสียชีวิตเพิ่มขึ้นตามระยะเวลาของโรค) การแก้ไขมาตรฐานคือการนำสถานะอุโมงค์ (tunnel states) มาใช้เพื่อติดตามระยะเวลาในสถานะอย่างชัดเจน โดยมีค่าใช้จ่ายเป็นปริภูมิสถานะที่ใหญ่ขึ้น หรืออีกทางหนึ่ง การจำลองระดับบุคคลสามารถติดตามประวัติของผู้ป่วยแต่ละรายได้โดยตรง
แบบจำลองมาร์คอฟแบบสุ่มสามารถจัดการกับความแตกต่างระหว่างบุคคลได้หรือไม่?
แบบจำลองมาร์คอฟแบบสุ่มระดับกลุ่มประชากรมาตรฐานจะจับเฉพาะความไม่แน่นอนของพารามิเตอร์ระหว่างรอบการวนซ้ำ ไม่ใช่ความแปรปรวนระดับบุคคล หากต้องการรวมความแตกต่างของผู้ป่วย (ความเสี่ยงพื้นฐานที่แตกต่างกัน โรคร่วม) แบบจำลองจะต้องถูกขยายเป็นการจำลองระดับบุคคล (individual-level microsimulation) ซึ่งผู้ป่วยแต่ละรายที่จำลองจะถูกติดตามแยกกันผ่านปริภูมิสถานะ
แบบจำลองมาร์คอฟแบบสุ่มแตกต่างจากแบบจำลองเหตุการณ์ไม่ต่อเนื่อง (discrete-event simulation) อย่างไร?
ในแบบจำลองมาร์คอฟ เวลาจะดำเนินไปเป็นรอบที่กำหนด และเหตุการณ์ทั้งหมดถูกควบคุมโดยความน่าจะเป็นการเปลี่ยนผ่านต่อรอบที่คงที่ แบบจำลองเหตุการณ์ไม่ต่อเนื่องจะจำลองหน่วยบุคคลซึ่งเหตุการณ์เกิดขึ้นในเวลาต่อเนื่องที่สุ่มจากการแจกแจงตามอำเภอใจ ทำให้สามารถแสดงคิว ข้อจำกัดด้านทรัพยากร และอัตราที่เปลี่ยนแปลงตามเวลาได้อย่างยืดหยุ่นมากขึ้น แบบจำลองมาร์คอฟสร้างและตรวจสอบได้ง่ายกว่า แบบจำลองเหตุการณ์ไม่ต่อเนื่องมีความยืดหยุ่นมากกว่าแต่ตั้งค่าพารามิเตอร์ได้ยากกว่า
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Sonnenberg, F. A., & Beck, J. R. (1993). Markov models in medical decision making: A practical guide. Medical Decision Making, 13(4), 322–338.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วBriggs, A., Sculpher, M., & Claxton, K. (2006). Decision Modelling for Health Economic Evaluation. Oxford University Press.
ISBN: 9780198526629คัดลอกแล้ว