แบบจำลองมาร์คอฟแบบขับเคลื่อนด้วยเอเจนต์ — การจำลองแบบผสมผสานด้วยเอเจนต์อิสระและการเปลี่ยนสถานะแบบมาร์คอฟ
- ผู้เสนอ
- Hybrid approach synthesized from Bonabeau (ABM) and Norris/classical Markov chain literature
- ปี
- 2000s
- ประเภท
- Hybrid simulation — agent-based modeling with Markov state transitions
- กลุ่มวิธี
- Simulation / optimization
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
แบบจำลองมาร์คอฟแบบขับเคลื่อนด้วยเอเจนต์ (ABMM) เป็นกรอบการจำลองแบบผสมผสานที่ฝังตรรกะการเปลี่ยนสถานะของลูกโซ่มาร์คอฟไว้ภายในเอเจนต์อิสระแต่ละตัว เอเจนต์แต่ละตัวสุ่มสถานะถัดไปของตนเองจากเมทริกซ์ความน่าจะเป็นในการเปลี่ยนผ่าน ทำให้แบบจำลองสามารถจับทั้งความแตกต่างระดับจุลภาคระหว่างเอเจนต์และโครงสร้างความน่าจะเป็นที่สามารถจัดการได้ของลูกโซ่มาร์คอฟ แนวทางนี้ถูกนำไปใช้อย่างแพร่หลายในเศรษฐศาสตร์สุขภาพ ระบาดวิทยา สังคมศาสตร์ และการวิจัยดำเนินงาน
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพประชากรของบุคคลแต่ละคนอยู่ในสถานะใดสถานะหนึ่งจากหลายสถานะ (เช่น สุขภาพดี ป่วย ฟื้นตัว) แบบจำลองมาร์คอฟธรรมดาจะปฏิบัติต่อทุกคนเหมือนกันและติดตามสัดส่วนรวม การสร้างแบบจำลองแบบขับเคลื่อนด้วยเอเจนต์ช่วยให้แต่ละบุคคลมีพฤติกรรมแตกต่างกันตามปฏิสัมพันธ์ในท้องถิ่น คุณลักษณะส่วนบุคคล หรือตำแหน่งเชิงพื้นที่ ABMM ผสมผสานจุดแข็งเหล่านี้: เอเจนต์แต่ละตัวมีสถานะของตนเองและวิวัฒนาการตามความน่าจะเป็นในการเปลี่ยนผ่านของตนเอง ซึ่งอาจขึ้นอยู่กับอายุ ละแวกใกล้เคียง หรืออิทธิพลของเพื่อน ผลลัพธ์คือแบบจำลองที่สมจริงกว่าลูกโซ่มาร์คอฟแบบกลุ่ม แต่มีโครงสร้างมากกว่าการจำลองเอเจนต์แบบอิสระอย่างสมบูรณ์
ประวัติศาสตร์
แบบจำลองมาร์คอฟแบบขับเคลื่อนด้วยเอเจนต์เกิดขึ้นในช่วงต้นทศวรรษ 2000 เมื่อนักวิจัยพยายามประนีประนอมความสามารถในการคำนวณของแบบจำลองลูกโซ่มาร์คอฟกับความสมบูรณ์ของพฤติกรรมของการจำลองแบบขับเคลื่อนด้วยเอเจนต์ ภาพรวม PNAS ปี 2002 ของ Bonabeau ได้กระตุ้นความสนใจอย่างกว้างขวางในวิธีการขับเคลื่อนด้วยเอเจนต์ในสาขาสังคมศาสตร์และสุขภาพ เศรษฐศาสตร์สุขภาพและนักระบาดวิทยาได้ผสมผสานโครงสร้างสถานะมาร์คอฟกับความแตกต่างของเอเจนต์เพื่อเอาชนะข้อจำกัดของความเหมือนกันของแบบจำลองกลุ่ม สร้างกรอบ ABMM ที่ใช้ในปัจจุบัน
ควรใช้เมื่อใด
ใช้ ABMM เมื่อคุณต้องการการเปลี่ยนสถานะที่มีโครงสร้างและมีความน่าจะเป็น (โครงสร้างพื้นฐานแบบมาร์คอฟ) แต่ยังต้องการแสดงความแตกต่างของประชากร ผลกระทบเชิงพื้นที่ หรือปฏิสัมพันธ์ระหว่างเอเจนต์ที่แบบจำลองมาร์คอฟแบบกลุ่มไม่สามารถจับได้ เหมาะสำหรับการสร้างแบบจำลองสถานะสุขภาพที่มีความแตกต่างของกลุ่มย่อย การแพร่ระบาดของโรคที่มีเครือข่ายการสัมผัส และการประเมินนโยบายภายใต้ความแตกต่างทางประชากร หลีกเลี่ยงเมื่อประชากรมีความแตกต่างกันน้อยมากและแบบจำลองมาร์คอฟแบบกลุ่มมาตรฐานเพียงพอ เมื่อทรัพยากรคอมพิวเตอร์มีจำกัดอย่างมาก (การจำลองเอเจนต์มีสเกลเป็น O(N x T)) หรือเมื่อข้อสมมติฐานของมาร์คอฟที่ไม่มีความจำถูกละเมิดโดยพื้นฐานและจำเป็นต้องมีการเปลี่ยนผ่านที่ขึ้นอยู่กับประวัติ — ในกรณีนั้น ให้พิจารณาการแทนสถานะแบบกึ่งมาร์คอฟหรือแบบเสริมประวัติแทน
ข้อจำกัดและข้อควรพิจารณา
- ต้นทุนการคำนวณขึ้นอยู่กับจำนวนเอเจนต์และช่วงเวลา ทำให้ประชากรขนาดใหญ่มีค่าใช้จ่ายสูงหากไม่มีการประมวลผลสมรรถนะสูง
- ข้อสมมติฐานของมาร์คอฟ (ไม่มีความจำ) อาจไม่เหมาะสมสำหรับกระบวนการที่มีการพึ่งพาช่วงเวลาที่แข็งแกร่ง เช่น ความรุนแรงของโรคที่แย่ลงตราบเท่าที่เอเจนต์ป่วย
- การระบุและตรวจสอบความถูกต้องของเมทริกซ์การเปลี่ยนผ่านเฉพาะเอเจนต์ต้องใช้ข้อมูลที่สมบูรณ์กว่าเมทริกซ์กลุ่มเดียว และอาจนำไปสู่การกำหนดพารามิเตอร์มากเกินไป
- พฤติกรรมที่เกิดขึ้นจากปฏิสัมพันธ์ของเอเจนต์อาจทำให้ผลลัพธ์ของแบบจำลองตีความได้ยากหรือไม่สามารถระบุกลไกเฉพาะได้
- ความสามารถในการทำซ้ำต้องมีการจัดการเมล็ดพันธุ์อย่างระมัดระวัง ความแปรปรวนแบบสุ่มระหว่างการทำงานต้องถูกควบคุมด้วยการจำลองแบบมอนติคาร์โลที่เพียงพอ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- จับความแตกต่างระดับบุคคลที่แบบจำลองมาร์คอฟแบบรวมสูญเสียไปโดยการเฉลี่ยทั่วทั้งประชากร
- ความน่าจะเป็นในการเปลี่ยนผ่านให้โครงสร้างความน่าจะเป็นที่มีพื้นฐาน ทำให้แบบจำลองง่ายต่อการปรับเทียบและตรวจสอบความถูกต้องมากกว่ากฎเอเจนต์แบบอิสระ
- ปฏิสัมพันธ์ของเอเจนต์สามารถปรับเปลี่ยนอัตราการเปลี่ยนผ่านแบบไดนามิก ทำให้เกิดผลกระทบการแพร่ระบาด การแพร่กระจาย และอิทธิพลทางสังคมที่สมจริง
- ปรับขนาดตามธรรมชาติสำหรับสถานการณ์สมมติของนโยบาย: การเปลี่ยนแถวเมทริกซ์การเปลี่ยนผ่านสอดคล้องโดยตรงกับการแทรกแซงในกลุ่มย่อย
- ผลลัพธ์สามารถตีความได้ในแง่ของแนวคิดมาร์คอฟที่คุ้นเคย (สภาวะคงที่ เวลาที่คาดว่าจะอยู่ในสถานะ) ในขณะที่ยังคงรายละเอียดระดับจุลภาค
การประยุกต์ใช้
- เศรษฐศาสตร์สุขภาพ: การสร้างแบบจำลองความก้าวหน้าของโรคในกลุ่มผู้ป่วยที่แตกต่างกัน โดยใช้เมทริกซ์การเปลี่ยนผ่านที่แบ่งตามอายุและความเสี่ยง
- ระบาดวิทยา: การจำลองการแพร่กระจายของโรคติดเชื้อ โดยที่โครงสร้างเครือข่ายการสัมผัสปรับเปลี่ยนความน่าจะเป็นในการเปลี่ยนผ่านของการแพร่เชื้อ
- สังคมศาสตร์: การศึกษาพลวัตของความคิดเห็น โดยที่บุคคลเปลี่ยนผ่านระหว่างสถานะทัศนคติที่ได้รับอิทธิพลจากเพื่อนบ้าน
- การวิจัยดำเนินงาน: การสร้างแบบจำลองการไหลของลูกค้าหรือผู้ป่วยผ่านสถานะบริการ โดยมีอัตราการบริการเฉพาะเอเจนต์
- การวางผังเมือง: การจำลองการเปลี่ยนตำแหน่งที่อยู่อาศัยผ่านสถานะการใช้ที่ดินที่ขับเคลื่อนด้วยคุณลักษณะของละแวกใกล้เคียง
- การประกันภัยและคณิตศาสตร์ประกันภัย: การประมาณผลลัพธ์ตารางชีวิตหลายสถานะภายใต้ความแตกต่างของชั้นความเสี่ยงส่วนบุคคล
วิธีการทำงาน
วิธีการทำงาน
กำหนดประชากรเอเจนต์และปริภูมิสถานะจำกัด S = {s1, s2, ..., sn} เอเจนต์แต่ละตัวมีคุณลักษณะ (อายุ ชั้นความเสี่ยง ตำแหน่ง) ที่อาจเป็นดัชนีสำหรับเมทริกซ์การเปลี่ยนผ่านที่แตกต่างกัน สถานะควรจะแยกออกจากกันและครอบคลุมสำหรับเอเจนต์แต่ละตัว ณ จุดเวลาใดๆ
สร้างเมทริกซ์ความน่าจะเป็นในการเปลี่ยนสถานะ P โดยที่ P[i][j] คือความน่าจะเป็นที่เอเจนต์ในสถานะ si เปลี่ยนผ่านไปยังสถานะ sj ในหนึ่งช่วงเวลา เมทริกซ์สามารถเฉพาะเจาะจงเอเจนต์ เปลี่ยนแปลงตามเวลา หรือมีเงื่อนไขตามองค์ประกอบของละแวกใกล้เคียง ทำให้เกิดพลวัตที่แตกต่างกันและขับเคลื่อนด้วยปฏิสัมพันธ์
สร้างเอเจนต์ N ตัวและกำหนดสถานะเริ่มต้นให้แต่ละตัวจากการแจกแจงพื้นฐาน กำหนดค่าคุณลักษณะส่วนบุคคล (เช่น อายุ กลุ่มความเสี่ยง) ที่จะควบคุมว่าเอเจนต์จะใช้เมทริกซ์หรือแถวใดระหว่างการจำลอง
ในแต่ละช่วงเวลา เอเจนต์แต่ละตัวจะสุ่มสถานะถัดไปโดยการสุ่มจากแถวที่เกี่ยวข้องของเมทริกซ์การเปลี่ยนผ่านโดยใช้ตัวสร้างเลขสุ่มเทียม ปฏิสัมพันธ์ของเอเจนต์ (เช่น การแพร่กระจายของการติดเชื้อ อิทธิพลทางสังคม) สามารถปรับเปลี่ยนความน่าจะเป็นในการเปลี่ยนผ่านก่อนการสุ่ม ซึ่งเชื่อมโยงชั้นเอเจนต์และชั้นมาร์คอฟ
หลังจาก T ช่วงเวลา (หรือการจำลองแบบมอนติคาร์โลซ้ำ R ครั้ง) รวบรวมวิถีสถานะของแต่ละบุคคลเป็นสถิติระดับประชากร: เส้นโค้งความชุก การแจกแจงสภาวะคงที่ เวลาเฉลี่ยในแต่ละสถานะ และช่วงความเชื่อมั่น เปรียบเทียบสถานการณ์โดยการเปลี่ยนพารามิเตอร์การเปลี่ยนผ่านหรือเงื่อนไขเริ่มต้น
ข้อผิดพลาดที่พบบ่อย
- การแปลงความน่าจะเป็นในการเปลี่ยนผ่านเป็นอัตราโดยไม่มีการแปลงช่วงเวลาที่เหมาะสม ทำให้ค่าความน่าจะเป็นเกิน 1 ที่ความละเอียดช่วงเวลาหยาบ
- การละเลยผลกระทบจากปฏิสัมพันธ์: หากเอเจนต์มีอิทธิพลต่อความน่าจะเป็นในการเปลี่ยนผ่านของกันและกัน แต่แบบจำลองปฏิบัติต่อพวกมันราวกับว่าไม่มีปฏิสัมพันธ์ พลวัตของการแพร่ระบาดหรือการแพร่กระจายจะถูกประเมินต่ำกว่าความเป็นจริงอย่างเป็นระบบ
- การจำลองซ้ำน้อยเกินไป: การทำงานจำลองมอนติคาร์โลน้อยเกินไปทำให้ช่วงความเชื่อมั่นมีสัญญาณรบกวน โดยทั่วไปแนะนำให้ทำงานอย่างน้อย 1,000 ครั้งสำหรับสถิติที่เสถียร
- การผสมผสานความแตกต่างของเอเจนต์กับความสุ่ม: สัญญาณรบกวนในการเปลี่ยนผ่านของแต่ละบุคคลไม่เหมือนกับความไม่แน่นอนของพารามิเตอร์ระดับประชากร — ทั้งสองควรถูกสร้างแบบจำลองและรายงานแยกกัน
คำถามที่พบบ่อย
แบบจำลองมาร์คอฟแบบขับเคลื่อนด้วยเอเจนต์แตกต่างจากแบบจำลองมาร์คอฟแบบกลุ่มมาตรฐานอย่างไร
แบบจำลองมาร์คอฟแบบกลุ่มจะติดตามส่วนแบ่งของประชากรที่เป็นเนื้อเดียวกันในแต่ละสถานะโดยใช้การคูณเมทริกซ์ ABMM จะติดตามเอเจนต์แต่ละตัวเป็นรายบุคคล ทำให้ความน่าจะเป็นในการเปลี่ยนผ่านแตกต่างกันไปตามคุณลักษณะของเอเจนต์และสามารถปรับเปลี่ยนได้โดยปฏิสัมพันธ์กับเอเจนต์อื่น ทำให้ ABMM สมจริงยิ่งขึ้นแต่ใช้ทรัพยากรคอมพิวเตอร์หนักกว่า
แบบจำลองนี้ต้องการให้คุณสมบัติมาร์คอฟเป็นจริงอย่างเคร่งครัดหรือไม่
ABMM พื้นฐานสมมติว่าไม่มีความจำ (สถานะถัดไปขึ้นอยู่กับสถานะปัจจุบันเท่านั้น ไม่ใช่ประวัติก่อนหน้า) หากการพึ่งพาช่วงเวลามีความสำคัญ ปริภูมิสถานะสามารถเสริมด้วย 'เวลาที่อยู่ในสถานะ' เป็นมิติเพิ่มเติม หรือสามารถใช้ส่วนขยายแบบกึ่งมาร์คอฟพร้อมการแจกแจงเวลาที่อยู่ในสถานะได้
ต้องใช้เอเจนต์กี่ตัวเพื่อให้ได้ผลลัพธ์ที่น่าเชื่อถือ
ไม่มีค่าต่ำสุดสากล แต่ประชากรที่มีเอเจนต์น้อยกว่าสองสามร้อยตัวมักแสดงความแปรปรวนของมอนติคาร์โลสูง สำหรับแบบจำลองสุขภาพหรือระบาดวิทยา N = 1,000 ถึง 10,000 เอเจนต์ ร่วมกับการจำลองซ้ำอย่างน้อย 500-1,000 ครั้งเป็นจุดเริ่มต้นทั่วไป ควรตรวจสอบการลู่เข้าตามประสบการณ์
เมทริกซ์การเปลี่ยนผ่านสามารถเปลี่ยนแปลงได้ตลอดเวลาภายในรอบการจำลองหรือไม่
ใช่ เมทริกซ์การเปลี่ยนผ่านที่เปลี่ยนแปลงตามเวลาหรือขึ้นอยู่กับสถานะเป็นข้อได้เปรียบที่สำคัญของกรอบ ABMM ตัวอย่างเช่น อัตราการเปลี่ยนผ่านสามารถสะท้อนผลกระทบของกลุ่มอายุ การบังคับตามฤดูกาล หรือการแทรกแซงนโยบายที่ใช้ในขั้นตอนการจำลองที่เฉพาะเจาะจง
มีซอฟต์แวร์ใดบ้างสำหรับการใช้งาน ABMM
NetLogo, Mesa (Python), AnyLogic และ Repast Simphony เป็นแพลตฟอร์มขับเคลื่อนด้วยเอเจนต์ทั่วไปที่สามารถฝังตรรกะสถานะมาร์คอฟ สำหรับแอปพลิเคชันด้านสุขภาพ heemod และ hesim ใน R มีเอนจิ้นการจำลองขนาดเล็กพร้อมโครงสร้างสถานะมาร์คอฟที่เหมาะสมอย่างยิ่งสำหรับการใช้งาน ABMM
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Bonabeau, E. (2002). Agent-based modeling: Methods and techniques for simulating human systems. Proceedings of the National Academy of Sciences, 99(Suppl 3), 7280-7287.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วNorris, J. R. (1997). Markov Chains. Cambridge University Press, Cambridge, UK.
ISBN: 9780521633963คัดลอกแล้ว