การลงคะแนนเสียงข้างมาก
- ผู้เสนอ
- Leo Breiman
- ปี
- 1996
- ประเภท
- voting aggregation
- กลุ่มวิธี
- Ensemble
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การลงคะแนนเสียงข้างมาก (Majority voting) เป็นวิธีการแบบอองซอมเบิล (ensemble method) ที่รวมการคาดการณ์จากตัวจำแนกพื้นฐานหลายตัวโดยการเลือกคลาสที่ได้รับการโหวตมากที่สุด ตัวจำแนกพื้นฐานแต่ละตัวจะลงคะแนนหนึ่งเสียงสำหรับคลาสที่คาดการณ์ และการคาดการณ์สุดท้ายคือคลาสที่มีเสียงข้างมาก (plurality) แนวทางนี้ได้รับการกำหนดให้เป็นทางการโดย Leo Breiman และเพื่อนร่วมงานในทศวรรษ 1990 ในฐานะวิธีที่เรียบง่ายแต่มีประสิทธิภาพในการปรับปรุงความแม่นยำของการจำแนกประเภท
แนวคิดเบื้องหลังวิธีการ
แนวคิดหลักคือการรวมตัวจำแนกที่อ่อนแอแต่หลากหลายเข้าด้วยกันสามารถสร้างการตัดสินใจร่วมกันที่แข็งแกร่งขึ้นผ่านการลงคะแนนแบบประชาธิปไตย หากโมเดลแต่ละตัวไม่สมบูรณ์แต่มีความผิดพลาดที่แตกต่างกัน การลงคะแนนเสียงข้างมากจะช่วยกรองการจำแนกผิดพลาดที่เกิดขึ้นโดดเดี่ยวออกไป วิธีนี้จะได้ผลดีที่สุดเมื่อตัวจำแนกพื้นฐานมีความเป็นอิสระและมีความแม่นยำปานกลาง—ดีกว่าการเดาสุ่มแต่ไม่สมบูรณ์ ความแข็งแกร่งมาจากการไม่เห็นด้วย: เมื่อโมเดลไม่เห็นด้วย การตัดสินใจของกลุ่มจะน่าเชื่อถือกว่าโมเดลเดี่ยวใดๆ
ประวัติศาสตร์
การลงคะแนนเสียงข้างมากเกิดขึ้นในช่วงต้นทศวรรษ 1990 เมื่อการเรียนรู้แบบอองซอมเบิลได้รับความนิยม งานของ Breiman เกี่ยวกับการทำ bagging (1996) ทำให้แนวคิดของการรวมหลายโมเดลเป็นที่รู้จัก Kuncheva (2004) ได้นำเสนอทฤษฎีที่ครอบคลุมเกี่ยวกับวิธีการรวมอองซอมเบิล การลงคะแนนเสียงข้างมากแบบแข็ง (Hard voting) ยังคงเป็นหนึ่งในกลยุทธ์อองซอมเบิลที่ง่ายที่สุดและเข้าใจง่ายที่สุด ซึ่งมักใช้เป็นพื้นฐานสำหรับวิธีการที่ซับซ้อนกว่า เช่น stacking และ boosting
ควรใช้เมื่อใด
ใช้การลงคะแนนเสียงข้างมากเมื่อคุณมีตัวจำแนกพื้นฐานหลายตัวและต้องการการคาดการณ์แบบอองซอมเบิลที่เรียบง่ายและตีความได้ดี วิธีนี้ใช้ได้ดีกับการจำแนกหลายคลาสและสมมติว่าตัวจำแนกพื้นฐานค่อนข้างเป็นอิสระ จะมีประสิทธิภาพน้อยลงหากโมเดลพื้นฐานทั้งหมดมีแนวโน้มที่จะทำผิดพลาดแบบเดียวกันหรือมีความสัมพันธ์กันสูง ควรเลือกใช้วิธีการอองซอมเบิลอื่นๆ (boosting, stacking) หากคุณต้องการถ่วงน้ำหนักตัวเรียนรู้พื้นฐานตามความแม่นยำของแต่ละตัว
ข้อจำกัดและข้อควรพิจารณา
- ละเลยความน่าเชื่อถือของตัวจำแนก—แต่ละโมเดลจะได้รับคะแนนโหวตเท่ากันโดยไม่คำนึงถึงความแม่นยำ
- ไม่มีประสิทธิภาพหากตัวจำแนกพื้นฐานมีความสัมพันธ์กันสูงหรือทั้งหมดทำผิดพลาดอย่างเป็นระบบ
- อาจเกิดการเสมอกันในการตั้งค่าหลายคลาส ซึ่งต้องใช้กฎการตัดสินใจเมื่อคะแนนเท่ากันโดยพลการ
- ประสิทธิภาพขึ้นอยู่กับความหลากหลายและคุณภาพของตัวจำแนกพื้นฐานเป็นอย่างมาก
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ง่ายต่อการนำไปใช้และทำความเข้าใจ—กฎการลงคะแนนที่ตรงไปตรงมาไม่จำเป็นต้องปรับแต่ง
- มีประสิทธิภาพในการคำนวณ—เวลาในการคาดการณ์จะเพิ่มขึ้นเชิงเส้นตามจำนวนตัวจำแนกพื้นฐาน
- ทนทานต่อการคาดการณ์ที่ผิดปกติเมื่อเสียงข้างมากชัดเจน
- ใช้ได้กับตัวจำแนกพื้นฐานทุกประเภท (สามารถสร้างอองซอมเบิลแบบต่างชนิดได้)
การประยุกต์ใช้
- การวินิจฉัยทางการแพทย์: การรวมการคาดการณ์จากโมเดลสนับสนุนการตัดสินใจทางคลินิกหลายตัวเพื่อลดอคติของโมเดลแต่ละตัว
- การตรวจจับสแปม: การรวบรวมการตัดสินใจจากตัวกรองตามกฎ, Naive Bayes และตัวจำแนก SVM
- การประเมินความเสี่ยงด้านเครดิต: อองซอมเบิลของต้นไม้ตัดสินใจและโมเดลการถดถอยโลจิสติกที่ลงคะแนนในการอนุมัติสินเชื่อ
- การจำแนกภาพ: โครงข่ายประสาทเทียมแบบคอนโวลูชันหลายตัวลงคะแนนในหมวดหมู่ของวัตถุในการมองเห็นของคอมพิวเตอร์
- การวิเคราะห์ความรู้สึก: การรวมผลลัพธ์ของ LSTM, transformer และโมเดลคุณลักษณะที่สร้างขึ้นด้วยมือในการวิจารณ์ข้อความ
วิธีการทำงาน
วิธีการทำงาน
ฝึกตัวจำแนกพื้นฐาน K ตัวที่เป็นอิสระ (เช่น ต้นไม้ตัดสินใจ, การถดถอยโลจิสติก, โครงข่ายประสาทเทียม) บนชุดข้อมูลการฝึกเดียวกันหรือชุดข้อมูลที่ได้จากการบูตสแตรป
สำหรับตัวอย่างใหม่ ให้ป้อนผ่านตัวจำแนกที่ได้รับการฝึก K ตัวแต่ละตัว และรวบรวมการคาดการณ์แต่ละรายการ
นับคะแนนโหวตสำหรับแต่ละคลาสและกำหนดตัวอย่างใหม่ให้กับคลาสที่มีคะแนนโหวตมากที่สุด ในกรณีที่คะแนนเท่ากัน ให้ใช้กฎการตัดสินใจเมื่อคะแนนเท่ากัน (เช่น การเลือกแบบสุ่ม หรือลำดับความสำคัญที่กำหนดไว้ล่วงหน้า)
ข้อผิดพลาดที่พบบ่อย
- การฝึกตัวจำแนกพื้นฐานทั้งหมดบนข้อมูลที่เหมือนกันจะลดความหลากหลายและทำให้คะแนนโหวตซ้ำซ้อน
- การรวมตัวจำแนกที่อ่อนแอหรือมีอคติจะลดทอนอำนาจการลงคะแนนของโมเดลที่แม่นยำ
- การสมมติว่าการลงคะแนนเสียงข้างมากจะได้ผลโดยไม่ตรวจสอบว่าโมเดลพื้นฐานมีความเป็นอิสระเพียงพอหรือไม่
- การละเลยที่จะจัดการกับการเสมอกันอย่างมีกลยุทธ์—การตัดสินใจเมื่อคะแนนเท่ากันแบบสุ่มอาจทำให้เกิดความไม่เสถียร
คำถามที่พบบ่อย
ฉันจะเลือกจำนวนตัวจำแนกพื้นฐานได้อย่างไร?
เริ่มต้นด้วยตัวจำแนก 5–10 ตัว การเพิ่มจำนวนอาจช่วยเพิ่มความเสถียรแต่ให้ผลตอบแทนที่ลดลง ควรสร้างสมดุลระหว่างความแม่นยำที่เพิ่มขึ้นกับต้นทุนการคำนวณ ตัวจำแนกที่มากขึ้นจะช่วยได้เมื่อมีความหลากหลาย โมเดลที่ซ้ำซ้อนจะไม่มีประโยชน์เพิ่มเติม
จะเกิดอะไรขึ้นถ้าจำนวนตัวจำแนกพื้นฐานเป็นเลขคู่และเกิดการเสมอกัน?
กำหนดกฎการตัดสินใจเมื่อคะแนนเท่ากันก่อนการฝึก: กำหนดให้กับคลาสที่มีความมั่นใจในการคาดการณ์สะสมสูงสุด, ใช้การเลือกแบบสุ่ม หรือกำหนดให้กับคลาสเริ่มต้นที่กำหนดไว้ล่วงหน้า การตัดสินใจเมื่อคะแนนเท่ากันที่สอดคล้องกันจะช่วยให้สามารถทำซ้ำได้
ฉันสามารถใช้การลงคะแนนเสียงข้างมากกับปัญหาการถดถอยได้หรือไม่?
การลงคะแนนเสียงข้างมากแบบแข็ง (Hard voting) ออกแบบมาสำหรับการจำแนกประเภท สำหรับการถดถอย ให้ใช้การถัวเฉลี่ยแบบอ่อน (ค่าเฉลี่ยของการคาดการณ์) หรือการถัวเฉลี่ยแบบถ่วงน้ำหนักแทน
ความหลากหลายของตัวจำแนกพื้นฐานรับประกันประสิทธิภาพของอองซอมเบิลที่ดีขึ้นหรือไม่?
ความหลากหลายช่วยได้แต่ไม่เพียงพอ ตัวจำแนกพื้นฐานต้องมีความหลากหลายในรูปแบบข้อผิดพลาดและแต่ละตัวต้องดีกว่าการเดาสุ่ม วัดความหลากหลายเชิงประจักษ์ผ่านความสัมพันธ์ของข้อผิดพลาดในการฝึก
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วKuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว