การรวมแบบลงคะแนน
- ผู้เสนอ
- Lam & Suen; Kuncheva, L. I. (systematic treatment)
- ปี
- 1990s–2004
- ประเภท
- Ensemble (combination of multiple classifiers by vote)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การรวมแบบลงคะแนน (Voting Ensemble) คือการฝึกจำแนกประเภท (classifier) ที่หลากหลายหลายตัวแบบอิสระต่อกัน แล้วรวมการทำนายของพวกมันด้วยการลงคะแนน: การลงคะแนนแบบแข็ง (hard voting) จะเลือกคลาสที่ได้รับคะแนนเสียงมากที่สุด ในขณะที่การลงคะแนนแบบอ่อน (soft voting) จะหาค่าเฉลี่ยของประมาณการความน่าจะเป็นของคลาส โดยอาจมีน้ำหนักต่อโมเดล การรวมกันนี้มักจะให้ผลลัพธ์ที่ดีกว่าโมเดลเดี่ยวๆ และไม่ต้องมีการฝึกเพิ่มเติมหลังจากที่โมเดลพื้นฐานถูกปรับให้เหมาะสมแล้ว
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการถามแพทย์ห้าคนเพื่อวินิจฉัยโรค แล้วตัดสินใจตามความเห็นส่วนใหญ่ แพทย์แต่ละคนอาจผิดพลาดในลักษณะที่แตกต่างกัน แต่การรวบรวมคำวินิจฉัยของพวกเขาสามารถหักล้างข้อผิดพลาดเฉพาะตัวได้ การรวมแบบลงคะแนนก็ทำงานในลักษณะเดียวกัน: โมเดลที่หลากหลายจะผิดพลาดในตัวอย่างที่แตกต่างกัน ดังนั้นคะแนนเสียงรวมของพวกมันจึงน่าเชื่อถือกว่าโมเดลใดโมเดลหนึ่ง การลงคะแนนแบบอ่อนจะทำให้สิ่งนี้คมชัดขึ้นโดยการให้โมเดลที่มีความมั่นใจสูงกว่ามีส่วนร่วมตามสัดส่วนมากขึ้นในการตัดสินใจขั้นสุดท้ายผ่านการประมาณค่าความน่าจะเป็นของพวกมัน
ประวัติศาสตร์
การรวมตัวจำแนกประเภทด้วยคะแนนเสียงส่วนใหญ่ได้รับการศึกษาอย่างเป็นระบบตั้งแต่ช่วงต้นทศวรรษ 1990 โดยมีพื้นฐานทางทฤษฎีที่สำคัญโดย Lam และ Suen (1994) และ Kittler et al. (1998) หนังสือของ Ludmila Kuncheva ในปี 2004 ได้ให้การรักษาที่ชัดเจนเกี่ยวกับการรวมตัวจำแนกประเภทรูปแบบ (pattern classifiers) ซึ่งครอบคลุมการลงคะแนนแบบแข็งและอ่อน การลงคะแนนแบบถ่วงน้ำหนัก และบทบาทของความหลากหลาย การลงคะแนนแบบอ่อนได้รับความนิยมในทางปฏิบัติผ่าน VotingClassifier ของ scikit-learn ซึ่งทำให้การรวมตัวประมาณค่า (estimators) ใดๆ ในการเรียก API เดียวกันเป็นเรื่องง่าย
ควรใช้เมื่อใด
ใช้การรวมแบบลงคะแนนเมื่อคุณมีตัวจำแนกประเภทที่ฝึกมาแล้วสองตัวขึ้นไปและต้องการการรวมที่รวดเร็วและตีความได้โดยไม่มีค่าใช้จ่ายในการฝึกเพิ่มเติม มีคุณค่าอย่างยิ่งเมื่อโมเดลแต่ละตัวมีความแม่นยำเฉลี่ยใกล้เคียงกัน แต่มีโปรไฟล์ข้อผิดพลาดที่แตกต่างกัน — การรวมกันจะให้ผลกำไรที่แท้จริง การลงคะแนนแบบอ่อนเป็นที่ต้องการเมื่อโมเดลพื้นฐานส่งออกความน่าจะเป็นที่ปรับเทียบแล้ว อย่าใช้การรวมแบบลงคะแนนเพื่อทดแทนการเลือกโมเดลที่เหมาะสม: หากตัวเรียนรู้พื้นฐานทั้งหมดอ่อนแอหรือทำผิดพลาดที่สัมพันธ์กัน การรวมกันจะไม่ช่วย หลีกเลี่ยงเมื่อผู้มีส่วนได้ส่วนเสียหรือกฎระเบียบต้องการความสามารถในการตีความของโมเดลเดียว
ข้อจำกัดและข้อควรพิจารณา
- ผลกำไรน้อยหรือไม่มีเลยเมื่อตัวเรียนรู้พื้นฐานทำผิดพลาดที่สัมพันธ์กันอย่างมาก
- การลงคะแนนแบบอ่อนต้องการให้ตัวเรียนรู้พื้นฐานทั้งหมดส่งออกค่าประมาณความน่าจะเป็นที่ปรับเทียบและเปรียบเทียบได้
- ต้นทุนการอนุมานเพิ่มขึ้นตามจำนวนตัวเรียนรู้พื้นฐาน กลุ่มขนาดใหญ่อาจทำงานช้า
- ไม่มีกลไกในการเรียนรู้น้ำหนักการรวมที่เหมาะสมโดยอัตโนมัติ — ซึ่งแตกต่างจาก stacking น้ำหนักจะต้องถูกตั้งค่าด้วยตนเอง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ง่ายต่อการนำไปใช้: ไม่จำเป็นต้องมีการฝึก meta-learner นอกเหนือจากการปรับโมเดลพื้นฐาน
- มักจะปรับปรุงความแม่นยำและความทนทานเหนือตัวเรียนรู้พื้นฐานใดๆ เมื่อสมาชิกมีความหลากหลาย
- การลงคะแนนแบบอ่อนใช้ประโยชน์จากการปรับเทียบความน่าจะเป็น โดยทั่วไปให้ผลลัพธ์ที่ดีกว่าการลงคะแนนแบบแข็ง
- รองรับตระกูลโมเดลที่แตกต่างกัน ทำให้สามารถรวมตัวจำแนกประเภทใดๆ ได้
- ง่ายต่อการเพิ่มหรือลบตัวเรียนรู้พื้นฐานโดยไม่ต้องฝึกโครงสร้างพื้นฐานของกลุ่มใหม่
การประยุกต์ใช้
- การรวม logistic regression, SVM และโมเดลที่ใช้ต้นไม้สำหรับการทำนายความเสี่ยงทางคลินิก
- การจำแนกข้อความที่ทนทานโดยการรวบรวมการทำนายจากการปรับแต่งโมเดลภาษาหลายครั้ง
- การแข่งขันแมชชีนเลิร์นนิง (สไตล์ Kaggle) ที่การรวมโมเดลที่หลากหลายอันดับต้นๆ k อันดับ ช่วยเพิ่มคะแนนบนกระดานผู้นำ
- การตั้งค่าการผลิตที่ความทนทานของกลุ่มมีความสำคัญมากกว่าความเรียบง่ายของโมเดลเดียว
- กลุ่มพื้นฐานก่อนที่จะทุ่มเทความพยายามในการ stacking หรือ boosting
วิธีการทำงาน
วิธีการทำงาน
ชุดของ K ตัวเรียนรู้พื้นฐาน (base learners) ซึ่งอาจมาจากตระกูลโมเดลที่แตกต่างกันโดยสิ้นเชิง เช่น logistic regression, k-nearest-neighbours classifier, และ decision tree แต่ละตัวจะถูกฝึกแบบอิสระบนชุดข้อมูลฝึกทั้งหมด หรือบนการกำหนดค่าที่ปรับแต่งเองของแต่ละตัว ความหลากหลายระหว่างตัวเรียนรู้พื้นฐานเป็นสิ่งจำเป็น: โมเดลที่ทำผิดพลาดคล้ายคลึงกันจะได้รับประโยชน์เพียงเล็กน้อยจากการรวมกัน
ในเวลาอนุมาน (inference time) ตัวเรียนรู้พื้นฐานแต่ละตัวจะสร้างการทำนายสำหรับอินพุตใหม่ สำหรับการลงคะแนนแบบแข็ง นี่เป็นเพียงป้ายกำกับคลาส (class label) สำหรับการลงคะแนนแบบอ่อน แต่ละตัวเรียนรู้จะต้องส่งออกเวกเตอร์ของความน่าจะเป็นของคลาส ซึ่งกำหนดข้อจำกัดว่าตัวเรียนรู้พื้นฐานที่เลือกทั้งหมดจะต้องสามารถปรับเทียบเพื่อให้ส่งออกค่าประมาณความน่าจะเป็นที่มีความหมายได้
ในการลงคะแนนแบบแข็ง กลุ่มจะนับจำนวนโมเดลที่ทำนายแต่ละคลาส และกำหนดป้ายกำกับที่ได้รับคะแนนเสียงส่วนใหญ่ การเสมอจะถูกตัดสินโดยกฎที่กำหนดไว้ (เช่น ดัชนีคลาสที่ต่ำที่สุด) โหมดนี้ทำงานได้แม้ว่าตัวเรียนรู้พื้นฐานจะไม่สามารถสร้างความน่าจะเป็นที่เชื่อถือได้
สูตร
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]ในการลงคะแนนแบบอ่อน กลุ่มจะหาค่าเฉลี่ย (หรือหาค่าเฉลี่ยถ่วงน้ำหนักโดยใช้น้ำหนัก w_k) ของเวกเตอร์ความน่าจะเป็นของคลาสจากตัวเรียนรู้พื้นฐานทั้งหมด และทำนายคลาสที่มีความน่าจะเป็นเฉลี่ยสูงสุด เนื่องจาก การลงคะแนนแบบอ่อนใช้ประโยชน์จากขนาดของความน่าจะเป็นมากกว่าแค่ผู้ชนะ ดังนั้นโดยทั่วไปจึงให้ผลลัพธ์ที่ดีกว่าการลงคะแนนแบบแข็งเมื่อตัวเรียนรู้พื้นฐานได้รับการปรับเทียบอย่างดี
สูตร
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)กลุ่มจะส่งคืนป้ายกำกับคลาสที่ชนะ และในโหมดการลงคะแนนแบบอ่อน เวกเตอร์ความน่าจะเป็นเฉลี่ยที่สามารถใช้สำหรับการปรับเกณฑ์ การจัดอันดับ หรือการวินิจฉัยการปรับเทียบในภายหลัง ไม่จำเป็นต้องมีขั้นตอนการฝึกเพิ่มเติมเมื่อโมเดลพื้นฐานได้รับการปรับให้เหมาะสมแล้ว
ข้อผิดพลาดที่พบบ่อย
- การรวมตัวเรียนรู้พื้นฐานที่ปรับแต่งบนข้อมูลเดียวกันโดยไม่มีการตรวจสอบไขว้ (cross-validation) นำไปสู่การประมาณค่าข้อผิดพลาดที่มองโลกในแง่ดีเกินไป
- การใช้การลงคะแนนแบบอ่อนกับผลลัพธ์ความน่าจะเป็นที่ปรับเทียบไม่ดี (เช่น ค่าการตัดสินใจของ SVM ดิบ) อาจส่งผลเสียมากกว่าผลดี
- การเลือกตัวเรียนรู้พื้นฐานที่คล้ายกันเกินไป — ทุกรูปแบบของตระกูลโมเดลเดียวกัน — จะขจัดความหลากหลายและสิ้นเปลืองการคำนวณ
- การละเลยความไม่สมดุลของคลาส: หากตัวเรียนรู้พื้นฐานไม่สมดุลเป็นรายบุคคล คะแนนเสียงรวมของพวกมันจะขยายอคติของคลาสส่วนใหญ่
- การปฏิบัติต่อความแม่นยำของกลุ่มแบบลงคะแนนว่าเป็นขั้นสุดท้ายโดยไม่ได้ตรวจสอบว่าโมเดลเดี่ยวที่ง่ายกว่าบรรลุผลลัพธ์เดียวกันหรือไม่
คำถามที่พบบ่อย
ควรมีตัวเรียนรู้พื้นฐานกี่ตัว?
ไม่มีกฎตายตัว แต่ตัวจำแนกประเภทที่หลากหลายสามถึงเจ็ดตัวเป็นช่วงที่ใช้กันทั่วไป การเพิ่มผู้เรียนมากกว่าจุดที่ผลตอบแทนลดลงจะเพิ่มความหน่วงในการอนุมานโดยไม่ปรับปรุงความแม่นยำอย่างมีความหมาย
เมื่อใดที่ควรเลือกการลงคะแนนแบบอ่อนแทนการลงคะแนนแบบแข็ง?
ใช้การลงคะแนนแบบอ่อนเมื่อตัวเรียนรู้พื้นฐานทั้งหมดส่งออกผลลัพธ์ความน่าจะเป็นที่ปรับเทียบอย่างดี — โดยทั่วไปจะให้ความแม่นยำสูงกว่าเพราะใช้การกระจายความน่าจะเป็นทั้งหมดแทนที่จะเป็นเพียงคลาสที่ชนะ หากความน่าจะเป็นไม่ได้รับการปรับเทียบอย่างดีหรือไม่พร้อมใช้งาน การลงคะแนนแบบแข็งจะปลอดภัยกว่า
จะเลือกน้ำหนักในการลงคะแนนแบบอ่อนแบบถ่วงน้ำหนักได้อย่างไร?
แนวทางที่ง่ายคือการให้น้ำหนักแต่ละโมเดลตามความแม่นยำหรือ AUC ที่ตรวจสอบไขว้ (cross-validated) บนชุดข้อมูลฝึก แนวทางที่มีหลักการมากกว่าจะปรับน้ำหนักให้เหมาะสมผ่านชุดข้อมูลตรวจสอบที่แยกไว้ แต่มีความเสี่ยงที่จะเกิด overfitting หากชุดข้อมูลตรวจสอบมีขนาดเล็ก
การรวมแบบลงคะแนนแตกต่างจาก stacking อย่างไร?
การรวมแบบลงคะแนนรวมผลลัพธ์ของโมเดลพื้นฐานด้วยกฎที่กำหนดไว้ (คะแนนเสียงส่วนใหญ่หรือค่าเฉลี่ย) Stacking จะฝึก meta-learner บนผลลัพธ์ของโมเดลพื้นฐานเพื่อเรียนรู้การรวมที่เหมาะสมที่สุด — มีประสิทธิภาพมากกว่า แต่ซับซ้อนกว่าและเสี่ยงต่อการรั่วไหลของข้อมูลหากไม่ได้ใช้การตรวจสอบไขว้ (cross-validation) อย่างถูกต้อง
ความหลากหลายช่วยปรับปรุงกลุ่มเสมอหรือไม่?
ความหลากหลายเป็นสิ่งจำเป็นแต่ไม่เพียงพอ ตัวเรียนรู้พื้นฐานจะต้องมีความแม่นยำเป็นรายบุคคลด้วย กลุ่มของตัวจำแนกประเภทที่หลากหลายแต่ไม่แม่นยำก็ยังคงทำงานได้ไม่ดี เป้าหมายคือข้อผิดพลาดที่หลากหลายในหมู่โมเดลที่แม่นยำ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
ISBN: 978-0-471-21078-8คัดลอกแล้วDietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว