Skip to content
กลับไปยังผลการค้นหา

การลงคะแนนเสียงข้างมาก

ผู้เสนอ
Leo Breiman
ปี
1996
ประเภท
voting aggregation
กลุ่มวิธี
Ensemble

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การลงคะแนนเสียงข้างมาก (Majority voting) เป็นวิธีการแบบอองซอมเบิล (ensemble method) ที่รวมการคาดการณ์จากตัวจำแนกพื้นฐานหลายตัวโดยการเลือกคลาสที่ได้รับการโหวตมากที่สุด ตัวจำแนกพื้นฐานแต่ละตัวจะลงคะแนนหนึ่งเสียงสำหรับคลาสที่คาดการณ์ และการคาดการณ์สุดท้ายคือคลาสที่มีเสียงข้างมาก (plurality) แนวทางนี้ได้รับการกำหนดให้เป็นทางการโดย Leo Breiman และเพื่อนร่วมงานในทศวรรษ 1990 ในฐานะวิธีที่เรียบง่ายแต่มีประสิทธิภาพในการปรับปรุงความแม่นยำของการจำแนกประเภท

แนวคิดเบื้องหลังวิธีการ

แนวคิดหลักคือการรวมตัวจำแนกที่อ่อนแอแต่หลากหลายเข้าด้วยกันสามารถสร้างการตัดสินใจร่วมกันที่แข็งแกร่งขึ้นผ่านการลงคะแนนแบบประชาธิปไตย หากโมเดลแต่ละตัวไม่สมบูรณ์แต่มีความผิดพลาดที่แตกต่างกัน การลงคะแนนเสียงข้างมากจะช่วยกรองการจำแนกผิดพลาดที่เกิดขึ้นโดดเดี่ยวออกไป วิธีนี้จะได้ผลดีที่สุดเมื่อตัวจำแนกพื้นฐานมีความเป็นอิสระและมีความแม่นยำปานกลาง—ดีกว่าการเดาสุ่มแต่ไม่สมบูรณ์ ความแข็งแกร่งมาจากการไม่เห็นด้วย: เมื่อโมเดลไม่เห็นด้วย การตัดสินใจของกลุ่มจะน่าเชื่อถือกว่าโมเดลเดี่ยวใดๆ

ประวัติศาสตร์

การลงคะแนนเสียงข้างมากเกิดขึ้นในช่วงต้นทศวรรษ 1990 เมื่อการเรียนรู้แบบอองซอมเบิลได้รับความนิยม งานของ Breiman เกี่ยวกับการทำ bagging (1996) ทำให้แนวคิดของการรวมหลายโมเดลเป็นที่รู้จัก Kuncheva (2004) ได้นำเสนอทฤษฎีที่ครอบคลุมเกี่ยวกับวิธีการรวมอองซอมเบิล การลงคะแนนเสียงข้างมากแบบแข็ง (Hard voting) ยังคงเป็นหนึ่งในกลยุทธ์อองซอมเบิลที่ง่ายที่สุดและเข้าใจง่ายที่สุด ซึ่งมักใช้เป็นพื้นฐานสำหรับวิธีการที่ซับซ้อนกว่า เช่น stacking และ boosting

ควรใช้เมื่อใด

ใช้การลงคะแนนเสียงข้างมากเมื่อคุณมีตัวจำแนกพื้นฐานหลายตัวและต้องการการคาดการณ์แบบอองซอมเบิลที่เรียบง่ายและตีความได้ดี วิธีนี้ใช้ได้ดีกับการจำแนกหลายคลาสและสมมติว่าตัวจำแนกพื้นฐานค่อนข้างเป็นอิสระ จะมีประสิทธิภาพน้อยลงหากโมเดลพื้นฐานทั้งหมดมีแนวโน้มที่จะทำผิดพลาดแบบเดียวกันหรือมีความสัมพันธ์กันสูง ควรเลือกใช้วิธีการอองซอมเบิลอื่นๆ (boosting, stacking) หากคุณต้องการถ่วงน้ำหนักตัวเรียนรู้พื้นฐานตามความแม่นยำของแต่ละตัว

ข้อจำกัดและข้อควรพิจารณา

  • ละเลยความน่าเชื่อถือของตัวจำแนก—แต่ละโมเดลจะได้รับคะแนนโหวตเท่ากันโดยไม่คำนึงถึงความแม่นยำ
  • ไม่มีประสิทธิภาพหากตัวจำแนกพื้นฐานมีความสัมพันธ์กันสูงหรือทั้งหมดทำผิดพลาดอย่างเป็นระบบ
  • อาจเกิดการเสมอกันในการตั้งค่าหลายคลาส ซึ่งต้องใช้กฎการตัดสินใจเมื่อคะแนนเท่ากันโดยพลการ
  • ประสิทธิภาพขึ้นอยู่กับความหลากหลายและคุณภาพของตัวจำแนกพื้นฐานเป็นอย่างมาก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ง่ายต่อการนำไปใช้และทำความเข้าใจ—กฎการลงคะแนนที่ตรงไปตรงมาไม่จำเป็นต้องปรับแต่ง
  • มีประสิทธิภาพในการคำนวณ—เวลาในการคาดการณ์จะเพิ่มขึ้นเชิงเส้นตามจำนวนตัวจำแนกพื้นฐาน
  • ทนทานต่อการคาดการณ์ที่ผิดปกติเมื่อเสียงข้างมากชัดเจน
  • ใช้ได้กับตัวจำแนกพื้นฐานทุกประเภท (สามารถสร้างอองซอมเบิลแบบต่างชนิดได้)

การประยุกต์ใช้

  • การวินิจฉัยทางการแพทย์: การรวมการคาดการณ์จากโมเดลสนับสนุนการตัดสินใจทางคลินิกหลายตัวเพื่อลดอคติของโมเดลแต่ละตัว
  • การตรวจจับสแปม: การรวบรวมการตัดสินใจจากตัวกรองตามกฎ, Naive Bayes และตัวจำแนก SVM
  • การประเมินความเสี่ยงด้านเครดิต: อองซอมเบิลของต้นไม้ตัดสินใจและโมเดลการถดถอยโลจิสติกที่ลงคะแนนในการอนุมัติสินเชื่อ
  • การจำแนกภาพ: โครงข่ายประสาทเทียมแบบคอนโวลูชันหลายตัวลงคะแนนในหมวดหมู่ของวัตถุในการมองเห็นของคอมพิวเตอร์
  • การวิเคราะห์ความรู้สึก: การรวมผลลัพธ์ของ LSTM, transformer และโมเดลคุณลักษณะที่สร้างขึ้นด้วยมือในการวิจารณ์ข้อความ

วิธีการทำงาน

วิธีการทำงาน

1

ฝึกตัวจำแนกพื้นฐาน K ตัวที่เป็นอิสระ (เช่น ต้นไม้ตัดสินใจ, การถดถอยโลจิสติก, โครงข่ายประสาทเทียม) บนชุดข้อมูลการฝึกเดียวกันหรือชุดข้อมูลที่ได้จากการบูตสแตรป

2

สำหรับตัวอย่างใหม่ ให้ป้อนผ่านตัวจำแนกที่ได้รับการฝึก K ตัวแต่ละตัว และรวบรวมการคาดการณ์แต่ละรายการ

3

นับคะแนนโหวตสำหรับแต่ละคลาสและกำหนดตัวอย่างใหม่ให้กับคลาสที่มีคะแนนโหวตมากที่สุด ในกรณีที่คะแนนเท่ากัน ให้ใช้กฎการตัดสินใจเมื่อคะแนนเท่ากัน (เช่น การเลือกแบบสุ่ม หรือลำดับความสำคัญที่กำหนดไว้ล่วงหน้า)

ข้อผิดพลาดที่พบบ่อย

  • การฝึกตัวจำแนกพื้นฐานทั้งหมดบนข้อมูลที่เหมือนกันจะลดความหลากหลายและทำให้คะแนนโหวตซ้ำซ้อน
  • การรวมตัวจำแนกที่อ่อนแอหรือมีอคติจะลดทอนอำนาจการลงคะแนนของโมเดลที่แม่นยำ
  • การสมมติว่าการลงคะแนนเสียงข้างมากจะได้ผลโดยไม่ตรวจสอบว่าโมเดลพื้นฐานมีความเป็นอิสระเพียงพอหรือไม่
  • การละเลยที่จะจัดการกับการเสมอกันอย่างมีกลยุทธ์—การตัดสินใจเมื่อคะแนนเท่ากันแบบสุ่มอาจทำให้เกิดความไม่เสถียร

คำถามที่พบบ่อย

ฉันจะเลือกจำนวนตัวจำแนกพื้นฐานได้อย่างไร?

เริ่มต้นด้วยตัวจำแนก 5–10 ตัว การเพิ่มจำนวนอาจช่วยเพิ่มความเสถียรแต่ให้ผลตอบแทนที่ลดลง ควรสร้างสมดุลระหว่างความแม่นยำที่เพิ่มขึ้นกับต้นทุนการคำนวณ ตัวจำแนกที่มากขึ้นจะช่วยได้เมื่อมีความหลากหลาย โมเดลที่ซ้ำซ้อนจะไม่มีประโยชน์เพิ่มเติม

จะเกิดอะไรขึ้นถ้าจำนวนตัวจำแนกพื้นฐานเป็นเลขคู่และเกิดการเสมอกัน?

กำหนดกฎการตัดสินใจเมื่อคะแนนเท่ากันก่อนการฝึก: กำหนดให้กับคลาสที่มีความมั่นใจในการคาดการณ์สะสมสูงสุด, ใช้การเลือกแบบสุ่ม หรือกำหนดให้กับคลาสเริ่มต้นที่กำหนดไว้ล่วงหน้า การตัดสินใจเมื่อคะแนนเท่ากันที่สอดคล้องกันจะช่วยให้สามารถทำซ้ำได้

ฉันสามารถใช้การลงคะแนนเสียงข้างมากกับปัญหาการถดถอยได้หรือไม่?

การลงคะแนนเสียงข้างมากแบบแข็ง (Hard voting) ออกแบบมาสำหรับการจำแนกประเภท สำหรับการถดถอย ให้ใช้การถัวเฉลี่ยแบบอ่อน (ค่าเฉลี่ยของการคาดการณ์) หรือการถัวเฉลี่ยแบบถ่วงน้ำหนักแทน

ความหลากหลายของตัวจำแนกพื้นฐานรับประกันประสิทธิภาพของอองซอมเบิลที่ดีขึ้นหรือไม่?

ความหลากหลายช่วยได้แต่ไม่เพียงพอ ตัวจำแนกพื้นฐานต้องมีความหลากหลายในรูปแบบข้อผิดพลาดและแต่ละตัวต้องดีกว่าการเดาสุ่ม วัดความหลากหลายเชิงประจักษ์ผ่านความสัมพันธ์ของข้อผิดพลาดในการฝึก

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว