Skip to content
กลับไปยังผลการค้นหา

การรวมกลุ่มแบบแบ็กกิง

ผู้เสนอ
Leo Breiman
ปี
1996
ประเภท
parallel ensemble
กลุ่มวิธี
Ensemble

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

แบ็กกิง (Bagging) ย่อมาจาก bootstrap aggregating เป็นวิธีการรวมกลุ่ม (ensemble method) ที่ช่วยลดความแปรปรวน (variance) โดยการฝึกฝนแบบจำลองการเรียนรู้เดียวหลายๆ ชุดบนชุดข้อมูลฝึกฝนแบบสุ่มที่แตกต่างกัน โดยแต่ละชุดข้อมูลย่อยได้มาจากการสุ่มแบบบูตสแตรป (bootstrap sampling) ซึ่งเป็นการสุ่มตัวอย่างแบบใส่คืน การทำนายจะถูกรวมเข้าด้วยกันผ่านการลงคะแนนเสียงข้างมาก (classification) หรือการหาค่าเฉลี่ย (regression) แบ็กกิงถูกนำเสนอโดย Leo Breiman ในปี 1996 เป็นรากฐานของ random forests และมีประสิทธิภาพอย่างยิ่งในการลดการเรียนรู้เกิน (overfitting) ในแบบจำลองที่มีความแปรปรวนสูง

แนวคิดเบื้องหลังวิธีการ

แนวคิดหลักคือการฝึกฝนแบบจำลองเดียวกันบนชุดข้อมูลย่อยแบบสุ่มที่แตกต่างกัน และหาค่าเฉลี่ยของการทำนาย จะช่วยลดความแปรปรวนโดยไม่เพิ่มความเอนเอียง (bias) หากแบบจำลองเกิดการเรียนรู้เกินกับตัวอย่างฝึกฝนบางส่วน ชุดข้อมูลบูตสแตรปที่แตกต่างกันจะเปิดเผยส่วนของการเรียนรู้เกินที่แตกต่างกัน และการหาค่าเฉลี่ยจะหักล้างรูปแบบที่ผิดพลาดออกไป แบ็กกิงทำงานโดยใช้ประโยชน์จากความเป็นสุ่ม: แต่ละชุดข้อมูลบูตสแตรปจะแตกต่างกันเล็กน้อย ดังนั้นแต่ละแบบจำลองที่ฝึกฝนก็จะแตกต่างกันเล็กน้อย และผลรวมของแบบจำลองเหล่านั้นจะเสถียรกว่าแบบจำลองเดี่ยวๆ

ประวัติศาสตร์

แบ็กกิงถูกนำเสนอโดย Leo Breiman ในปี 1996 โดยต่อยอดจากวิธีการบูตสแตรปจากสถิติ (Efron, 1979) Breiman แสดงให้เห็นว่าแบ็กกิงช่วยลดข้อผิดพลาดในการทำนายของตัวเรียนรู้ที่ไม่เสถียรโดยการลดความแปรปรวน วิธีการนี้กลายเป็นรากฐานสำคัญด้วยการนำเสนอ Random Forests (Breiman, 2001) ซึ่งรวมแบ็กกิงเข้ากับการเลือกคุณลักษณะแบบสุ่ม (random feature selection) แบ็กกิงยังคงเป็นเทคนิคมาตรฐานในแมชชีนเลิร์นนิง โดยเฉพาะอย่างยิ่งสำหรับวิธีการรวมกลุ่ม

ควรใช้เมื่อใด

ใช้แบ็กกิงเมื่อทำงานกับแบบจำลองที่มีความแปรปรวนสูง (เช่น ต้นไม้ตัดสินใจ, โครงข่ายประสาทเทียม) ที่มีแนวโน้มจะเกิดการเรียนรู้เกิน มีประสิทธิภาพมากที่สุดเมื่อตัวเรียนรู้พื้นฐานไม่เสถียร (unstable) คือไวต่อการเปลี่ยนแปลงเล็กน้อยในข้อมูลฝึกฝน แบ็กกิงมีประสิทธิภาพน้อยกว่าสำหรับแบบจำลองที่มีความเอนเอียงต่ำและความแปรปรวนต่ำ (เช่น k-NN ที่มี k น้อย, การถดถอยเชิงเส้นบนข้อมูลที่เสถียร) เหมาะสำหรับการประมวลผลแบบขนานเนื่องจากตัวเรียนรู้พื้นฐานแต่ละชุดสามารถฝึกฝนได้อย่างอิสระ

ข้อจำกัดและข้อควรพิจารณา

  • ไม่ช่วยลดความเอนเอียง มีประสิทธิภาพเฉพาะกับตัวเรียนรู้พื้นฐานที่มีความแปรปรวนสูง
  • ต้นทุนการคำนวณเพิ่มขึ้นตามจำนวนตัวเรียนรู้พื้นฐานแบบเชิงเส้น
  • ชุดข้อมูลบูตสแตรปขาดความหลากหลายเมื่อเทียบกับกลยุทธ์การสุ่มตัวอย่างที่จงใจ
  • อาจไม่ปรับปรุงประสิทธิภาพเมื่อแบบจำลองพื้นฐานมีความเอนเอียงสูง (เช่น แบบจำลองเชิงเส้นบนข้อมูลที่ซับซ้อน)

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ลดความแปรปรวนโดยไม่เพิ่มความเอนเอียง ปรับปรุงความสามารถในการสรุปผล (generalization)
  • ทำงานได้กับตัวเรียนรู้พื้นฐานทุกประเภท สามารถใช้แบบจำลองที่ไม่เสถียร เช่น ต้นไม้ตัดสินใจ
  • สามารถประมวลผลแบบขนานได้ง่าย แต่ละชุดข้อมูลบูตสแตรปสามารถประมวลผลได้อย่างอิสระ
  • ให้ค่าประมาณความแปรปรวนผ่านการคำนวณข้อผิดพลาดนอกกลุ่มตัวอย่าง (out-of-bag error)
  • ง่ายต่อการนำไปใช้โดยมีการปรับไฮเปอร์พารามิเตอร์น้อยที่สุด

การประยุกต์ใช้

  • การวินิจฉัยทางการแพทย์: การใช้แบ็กกิงกับต้นไม้ตัดสินใจสำหรับการจำแนกโรค เพื่อปรับปรุงความทนทานต่อข้อมูลผู้ป่วยที่มีสัญญาณรบกวน
  • การสร้างแบบจำลองความเสี่ยงทางการเงิน: การรวมกลุ่มต้นไม้ตัดสินใจสำหรับการทำนายการผิดนัดชำระหนี้ภายใต้สภาวะตลาดที่แตกต่างกัน
  • การสำรวจระยะไกล: การใช้แบ็กกิงกับตัวจำแนกรูปภาพเพื่อจำแนกภาพถ่ายดาวเทียมด้วยการเรียนรู้เกินที่ลดลง
  • จีโนมิกส์: วิธีการรวมกลุ่มสำหรับการเลือกยีนและการทำนายโรคจากข้อมูลไมโครอะเรย์ที่มีมิติสูง
  • การควบคุมคุณภาพการผลิต: การใช้แบ็กกิงกับโครงข่ายประสาทเทียมสำหรับการตรวจจับข้อบกพร่องในกระบวนการผลิต

วิธีการทำงาน

วิธีการทำงาน

1

สร้างชุดข้อมูลบูตสแตรป B ชุด โดยการสุ่มจากข้อมูลฝึกฝนแบบใส่คืน โดยแต่ละชุดมีขนาดเท่ากับชุดข้อมูลดั้งเดิม

2

ฝึกฝนตัวเรียนรู้พื้นฐาน (base learner) ที่เป็นอิสระ (เช่น ต้นไม้ตัดสินใจ, โครงข่ายประสาทเทียม) บนแต่ละชุดข้อมูลบูตสแตรป

3

สำหรับข้อมูลนำเข้าใหม่ ให้ส่งผ่านไปยังตัวเรียนรู้พื้นฐานที่ฝึกฝนแล้วทั้งหมด B ชุด และรวบรวมการทำนายของแต่ละชุด

4

รวมการทำนายด้วยการลงคะแนนเสียงข้างมาก (classification) หรือการหาค่าเฉลี่ย (regression)

ข้อผิดพลาดที่พบบ่อย

  • การใช้ตัวเรียนรู้พื้นฐานน้อยเกินไป (B < 20) ลดประโยชน์ในการลดความแปรปรวน ผลตอบแทนที่ลดลงมักเกิดขึ้นเมื่อ B อยู่ในช่วง 100-500
  • การฝึกฝนตัวเรียนรู้พื้นฐานบนชุดข้อมูลย่อยที่ทับซ้อนกัน (เช่น การแบ่งข้อมูลตามลำดับ) แทนที่จะใช้ชุดข้อมูลบูตสแตรปแบบสุ่ม
  • การสันนิษฐานว่าแบ็กกิงสามารถขจัดปัญหาการเรียนรู้เกินได้ แบ็กกิงช่วยลดความแปรปรวน แต่แบบจำลองที่มีความเอนเอียงสูงยังคงมีความเอนเอียงอยู่
  • การไม่ใช้ประโยชน์จากการทำนายแบบนอกกลุ่มตัวอย่าง (out-of-bag predictions) สำหรับการตรวจสอบความถูกต้อง (validation) ทำให้พลาดทางเลือกที่มีประสิทธิภาพแทนการตรวจสอบไขว้ (cross-validation)

คำถามที่พบบ่อย

ควรใช้ชุดข้อมูลบูตสแตรป (B) จำนวนเท่าใด?

เริ่มต้นด้วย B = 50-100 และติดตามประสิทธิภาพ โดยทั่วไปประโยชน์จะเริ่มคงที่เมื่อ B อยู่ในช่วง 100-500 เพิ่ม B หากการลดความแปรปรวนเริ่มชะลอตัว สำหรับการใช้งานที่สำคัญ อาจพิจารณาใช้ B > 1000 แม้จะมีต้นทุนการคำนวณสูง

ข้อผิดพลาดนอกกลุ่มตัวอย่าง (out-of-bag error) คืออะไร และจะใช้อย่างไร?

ชุดข้อมูลบูตสแตรปแต่ละชุดจะยกเว้นข้อมูลดั้งเดิมประมาณ 1/3 (โดยเฉลี่ยประมาณ 36.8%) ข้อมูลนอกกลุ่มตัวอย่างเหล่านี้สามารถใช้เพื่อตรวจสอบความถูกต้องของแบบจำลองนั้นๆ โดยไม่ต้องใช้ชุดข้อมูลตรวจสอบแยกต่างหาก ค่าเฉลี่ยของข้อผิดพลาดนอกกลุ่มตัวอย่างจากทุกแบบจำลองจะประมาณค่าข้อผิดพลาดในการสรุปผล

แบ็กกิงดีกว่าการตรวจสอบไขว้ (cross-validation) หรือไม่?

ทั้งสองมีวัตถุประสงค์ที่แตกต่างกัน การตรวจสอบไขว้ใช้ประมาณประสิทธิภาพของแบบจำลอง ในขณะที่แบ็กกิงช่วยปรับปรุงประสิทธิภาพ ใช้แบ็กกิงเพื่อฝึกฝนแบบรวมกลุ่ม และใช้ค่าประมาณนอกกลุ่มตัวอย่างเพื่อตรวจสอบความถูกต้อง หลีกเลี่ยงภาระเพิ่มเติมของการตรวจสอบไขว้แบบ k-fold

แบ็กกิงสามารถปรับปรุงแบบจำลองที่มีความแปรปรวนต่ำ เช่น k-NN ได้หรือไม่?

ไม่มีประสิทธิภาพ แบ็กกิงถูกออกแบบมาสำหรับแบบจำลองที่มีความแปรปรวนสูง แบบจำลองที่มีความแปรปรวนต่ำ (เสถียร, เรียบง่าย) ได้รับประโยชน์น้อยจากการลดความแปรปรวน ควรพิจารณาวิธีการรวมกลุ่มอื่น ๆ หรือมุ่งเน้นไปที่การลดความเอนเอียงแทน

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว