การรวมกลุ่มแบบแบ็กกิง
- ผู้เสนอ
- Leo Breiman
- ปี
- 1996
- ประเภท
- parallel ensemble
- กลุ่มวิธี
- Ensemble
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
แบ็กกิง (Bagging) ย่อมาจาก bootstrap aggregating เป็นวิธีการรวมกลุ่ม (ensemble method) ที่ช่วยลดความแปรปรวน (variance) โดยการฝึกฝนแบบจำลองการเรียนรู้เดียวหลายๆ ชุดบนชุดข้อมูลฝึกฝนแบบสุ่มที่แตกต่างกัน โดยแต่ละชุดข้อมูลย่อยได้มาจากการสุ่มแบบบูตสแตรป (bootstrap sampling) ซึ่งเป็นการสุ่มตัวอย่างแบบใส่คืน การทำนายจะถูกรวมเข้าด้วยกันผ่านการลงคะแนนเสียงข้างมาก (classification) หรือการหาค่าเฉลี่ย (regression) แบ็กกิงถูกนำเสนอโดย Leo Breiman ในปี 1996 เป็นรากฐานของ random forests และมีประสิทธิภาพอย่างยิ่งในการลดการเรียนรู้เกิน (overfitting) ในแบบจำลองที่มีความแปรปรวนสูง
แนวคิดเบื้องหลังวิธีการ
แนวคิดหลักคือการฝึกฝนแบบจำลองเดียวกันบนชุดข้อมูลย่อยแบบสุ่มที่แตกต่างกัน และหาค่าเฉลี่ยของการทำนาย จะช่วยลดความแปรปรวนโดยไม่เพิ่มความเอนเอียง (bias) หากแบบจำลองเกิดการเรียนรู้เกินกับตัวอย่างฝึกฝนบางส่วน ชุดข้อมูลบูตสแตรปที่แตกต่างกันจะเปิดเผยส่วนของการเรียนรู้เกินที่แตกต่างกัน และการหาค่าเฉลี่ยจะหักล้างรูปแบบที่ผิดพลาดออกไป แบ็กกิงทำงานโดยใช้ประโยชน์จากความเป็นสุ่ม: แต่ละชุดข้อมูลบูตสแตรปจะแตกต่างกันเล็กน้อย ดังนั้นแต่ละแบบจำลองที่ฝึกฝนก็จะแตกต่างกันเล็กน้อย และผลรวมของแบบจำลองเหล่านั้นจะเสถียรกว่าแบบจำลองเดี่ยวๆ
ประวัติศาสตร์
แบ็กกิงถูกนำเสนอโดย Leo Breiman ในปี 1996 โดยต่อยอดจากวิธีการบูตสแตรปจากสถิติ (Efron, 1979) Breiman แสดงให้เห็นว่าแบ็กกิงช่วยลดข้อผิดพลาดในการทำนายของตัวเรียนรู้ที่ไม่เสถียรโดยการลดความแปรปรวน วิธีการนี้กลายเป็นรากฐานสำคัญด้วยการนำเสนอ Random Forests (Breiman, 2001) ซึ่งรวมแบ็กกิงเข้ากับการเลือกคุณลักษณะแบบสุ่ม (random feature selection) แบ็กกิงยังคงเป็นเทคนิคมาตรฐานในแมชชีนเลิร์นนิง โดยเฉพาะอย่างยิ่งสำหรับวิธีการรวมกลุ่ม
ควรใช้เมื่อใด
ใช้แบ็กกิงเมื่อทำงานกับแบบจำลองที่มีความแปรปรวนสูง (เช่น ต้นไม้ตัดสินใจ, โครงข่ายประสาทเทียม) ที่มีแนวโน้มจะเกิดการเรียนรู้เกิน มีประสิทธิภาพมากที่สุดเมื่อตัวเรียนรู้พื้นฐานไม่เสถียร (unstable) คือไวต่อการเปลี่ยนแปลงเล็กน้อยในข้อมูลฝึกฝน แบ็กกิงมีประสิทธิภาพน้อยกว่าสำหรับแบบจำลองที่มีความเอนเอียงต่ำและความแปรปรวนต่ำ (เช่น k-NN ที่มี k น้อย, การถดถอยเชิงเส้นบนข้อมูลที่เสถียร) เหมาะสำหรับการประมวลผลแบบขนานเนื่องจากตัวเรียนรู้พื้นฐานแต่ละชุดสามารถฝึกฝนได้อย่างอิสระ
ข้อจำกัดและข้อควรพิจารณา
- ไม่ช่วยลดความเอนเอียง มีประสิทธิภาพเฉพาะกับตัวเรียนรู้พื้นฐานที่มีความแปรปรวนสูง
- ต้นทุนการคำนวณเพิ่มขึ้นตามจำนวนตัวเรียนรู้พื้นฐานแบบเชิงเส้น
- ชุดข้อมูลบูตสแตรปขาดความหลากหลายเมื่อเทียบกับกลยุทธ์การสุ่มตัวอย่างที่จงใจ
- อาจไม่ปรับปรุงประสิทธิภาพเมื่อแบบจำลองพื้นฐานมีความเอนเอียงสูง (เช่น แบบจำลองเชิงเส้นบนข้อมูลที่ซับซ้อน)
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ลดความแปรปรวนโดยไม่เพิ่มความเอนเอียง ปรับปรุงความสามารถในการสรุปผล (generalization)
- ทำงานได้กับตัวเรียนรู้พื้นฐานทุกประเภท สามารถใช้แบบจำลองที่ไม่เสถียร เช่น ต้นไม้ตัดสินใจ
- สามารถประมวลผลแบบขนานได้ง่าย แต่ละชุดข้อมูลบูตสแตรปสามารถประมวลผลได้อย่างอิสระ
- ให้ค่าประมาณความแปรปรวนผ่านการคำนวณข้อผิดพลาดนอกกลุ่มตัวอย่าง (out-of-bag error)
- ง่ายต่อการนำไปใช้โดยมีการปรับไฮเปอร์พารามิเตอร์น้อยที่สุด
การประยุกต์ใช้
- การวินิจฉัยทางการแพทย์: การใช้แบ็กกิงกับต้นไม้ตัดสินใจสำหรับการจำแนกโรค เพื่อปรับปรุงความทนทานต่อข้อมูลผู้ป่วยที่มีสัญญาณรบกวน
- การสร้างแบบจำลองความเสี่ยงทางการเงิน: การรวมกลุ่มต้นไม้ตัดสินใจสำหรับการทำนายการผิดนัดชำระหนี้ภายใต้สภาวะตลาดที่แตกต่างกัน
- การสำรวจระยะไกล: การใช้แบ็กกิงกับตัวจำแนกรูปภาพเพื่อจำแนกภาพถ่ายดาวเทียมด้วยการเรียนรู้เกินที่ลดลง
- จีโนมิกส์: วิธีการรวมกลุ่มสำหรับการเลือกยีนและการทำนายโรคจากข้อมูลไมโครอะเรย์ที่มีมิติสูง
- การควบคุมคุณภาพการผลิต: การใช้แบ็กกิงกับโครงข่ายประสาทเทียมสำหรับการตรวจจับข้อบกพร่องในกระบวนการผลิต
วิธีการทำงาน
วิธีการทำงาน
สร้างชุดข้อมูลบูตสแตรป B ชุด โดยการสุ่มจากข้อมูลฝึกฝนแบบใส่คืน โดยแต่ละชุดมีขนาดเท่ากับชุดข้อมูลดั้งเดิม
ฝึกฝนตัวเรียนรู้พื้นฐาน (base learner) ที่เป็นอิสระ (เช่น ต้นไม้ตัดสินใจ, โครงข่ายประสาทเทียม) บนแต่ละชุดข้อมูลบูตสแตรป
สำหรับข้อมูลนำเข้าใหม่ ให้ส่งผ่านไปยังตัวเรียนรู้พื้นฐานที่ฝึกฝนแล้วทั้งหมด B ชุด และรวบรวมการทำนายของแต่ละชุด
รวมการทำนายด้วยการลงคะแนนเสียงข้างมาก (classification) หรือการหาค่าเฉลี่ย (regression)
ข้อผิดพลาดที่พบบ่อย
- การใช้ตัวเรียนรู้พื้นฐานน้อยเกินไป (B < 20) ลดประโยชน์ในการลดความแปรปรวน ผลตอบแทนที่ลดลงมักเกิดขึ้นเมื่อ B อยู่ในช่วง 100-500
- การฝึกฝนตัวเรียนรู้พื้นฐานบนชุดข้อมูลย่อยที่ทับซ้อนกัน (เช่น การแบ่งข้อมูลตามลำดับ) แทนที่จะใช้ชุดข้อมูลบูตสแตรปแบบสุ่ม
- การสันนิษฐานว่าแบ็กกิงสามารถขจัดปัญหาการเรียนรู้เกินได้ แบ็กกิงช่วยลดความแปรปรวน แต่แบบจำลองที่มีความเอนเอียงสูงยังคงมีความเอนเอียงอยู่
- การไม่ใช้ประโยชน์จากการทำนายแบบนอกกลุ่มตัวอย่าง (out-of-bag predictions) สำหรับการตรวจสอบความถูกต้อง (validation) ทำให้พลาดทางเลือกที่มีประสิทธิภาพแทนการตรวจสอบไขว้ (cross-validation)
คำถามที่พบบ่อย
ควรใช้ชุดข้อมูลบูตสแตรป (B) จำนวนเท่าใด?
เริ่มต้นด้วย B = 50-100 และติดตามประสิทธิภาพ โดยทั่วไปประโยชน์จะเริ่มคงที่เมื่อ B อยู่ในช่วง 100-500 เพิ่ม B หากการลดความแปรปรวนเริ่มชะลอตัว สำหรับการใช้งานที่สำคัญ อาจพิจารณาใช้ B > 1000 แม้จะมีต้นทุนการคำนวณสูง
ข้อผิดพลาดนอกกลุ่มตัวอย่าง (out-of-bag error) คืออะไร และจะใช้อย่างไร?
ชุดข้อมูลบูตสแตรปแต่ละชุดจะยกเว้นข้อมูลดั้งเดิมประมาณ 1/3 (โดยเฉลี่ยประมาณ 36.8%) ข้อมูลนอกกลุ่มตัวอย่างเหล่านี้สามารถใช้เพื่อตรวจสอบความถูกต้องของแบบจำลองนั้นๆ โดยไม่ต้องใช้ชุดข้อมูลตรวจสอบแยกต่างหาก ค่าเฉลี่ยของข้อผิดพลาดนอกกลุ่มตัวอย่างจากทุกแบบจำลองจะประมาณค่าข้อผิดพลาดในการสรุปผล
แบ็กกิงดีกว่าการตรวจสอบไขว้ (cross-validation) หรือไม่?
ทั้งสองมีวัตถุประสงค์ที่แตกต่างกัน การตรวจสอบไขว้ใช้ประมาณประสิทธิภาพของแบบจำลอง ในขณะที่แบ็กกิงช่วยปรับปรุงประสิทธิภาพ ใช้แบ็กกิงเพื่อฝึกฝนแบบรวมกลุ่ม และใช้ค่าประมาณนอกกลุ่มตัวอย่างเพื่อตรวจสอบความถูกต้อง หลีกเลี่ยงภาระเพิ่มเติมของการตรวจสอบไขว้แบบ k-fold
แบ็กกิงสามารถปรับปรุงแบบจำลองที่มีความแปรปรวนต่ำ เช่น k-NN ได้หรือไม่?
ไม่มีประสิทธิภาพ แบ็กกิงถูกออกแบบมาสำหรับแบบจำลองที่มีความแปรปรวนสูง แบบจำลองที่มีความแปรปรวนต่ำ (เสถียร, เรียบง่าย) ได้รับประโยชน์น้อยจากการลดความแปรปรวน ควรพิจารณาวิธีการรวมกลุ่มอื่น ๆ หรือมุ่งเน้นไปที่การลดความเอนเอียงแทน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วEfron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว