Skip to content
กลับไปยังผลการค้นหา

แบ็กกิง — การรวมแบบบูตสแตรป (Bagging: Bootstrap Aggregating)

ผู้เสนอ
Breiman, L.
ปี
1996
ประเภท
Ensemble meta-algorithm (variance reduction via bootstrap aggregation)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Bagging หรือ Bootstrap Aggregating เป็นเมตาอัลกอริทึมแบบ Ensemble ที่ Leo Breiman นำเสนอในปี 1996 ซึ่งฝึกฝนตัวเรียนรู้พื้นฐานหลายชุด (base learner) โดยใช้ตัวอย่างบูตสแตรป (bootstrap samples) ที่สุ่มมาอย่างอิสระจากข้อมูลการฝึกฝน และรวมผลการทำนายเข้าด้วยกัน — โดยการหาค่าเฉลี่ยสำหรับการถดถอย หรือการลงคะแนนเสียงข้างมากสำหรับการจำแนกประเภท — เพื่อสร้างตัวทำนายสุดท้ายที่มีความแปรปรวนต่ำกว่าตัวเรียนรู้พื้นฐานตัวเดียวอย่างมาก

แนวคิดเบื้องหลังวิธีการ

ลองจินตนาการถึงการขอความเห็นจากผู้เชี่ยวชาญคนหนึ่ง: คำตอบของพวกเขาขึ้นอยู่กับประสบการณ์เฉพาะของพวกเขาอย่างมาก ตอนนี้ลองจินตนาการถึงการขอความเห็นจากผู้เชี่ยวชาญหนึ่งร้อยคน ซึ่งแต่ละคนมีพื้นเพที่แตกต่างกันเล็กน้อย และนำคำตอบของพวกเขามาหาค่าเฉลี่ย ความแปลกประหลาดส่วนบุคคลจะถูกหักล้างกันไป และฉันทามติของกลุ่มจะน่าเชื่อถือกว่ามาก Bagging ทำสิ่งนี้กับโมเดลการเรียนรู้ของเครื่อง: มันสร้างชุดข้อมูลการฝึกฝนที่แตกต่างกันเล็กน้อยหลายชุดโดยการสุ่มตัวอย่างข้อมูลเดิมแบบมีการใส่คืน (resampling with replacement) ฝึกฝนโมเดลหนึ่งตัวต่อหนึ่งชุด และรวมผลการทำนายทั้งหมดเข้าด้วยกัน โมเดลแต่ละตัวเห็นความเป็นจริงที่แตกต่างกันเล็กน้อย ดังนั้นข้อผิดพลาดส่วนบุคคลของพวกมันจึงมักจะไม่สอดคล้องกัน และผลรวมจะมีความเสถียรมากกว่าโมเดลตัวเดียวอย่างมาก

ประวัติศาสตร์

Leo Breiman ตีพิมพ์ Bagging Predictors ใน Machine Learning ในปี 1996 โดยมีแรงจูงใจจากการสังเกตว่าตัวเรียนรู้ที่ไม่เสถียร — ซึ่งผลลัพธ์เปลี่ยนแปลงอย่างมากภายใต้การรบกวนข้อมูลเล็กน้อย — สามารถทำให้เสถียรได้โดยการหาค่าเฉลี่ยจากชุดข้อมูลการฝึกฝนที่ทำซ้ำแบบบูตสแตรป การให้เหตุผลทางทฤษฎีอยู่บนพื้นฐานของการแยกองค์ประกอบความเอนเอียง-ความแปรปรวน (bias-variance decomposition): การหาค่าเฉลี่ยช่วยลดความแปรปรวนในขณะที่ความลำเอียงยังคงไม่เปลี่ยนแปลง Breiman แสดงให้เห็นถึงการปรับปรุงความแม่นยำอย่างสม่ำเสมอเมื่อเทียบกับต้นไม้ตัดสินใจตัวเดียวในการทดสอบการจำแนกประเภทและการถดถอยหลายชุด Bagging กลายเป็นเทคนิค Ensemble พื้นฐานอย่างรวดเร็วและเป็นแรงบันดาลใจโดยตรงให้กับ Random Forest (Breiman, 2001) ซึ่งเพิ่มการสุ่มเลือกคุณลักษณะย่อย (random feature subsampling) ในแต่ละการแยกเพื่อลดความสัมพันธ์ระหว่างต้นไม้เพิ่มเติมและบรรลุการลดความแปรปรวนที่มากขึ้นไปอีก ปัจจุบัน Bagging ทำหน้าที่เป็นแกนหลักทางแนวคิดสำหรับวิธีการ Ensemble ที่หลากหลายและเป็นหัวข้อมาตรฐานในหลักสูตรการเรียนรู้ของเครื่องระดับบัณฑิตศึกษา

ควรใช้เมื่อใด

Bagging เหมาะสมเมื่อใดก็ตามที่อัลกอริทึมการเรียนรู้พื้นฐานมีความแปรปรวนสูง — นั่นคือ ไวต่อการรบกวนเล็กน้อยในข้อมูลการฝึกฝน — และการลดความแปรปรวนนั้นเป็นแหล่งที่มาหลักของข้อผิดพลาด ต้นไม้ตัดสินใจที่เติบโตเต็มที่และไม่มีการตัดแต่งกิ่งเป็นตัวอย่างที่เป็นแบบอย่าง Bagging เหมาะสำหรับทั้งการจำแนกประเภทและการถดถอยบนข้อมูลตาราง ไม่ต้องมีข้อสมมติฐานเกี่ยวกับการแจกแจงข้อมูล และจัดการกับประเภทคุณลักษณะที่หลากหลาย มีประโยชน์มากที่สุดเมื่อชุดข้อมูลมีขนาดใหญ่พอที่จะรองรับตัวอย่างบูตสแตรป B ชุดที่มีคุณภาพ (อย่างน้อยประมาณ 30 การสังเกตเป็นขีดจำกัดล่างในทางปฏิบัติ แม้ว่าหลายร้อยจะดีกว่า) Bagging ไม่มีประโยชน์เมื่อตัวเรียนรู้พื้นฐานมีความเสถียรอยู่แล้ว (เช่น การถดถอยเชิงเส้นในปัญหาที่ระบุได้ดี) หรือเมื่อแหล่งที่มาของข้อผิดพลาดหลักคือความลำเอียง (bias) มากกว่าความแปรปรวน — ในกรณีเช่นนี้ วิธีการ Boosting จะเหมาะสมกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ไม่ลดความลำเอียง: หากตัวเรียนรู้พื้นฐานมีการเรียนรู้ไม่เพียงพอ (underfit) Bagging ไม่สามารถแก้ไขได้
  • ผลการทำนายของ Ensemble ตีความได้ยากกว่าโมเดลตัวเดียว; ไม่มีสิ่งที่เทียบเท่ากับโครงสร้างภาพของต้นไม้ตัดสินใจตัวเดียว
  • หน่วยความจำและพื้นที่จัดเก็บข้อมูลเพิ่มขึ้นเป็นเชิงเส้นตาม B: การเก็บโมเดลขนาดใหญ่หลายร้อยตัวในหน่วยความจำอาจเป็นข้อจำกัด
  • ผลประโยชน์ลดลงอย่างรวดเร็วเมื่อ B เพิ่มขึ้น; ประสิทธิภาพมักจะคงที่ก่อนที่ B = 500
  • กับตัวเรียนรู้พื้นฐานที่เสถียร (เช่น การถดถอยเชิงเส้นที่มีการระบุที่ถูกต้อง) Bagging ให้การปรับปรุงเพียงเล็กน้อย

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ลดความแปรปรวนของตัวประมาณค่าโดยตรงโดยไม่เพิ่มความลำเอียง ทำให้ได้ผลการทำนายที่เสถียรกว่าโมเดลพื้นฐานตัวเดียว
  • สามารถประมวลผลแบบขนานได้อย่างง่ายดาย: การวนซ้ำบูตสแตรปแต่ละครั้งเป็นอิสระ ทำให้การสร้าง Ensemble ขนาดใหญ่สามารถทำได้ในทางคอมพิวเตอร์
  • การประมาณค่าความผิดพลาด OOB ในตัวให้การประมาณค่าการวางนัยทั่วไปที่ไม่เอนเอียงโดยไม่มีค่าใช้จ่ายข้อมูลเพิ่มเติม
  • เมตาอัลกอริทึมที่ไม่ขึ้นกับโมเดล: เข้ากันได้กับตัวเรียนรู้พื้นฐานที่ไม่เสถียรเพียงพอ (เช่น ต้นไม้, โครงข่ายประสาทเทียม, เพื่อนบ้านใกล้ที่สุด)
  • ทนทานต่อค่าผิดปกติในชุดข้อมูลการฝึกฝน: การสังเกตที่ผิดปกติเพียงครั้งเดียวจะไม่อยู่ในตัวอย่างบูตสแตรปส่วนใหญ่

การประยุกต์ใช้

  • การสร้างโมเดลการจำแนกประเภทและการถดถอยที่เสถียรบนข้อมูลตารางที่มีสัญญาณรบกวน ซึ่งต้นไม้ตัดสินใจตัวเดียวจะเกิดการเรียนรู้เกิน (overfit)
  • การสร้างช่วงการทำนายโดยการตรวจสอบการกระจายของการทำนายจากตัวเรียนรู้พื้นฐาน B ตัว
  • การประมาณความสำคัญของคุณลักษณะผ่านการลดลงของความแม่นยำ OOB เมื่อคุณลักษณะแต่ละตัวถูกสับเปลี่ยนใน Ensemble
  • Ensemble baseline: เกณฑ์มาตรฐานอย่างรวดเร็วเพื่อวัดว่าวิธีการที่ซับซ้อนกว่า (boosting, stacking) ปรับปรุงได้มากน้อยเพียงใดเมื่อเทียบกับการรวมแบบง่าย

วิธีการทำงาน

วิธีการทำงาน

1

มีการสุ่มตัวอย่างบูตสแตรป B ชุดจากชุดข้อมูลการฝึกฝนดั้งเดิมขนาด n ตัวอย่างแต่ละชุดถูกสร้างขึ้นโดยการสุ่มเลือก n การสังเกตแบบมีการใส่คืนจากข้อมูลเดิม ดังนั้นโดยเฉลี่ยแล้วแต่ละตัวอย่างจะประกอบด้วยประมาณ 63.2% ของอินสแตนซ์การฝึกฝนที่ไม่ซ้ำกัน ส่วนที่เหลือประมาณ 36.8% จะถูกละทิ้งและก่อให้เกิดชุดข้อมูลนอกถุง (out-of-bag หรือ OOB) สำหรับการวนซ้ำนั้น

สูตร
\mathcal{D}_b = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^{n}, \quad (\mathbf{x}_i^*, y_i^*) \overset{\text{i.i.d.}}{\sim} \hat{F}_n, \quad b = 1, \dots, B
2

อัลกอริทึมการเรียนรู้พื้นฐาน — ส่วนใหญ่มักจะเป็นต้นไม้ตัดสินใจที่เติบโตเต็มที่ แต่ตัวเรียนรู้ที่ไม่เสถียรเพียงพอใดๆ ก็สามารถใช้ได้ — จะถูกปรับให้เข้ากับตัวอย่างบูตสแตรปแต่ละชุดอย่างอิสระ ทำให้ได้โมเดลที่แตกต่างกัน B ตัว ข้อกำหนดสำคัญคือความไม่เสถียร: หากการรบกวนข้อมูลเล็กน้อยทำให้เกิดการเปลี่ยนแปลงโมเดลขนาดใหญ่ Bagging จะให้การลดความแปรปรวนได้มากที่สุด

สูตร
\hat{f}_b = \mathcal{A}(\mathcal{D}_b)
3

สำหรับงานการถดถอย ผลลัพธ์ของโมเดล B ตัวจะถูกนำมาหาค่าเฉลี่ย ขั้นตอนการหาค่าเฉลี่ยนี้เป็นกลไกหลักในการลดความแปรปรวน: ภายใต้สมมติฐานความเป็นอิสระ ความแปรปรวนของค่าเฉลี่ยของโมเดล B ตัวที่มีการแจกแจงเหมือนกันคือ 1/B ของความแปรปรวนของโมเดลตัวเดียว และแม้ภายใต้ความสัมพันธ์เชิงบวก การลดลงก็ยังคงมีนัยสำคัญ

สูตร
\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(\mathbf{x})
4

สำหรับงานการจำแนกประเภท ตัวเรียนรู้พื้นฐานแต่ละตัวจะลงคะแนนเสียงหนึ่งเสียงสำหรับป้ายกำกับคลาส และคลาสที่มีคะแนนเสียงมากที่สุดจะถูกส่งคืนเป็นผลการทำนายสุดท้าย กรณีที่คะแนนเสียงเท่ากันจะถูกตัดสินโดยพลการ การลงคะแนนเสียงแบบพหุคูณ (plurality voting) มีเทียบเท่ากันเชิงเส้นกำกับ (asymptotically equivalent) กับการหาค่าเฉลี่ยการประมาณความน่าจะเป็นของคลาสที่ผลิตโดยตัวเรียนรู้พื้นฐานแต่ละตัว

สูตร
\hat{y}(\mathbf{x}) = \underset{k}{\operatorname{arg\,max}} \sum_{b=1}^{B} \mathbf{1}\!\left[\hat{f}_b(\mathbf{x}) = k\right]
5

เนื่องจากตัวเรียนรู้พื้นฐานแต่ละตัวได้รับการฝึกฝนจากข้อมูลประมาณ 63.2% การสังเกตที่เหลือสามารถใช้เป็นชุดทดสอบที่ไม่เอนเอียงสำหรับตัวเรียนรู้นั้น การหาค่าเฉลี่ยการทำนาย OOB เหล่านี้จากตัวเรียนรู้ทั้งหมดที่ไม่ได้เห็นการสังเกตแต่ละครั้ง จะให้การประมาณค่าข้อผิดพลาดในการวางนัยทั่วไป (generalisation error) ที่เกือบจะไม่ลำเอียง โดยไม่จำเป็นต้องมีการแยกชุดข้อมูลตรวจสอบ (validation fold) หรือการตรวจสอบแบบไขว้ (cross-validation) แยกต่างหาก

สูตร
\widehat{\text{Err}}_{\text{OOB}} = \frac{1}{n} \sum_{i=1}^{n} L\!\left(y_i,\; \frac{1}{|\mathcal{B}_i^c|} \sum_{b \in \mathcal{B}_i^c} \hat{f}_b(\mathbf{x}_i)\right)

ข้อผิดพลาดที่พบบ่อย

  • การใช้ Bagging กับตัวเรียนรู้พื้นฐานที่มีความแปรปรวนต่ำ (เช่น การถดถอยแบบ Ridge) และคาดหวังการเพิ่มความแม่นยำอย่างมาก
  • การตั้งค่า B น้อยเกินไป (เช่น B < 10) ทำให้ผลรวมยังคงมีสัญญาณรบกวน และการประมาณค่า OOB ไม่น่าเชื่อถือ
  • การละเลยความไม่สมดุลของคลาส: Bagging รักษาการแจกแจงคลาสของข้อมูลเดิมในตัวอย่างบูตสแตรปแต่ละชุด ดังนั้นความไม่สมดุลที่รุนแรงจะถูกจำลองซ้ำในตัวเรียนรู้ทั้งหมด
  • การสับสนระหว่าง Bagging กับ Boosting: Bagging ฝึกฝนโมเดลแบบขนานบนตัวอย่างอิสระเพื่อลดความแปรปรวน ในขณะที่ Boosting ฝึกฝนโมเดลตามลำดับเพื่อลดความลำเอียง — พวกมันจัดการกับแหล่งที่มาของข้อผิดพลาดที่แตกต่างกัน
  • การถือว่าข้อผิดพลาด OOB เป็นตัวแทนของการประเมินด้วยชุดข้อมูลแยกต่างหากที่เหมาะสมเมื่อชุดข้อมูลมีขนาดเล็กมาก เนื่องจากการประมาณค่า OOB อาจมองโลกในแง่ดีเกินไปในสถานการณ์นั้น

คำถามที่พบบ่อย

ฉันควรใช้ตัวอย่างบูตสแตรป B จำนวนเท่าใด

Breiman (1996) พบว่าประสิทธิภาพจะคงที่ค่อนข้างเร็ว; B = 50 ถึง 100 มักจะเพียงพอสำหรับต้นไม้ตัดสินใจ การเพิ่ม B เกินสองสามร้อยจะให้ผลตอบแทนที่ลดลง ตรวจสอบข้อผิดพลาด OOB เมื่อ B เพิ่มขึ้นและหยุดเมื่อมันคงที่

ความแตกต่างระหว่าง Bagging และ Random Forest คืออะไร

Random Forest ขยาย Bagging โดยการเพิ่มการสุ่มเลือกคุณลักษณะย่อยในแต่ละการแยกของต้นไม้ทุกต้น การสุ่มเพิ่มเติมนี้ช่วยลดความสัมพันธ์ระหว่างตัวเรียนรู้พื้นฐานได้อีก ทำให้ลดความแปรปรวนได้มากกว่าที่ Bagging เพียงอย่างเดียวทำได้ ดังนั้น Bagging ที่ใช้ต้นไม้ที่เติบโตเต็มที่จึงเป็นกรณีพิเศษของ Random Forest ที่คุณลักษณะทั้งหมดถูกพิจารณาในการแยกทุกครั้ง

สามารถใช้ Bagging กับตัวเรียนรู้ที่ไม่ใช่ต้นไม้ตัดสินใจได้หรือไม่

ได้ ตัวเรียนรู้ใดๆ ที่ไม่เสถียร — ซึ่งผลการทำนายเปลี่ยนแปลงอย่างมากเมื่อข้อมูลการฝึกฝนเปลี่ยนแปลงเล็กน้อย — สามารถได้รับประโยชน์จาก Bagging โครงข่ายประสาทเทียม, k-nearest neighbours และต้นไม้ถดถอยที่ไม่มีการตัดแต่งกิ่ง ล้วนเข้าข่าย ตัวเรียนรู้ที่เสถียร เช่น การถดถอยเชิงเส้นที่มีโมเดลที่ระบุได้ดี จะได้รับประโยชน์เพียงเล็กน้อยเนื่องจากมีความแปรปรวนที่จะลดลงน้อย

ข้อผิดพลาด OOB เป็นตัวแทนที่เชื่อถือได้ของการตรวจสอบแบบไขว้หรือไม่

สำหรับชุดข้อมูลขนาดปานกลางถึงใหญ่ ข้อผิดพลาด OOB เป็นการประมาณค่าข้อผิดพลาดในการวางนัยทั่วไปที่เกือบจะไม่ลำเอียงและไม่มีค่าใช้จ่ายในการคำนวณ เนื่องจากไม่จำเป็นต้องมีการปรับโมเดลเพิ่มเติม สำหรับชุดข้อมูลขนาดเล็กมาก (n ต่ำกว่าประมาณ 50) การประมาณค่า OOB อาจมองโลกในแง่ดีเกินไป และการตรวจสอบแบบไขว้จะดีกว่า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2), 123–140.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8.7). Springer.

    ISBN: 978-0-387-84857-0
    คัดลอกแล้ว
  3. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8.2). Springer.

    ISBN: 978-1-4614-7138-7
    คัดลอกแล้ว