Boosting Ensemble
- ผู้เสนอ
- Robert Schapire
- ปี
- 1990
- ประเภท
- sequential ensemble
- กลุ่มวิธี
- Ensemble
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Boosting เป็นวิธีการแบบ Ensemble ที่ฝึกฝนตัวเรียนรู้ที่อ่อนแอ (weak learners) อย่างต่อเนื่อง และรวมตัวเรียนรู้เหล่านั้นเข้าด้วยกันเพื่อสร้างตัวทำนายที่แข็งแกร่ง (strong predictor) โดยมุ่งเน้นไปที่ตัวอย่างที่โมเดลก่อนหน้าจำแนกผิดพลาด ตัวเรียนรู้ที่อ่อนแอแต่ละตัวใหม่จะได้รับน้ำหนักตามความยากของงานฝึกฝน และการทำนายขั้นสุดท้ายจะทำผ่านการลงคะแนนแบบถ่วงน้ำหนัก Boosting ซึ่งริเริ่มโดย Schapire (1990) และปรับปรุงใน AdaBoost (Freund & Schapire, 1997) เป็นการแปลงตัวเรียนรู้ที่อ่อนแอ (ที่แทบจะดีกว่าการสุ่ม) ให้กลายเป็นตัวเรียนรู้ที่แข็งแกร่งผ่านการถ่วงน้ำหนักแบบต่อเนื่อง
แนวคิดเบื้องหลังวิธีการ
แนวคิดหลักคือการมุ่งเน้นไปที่ตัวอย่างที่ยากเป็นระยะๆ: ฝึกโมเดลที่อ่อนแอตัวแรก ระบุตัวอย่างที่โมเดลนั้นจำแนกผิด จากนั้นฝึกโมเดลที่อ่อนแอตัวใหม่โดยเพิ่มน้ำหนักให้กับตัวอย่างที่จำแนกผิดเหล่านั้น สิ่งนี้บังคับให้โมเดลแต่ละตัวที่ตามมาเรียนรู้รูปแบบที่โมเดลก่อนหน้าพลาดไป เมื่อผ่านไปหลายรอบ Ensemble จะรวมโมเดลที่อ่อนแอเข้าด้วยกันโดยถ่วงน้ำหนักตามความแม่นยำ ส่งผลให้เกิดตัวทำนายที่แข็งแกร่ง ซึ่งแตกต่างจาก bagging (แบบขนาน) boosting มีลักษณะเป็นลำดับขั้นโดยธรรมชาติ—โมเดลแต่ละตัวขึ้นอยู่กับประสิทธิภาพของโมเดลก่อนหน้า
ประวัติศาสตร์
Boosting มีต้นกำเนิดมาจากผลลัพธ์ทางทฤษฎีของ Schapire ในปี 1990 ซึ่งแสดงให้เห็นว่าตัวเรียนรู้ที่อ่อนแอสามารถรวมเข้าด้วยกันเป็นตัวเรียนรู้ที่แข็งแกร่งได้ AdaBoost (Freund & Schapire, 1997) ทำให้ boosting สามารถนำไปปฏิบัติได้จริงโดยการแนะนำการถ่วงน้ำหนักแบบปรับได้ Gradient boosting (Friedman, 2001) ได้ทำให้กรอบงานมีความทั่วไปมากขึ้น ทำให้สามารถปรับฟังก์ชันการสูญเสียใดๆ ให้เหมาะสมได้ รูปแบบที่ทันสมัย เช่น XGBoost, LightGBM และ CatBoost ได้กลายเป็นมาตรฐานอุตสาหกรรม โดยชนะการแข่งขัน machine learning จำนวนมาก
ควรใช้เมื่อใด
ใช้ boosting เมื่อคุณมีตัวเรียนรู้ที่อ่อนแอและต้องการรวมเข้าด้วยกันเป็น ensemble ที่แข็งแกร่ง มีประสิทธิภาพโดยเฉพาะอย่างยิ่งในการลดทั้ง bias และ variance Boosting ทำงานได้ดีที่สุดกับตัวเรียนรู้พื้นฐานที่มีความซับซ้อนปานกลาง (เช่น ต้นไม้ตัดสินใจแบบตื้น ความลึก 3-4) ที่สามารถปรับปรุงได้อย่างต่อเนื่อง หลีกเลี่ยงการใช้ boosting หากตัวเรียนรู้พื้นฐานแข็งแกร่งอยู่แล้ว หรือหากคุณต้องการการฝึกอบรมที่รวดเร็ว เนื่องจาก boosting แบบลำดับขั้นมีค่าใช้จ่ายในการคำนวณสูง
ข้อจำกัดและข้อควรพิจารณา
- การฝึกอบรมแบบลำดับขั้นมีค่าใช้จ่ายในการคำนวณสูงเมื่อเทียบกับวิธีการแบบขนาน เช่น bagging
- ไวต่อข้อมูลที่มีสัญญาณรบกวนและค่าผิดปกติ (ให้น้ำหนักตัวอย่างที่ยากมากเกินไป)
- ต้องมีการปรับแต่งอัตราการเรียนรู้ จำนวนรอบการทำซ้ำ และความซับซ้อนของตัวเรียนรู้พื้นฐานอย่างระมัดระวัง
- อาจเกิดการ overfitting หากจำนวนรอบการทำซ้ำมากเกินไป ต้องใช้การหยุดก่อนกำหนด (early stopping) หรือการตรวจสอบความถูกต้อง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ลดทั้ง bias และ variance บรรลุผลการสรุปผลทั่วไปที่เหนือกว่าบ่อยครั้ง
- แปลงตัวเรียนรู้ที่อ่อนแอให้เป็นตัวเรียนรู้ที่แข็งแกร่งผ่านการถ่วงน้ำหนักแบบซ้ำๆ
- การรับประกันทางทฤษฎีในการลดข้อผิดพลาด (ภายใต้เงื่อนไขบางประการ)
- ทำงานได้ดีกับตัวเรียนรู้พื้นฐานที่มี bias ต่ำและ variance สูง เช่น ต้นไม้ตัดสินใจ
- ทนทานต่อคุณลักษณะที่ไม่เกี่ยวข้องและสัญญาณรบกวนในข้อมูลการฝึกอบรม
การประยุกต์ใช้
- การประเมินความเสี่ยงด้านสินเชื่อ: การ boosting ต้นไม้ตัดสินใจแบบตื้นเพื่อจำแนกผู้กู้ที่มีความน่าเชื่อถือด้วยความแม่นยำที่เพิ่มขึ้น
- การตรวจจับใบหน้า: AdaBoost กับ Haar cascades สำหรับการตรวจจับใบหน้าแบบเรียลไทม์ในระบบคอมพิวเตอร์วิทัศน์
- การจำแนกประเภทข้อความ: gradient boosting สำหรับการวิเคราะห์ความรู้สึกและการจัดหมวดหมู่เอกสาร
- การวินิจฉัยทางการแพทย์: การ boosting ตัวจำแนกประเภทที่อ่อนแอสำหรับการทำนายโรคด้วยความไวและความจำเพาะสูง
- การตรวจจับการฉ้อโกง: วิธีการ ensemble boosting สำหรับการตรวจจับธุรกรรมที่ฉ้อโกงในข้อมูลทางการเงิน
วิธีการทำงาน
วิธีการทำงาน
เริ่มต้นด้วยน้ำหนักที่เท่ากันสำหรับตัวอย่างการฝึกอบรมทั้งหมด
สำหรับแต่ละรอบการทำซ้ำ: ฝึกตัวเรียนรู้ที่อ่อนแอ (เช่น ต้นไม้ตัดสินใจแบบตื้น) บนข้อมูลการฝึกอบรมที่มีน้ำหนัก คำนวณอัตราข้อผิดพลาด และเพิ่มน้ำหนักให้กับตัวอย่างที่จำแนกผิด
กำหนดน้ำหนักให้กับตัวเรียนรู้ที่อ่อนแอแต่ละตัวตามความแม่นยำ ตัวเรียนรู้ที่แม่นยำกว่าจะได้รับน้ำหนักสูงกว่า ตัวเรียนรู้ที่อ่อนแอ (ใกล้เคียงการสุ่ม) จะได้รับน้ำหนักต่ำกว่า
สำหรับตัวอย่างใหม่ รวบรวมการทำนายจากตัวเรียนรู้ที่อ่อนแอทั้งหมดผ่านการลงคะแนนแบบถ่วงน้ำหนัก โดยน้ำหนักสะท้อนถึงความแม่นยำของตัวเรียนรู้แต่ละตัว
ข้อผิดพลาดที่พบบ่อย
- การใช้ตัวเรียนรู้พื้นฐานที่แข็งแกร่ง (เช่น ต้นไม้ตัดสินใจแบบลึก) จะทำให้วัตถุประสงค์ของการ boosting เสียไป ให้ยึดติดกับตัวเรียนรู้ที่อ่อนแอ
- การฝึกอบรมเป็นจำนวนรอบที่มากเกินไปโดยไม่ตรวจสอบข้อผิดพลาดในการตรวจสอบ ทำให้เกิดการ overfitting
- การตั้งค่าอัตราการเรียนรู้ที่สูงเกินไป ซึ่งทำให้เกิดความไม่เสถียรในน้ำหนักของตัวอย่าง
- การไม่ตรวจสอบประสิทธิภาพนอกตัวอย่าง: boosting อาจเกิดการ overfitting กับสัญญาณรบกวนในการฝึกอบรมหากไม่ได้รับการควบคุม
คำถามที่พบบ่อย
ตัวเรียนรู้ที่อ่อนแอคืออะไร และควรจะอ่อนแอแค่ไหน?
ตัวเรียนรู้ที่อ่อนแอคือตัวจำแนกประเภทที่มีอัตราข้อผิดพลาดต่ำกว่า 50% เล็กน้อย (ดีกว่าการสุ่มเดา) ในทางปฏิบัติ ให้ใช้โมเดลที่เรียบง่าย เช่น ต้นไม้ตัดสินใจที่มีความลึก 2-3 หรือตัวจำแนกประเภทเชิงเส้นแบบสั้น หากตัวเรียนรู้พื้นฐานมีข้อผิดพลาด > 45% boosting จะปรับปรุงให้ดีขึ้น หาก < 10% ตัวเรียนรู้นั้นแข็งแกร่งเกินไปและ boosting จะเพิ่มคุณค่าน้อย
ควรใช้ boosting กี่รอบ?
เริ่มต้นด้วย 50-100 รอบ และตรวจสอบข้อผิดพลาดในการตรวจสอบ ใช้การหยุดก่อนกำหนด: หากข้อผิดพลาดในการตรวจสอบคงที่หรือเพิ่มขึ้นในช่วงหลายรอบ ให้หยุดการฝึกอบรม สำหรับการใช้งานจริง 100-1000 รอบเป็นเรื่องปกติ ขึ้นอยู่กับขนาดและความซับซ้อนของข้อมูล
boosting แตกต่างจาก bagging อย่างไร?
Bagging ฝึกฝนตัวเรียนรู้พื้นฐานแบบขนานบนชุดข้อมูลย่อยแบบสุ่มและหาค่าเฉลี่ยของการทำนาย (ไม่มีการถ่วงน้ำหนัก) Boosting ฝึกฝนแบบลำดับขั้น ถ่วงน้ำหนักตัวอย่างที่ยาก และใช้การลงคะแนนแบบถ่วงน้ำหนัก Bagging ลด variance; boosting ลดทั้ง bias และ variance Bagging เร็วกว่า; boosting มีประสิทธิภาพมากกว่า
เหตุใด boosting จึงเกิดการ overfitting เมื่อใช้จำนวนรอบมากเกินไป?
เมื่อจำนวนรอบเพิ่มขึ้น น้ำหนักของค่าผิดปกติจะเพิ่มขึ้นแบบทวีคูณ ทำให้ ensemble ปรับเข้ากับสัญญาณรบกวน ข้อผิดพลาดในการฝึกอบรมยังคงลดลง แต่ข้อผิดพลาดในการทดสอบอาจเพิ่มขึ้น ตรวจสอบข้อผิดพลาดในการตรวจสอบและหยุดเมื่อเริ่มเพิ่มขึ้น โดยใช้การหยุดก่อนกำหนดเพื่อป้องกันการ overfitting
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197-227.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วFreund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119-139.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว