Skip to content
กลับไปยังผลการค้นหา

Boosting

ผู้เสนอ
Schapire, R. E.; Freund, Y.
ปี
1990–1997
ประเภท
Sequential ensemble (iterative reweighting)
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Boosting เป็นเทคนิคการรวมโมเดลแบบลำดับ (sequential ensemble technique) ที่แปลงโมเดลพื้นฐานที่เรียบง่ายซึ่งมีความแม่นยำเพียงเล็กน้อยให้กลายเป็นโมเดลเดียวที่มีความแม่นยำสูง โดยการฝึกซ้ำๆ โดยเน้นที่ตัวอย่างที่โมเดลก่อนหน้าทำผิดพลาด จากนั้นจึงรวมโมเดลทั้งหมดเข้าด้วยกันโดยมีน้ำหนักตามความแม่นยำของแต่ละโมเดล

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพการตรวจข้อสอบและส่งคืนให้นักเรียนแก้ไข ในแต่ละรอบ นักเรียนจะใช้เวลาเพิ่มเติมกับคำถามที่พวกเขาทำผิดพลาด Boosting ก็ทำงานในลักษณะเดียวกัน — หลังจากฝึกโมเดลพื้นฐาน (weak learner) แต่ละตัวเสร็จสิ้น ตัวอย่างที่จำแนกผิดจะได้รับน้ำหนักที่สูงขึ้น เพื่อให้โมเดลถัดไปมุ่งเน้นไปที่กรณีที่ยาก คำตอบสุดท้ายคือการโหวตแบบถ่วงน้ำหนักจากโมเดลทั้งหมด โดยโมเดลที่มีความแม่นยำสูงกว่าจะมีน้ำหนักมากกว่า การแก้ไขแบบวนซ้ำนี้คือสิ่งที่ทำให้ boosting มีประสิทธิภาพมากกว่าโมเดลพื้นฐานเดี่ยวๆ

ประวัติศาสตร์

รากฐานทางทฤษฎีของ boosting วางรากฐานโดย Robert Schapire ในปี 1990 ผู้ซึ่งพิสูจน์ว่า weak learnability นำไปสู่ strong learnability จากนั้น Freund และ Schapire ได้นำเสนอ AdaBoost ในปี 1997 ซึ่งเป็นอัลกอริทึมที่ใช้งานได้จริงตัวแรก และกลายเป็นผลงานที่สำคัญใน machine learning อย่างรวดเร็ว Friedman ได้ขยายแนวทางดังกล่าวเป็น gradient boosting ในปี 2001 โดยจัดกรอบการเรียนรู้แบบ ensemble แบบลำดับเป็นการเคลื่อนที่แบบ gradient descent ในปริภูมิฟังก์ชัน สายงานนี้ได้ผลิต XGBoost (2016), LightGBM (2017) และ CatBoost (2018) ซึ่งปัจจุบันครองอันดับต้นๆ ในการแข่งขัน machine-learning benchmarks บนข้อมูลแบบตาราง

ควรใช้เมื่อใด

ใช้ boosting เมื่อคุณต้องการความแม่นยำในการทำนายสูงสำหรับงานจำแนกประเภท (classification) หรือการถดถอย (regression) บนข้อมูลแบบตาราง (tabular data) และมีชุดข้อมูลที่มีป้ายกำกับ (labelled dataset) ขนาดพอสมควร (โดยทั่วไปอย่างน้อย 50–100 การสังเกตต่อคลาส) เหมาะอย่างยิ่งสำหรับข้อมูลที่มีโครงสร้างซึ่งมีความสัมพันธ์ที่ซับซ้อนและไม่เป็นเชิงเส้น และจัดการกับประเภทคุณลักษณะที่ผสมกันได้ดี การนำไปใช้ที่เป็นรูปธรรม — AdaBoost สำหรับ classification, gradient boosting สำหรับ regression และ classification — เป็นตัวเลือกทั่วไป หลีกเลี่ยง boosting เมื่อคุณภาพข้อมูลต่ำหรือป้ายกำกับมีสัญญาณรบกวน (noisy labels) เนื่องจากกระบวนการกำหนดน้ำหนักใหม่แบบลำดับจะขยายสัญญาณรบกวนของป้ายกำกับอย่างรุนแรง ซึ่งนำไปสู่การ overfitting นอกจากนี้ยังควรหลีกเลี่ยงเมื่อต้องการโมเดลที่ตีความได้ง่ายพร้อมสัมประสิทธิ์คุณลักษณะที่ชัดเจน (เช่น สำหรับการรายงานตามกฎระเบียบหรือทางคลินิก) หรือเมื่อเวลาในการฝึกมีข้อจำกัดอย่างมาก

ข้อจำกัดและข้อควรพิจารณา

  • มีความไวสูงต่อป้ายกำกับที่มีสัญญาณรบกวนและค่าผิดปกติ (outliers): การเพิ่มน้ำหนักให้กับตัวอย่างที่ยากจะขยายจุดข้อมูลที่ติดป้ายกำกับผิด
  • มีแนวโน้มที่จะเกิด overfitting บนชุดข้อมูลขนาดเล็ก เว้นแต่จะมีการปรับ regularisation (อัตราการเรียนรู้, ความลึกของต้นไม้, การสุ่มตัวอย่างย่อย) อย่างระมัดระวัง
  • การฝึกแบบลำดับโดยเนื้อแท้แล้วช้ากว่าในการประมวลผลแบบขนานเมื่อเทียบกับวิธีการแบบ bagging เช่น random forests
  • ต้องการการปรับ hyperparameter อย่างระมัดระวัง (จำนวนรอบ, อัตราการเรียนรู้, ความลึกของต้นไม้) เพื่อให้ได้เปรียบด้านความแม่นยำ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้ความแม่นยำระดับ state-of-the-art บนข้อมูลแบบตาราง มักจะให้ผลลัพธ์ดีกว่า random forests เมื่อปรับแต่งอย่างเหมาะสม
  • มุ่งเน้นไปที่ตัวอย่างที่ยากโดยอัตโนมัติผ่านการกำหนดน้ำหนักใหม่แบบวนซ้ำ ทำให้มีประสิทธิภาพบนข้อมูลที่ไม่สมดุล (imbalanced data) ด้วยฟังก์ชันการสูญเสีย (loss functions) ที่เหมาะสม
  • ทำงานร่วมกับโมเดลพื้นฐานที่หลากหลาย ต้นไม้แบบตื้น (stumps) เป็นตัวเลือกที่พบบ่อยและมีประสิทธิภาพ
  • ส่วนขยายของ gradient boosting รองรับฟังก์ชันการสูญเสียที่หลากหลายสำหรับ regression, ranking และ classification
  • การนำไปใช้สมัยใหม่ (XGBoost, LightGBM, CatBoost) ได้รับการปรับให้เหมาะสมอย่างสูงและสามารถปรับขนาดให้รองรับชุดข้อมูลขนาดใหญ่ได้

การประยุกต์ใช้

  • การจำแนกประเภทแบบไบนารีและหลายคลาสบนข้อมูลแบบตารางในด้านการเงิน การดูแลสุขภาพ และการตลาด
  • งาน regression เช่น การทำนายราคาบ้านหรือการพยากรณ์ความต้องการ
  • อัตราการคลิกผ่าน (click-through rate) และปัญหาการจัดอันดับ (ranking) ในการดึงข้อมูล
  • การตรวจจับการฉ้อโกงและการให้คะแนนความผิดปกติ (anomaly scoring) ที่ความแม่นยำในเหตุการณ์ที่เกิดขึ้นไม่บ่อยมีความสำคัญอย่างยิ่ง
  • การเลือกคุณลักษณะ (feature selection) และการจัดอันดับความสำคัญของตัวแปร (variable importance ranking) ในการวิเคราะห์เชิงสำรวจ

วิธีการทำงาน

วิธีการทำงาน

1

ตัวอย่างการฝึกทั้งหมดเริ่มต้นด้วยน้ำหนักเท่ากัน ดังนั้นแต่ละตัวอย่างจึงมีโอกาสเท่าเทียมกันในการมีอิทธิพลต่อโมเดลพื้นฐานตัวแรก การเริ่มต้นแบบสม่ำเสมอนี้ทำให้แน่ใจว่ารอบแรกเป็นการมองข้อมูลที่ไม่มีอคติ

สูตร
w_i^{(1)} = 1/n \; \forall i
2

โมเดลพื้นฐาน — ซึ่งมักจะเป็น decision tree แบบตื้น (stump) — จะถูกปรับให้เหมาะสมเพื่อลดข้อผิดพลาดในการฝึกแบบถ่วงน้ำหนัก ตัวอย่างที่จำแนกผิด ซึ่งมีน้ำหนักสูงกว่า จะดึงโมเดลให้เข้าใกล้การแก้ไขข้อผิดพลาดของรอบก่อนหน้า

สูตร
h_t = \arg\min_{h} \sum_i w_i^{(t)} \mathbf{1}[h(x_i) \neq y_i]
3

โมเดลแต่ละตัวจะได้รับสัมประสิทธิ์การมีส่วนร่วมตามสัดส่วนของความแม่นยำแบบ log-odds โมเดลที่มีข้อผิดพลาดแบบถ่วงน้ำหนักต่ำจะได้รับสัมประสิทธิ์ขนาดใหญ่ โมเดลที่ทำงานได้ใกล้เคียงกับการสุ่มจะได้รับสัมประสิทธิ์ใกล้ศูนย์และมีอิทธิพลต่อโมเดลรวมเพียงเล็กน้อย

สูตร
\alpha_t = \frac{1}{2} \ln\!\left(\frac{1 - \epsilon_t}{\epsilon_t}\right)
4

น้ำหนักของตัวอย่างที่จำแนกถูกต้องจะลดลง และน้ำหนักของตัวอย่างที่จำแนกผิดจะเพิ่มขึ้น การกำหนดน้ำหนักใหม่นี้จะบังคับให้โมเดลถัดไปมุ่งเน้นไปที่ตัวอย่างที่โมเดลรวมยังคงทำผิดพลาดในสัดส่วนที่มากขึ้น

สูตร
w_i^{(t+1)} \propto w_i^{(t)} \exp(-\alpha_t y_i h_t(x_i))
5

การทำนายสุดท้ายคือเครื่องหมายของผลรวมแบบถ่วงน้ำหนักของผลลัพธ์จากโมเดลทั้งหมด โมเดลแต่ละตัวจะโหวตตามสัดส่วนของสัมประสิทธิ์ ดังนั้นโมเดลรวมจึงสร้างตัวจำแนกที่แข็งแกร่งเพียงตัวเดียวจากโมเดลพื้นฐานจำนวนมาก

สูตร
H(x) = \text{sign}\!\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

ข้อผิดพลาดที่พบบ่อย

  • การฝึกด้วยอัตราการเรียนรู้สูงและจำนวนรอบมากบนชุดข้อมูลขนาดเล็กโดยไม่มี early stopping ทำให้เกิด overfitting อย่างรุนแรง
  • การละเลยสัญญาณรบกวนของป้ายกำกับก่อนการฝึก — boosting จะปรับให้เข้ากับป้ายกำกับที่มีสัญญาณรบกวนได้ดีกว่าวิธีอื่นใด
  • การข้าม cross-validation และรายงานเฉพาะข้อผิดพลาดในการฝึกภายในตัวอย่าง (in-sample training error)
  • การใช้ hyperparameter เริ่มต้นจากบทช่วยสอนโดยไม่ได้ปรับให้เข้ากับขนาดชุดข้อมูลหรือความสมดุลของคลาส
  • การเลือก boosting เมื่อเป้าหมายคือโมเดลที่ตีความได้ง่ายพร้อมสัมประสิทธิ์คุณลักษณะที่ชัดเจน

คำถามที่พบบ่อย

อะไรคือความแตกต่างระหว่าง boosting และ bagging (random forest)?

Bagging ฝึกต้นไม้แบบอิสระแบบขนานบน bootstrap samples และหาค่าเฉลี่ยของการทำนาย ซึ่งส่วนใหญ่จะลด variance Boosting ฝึกต้นไม้แบบลำดับ โดยแต่ละต้นจะแก้ไขข้อผิดพลาดของต้นก่อนหน้า ซึ่งส่วนใหญ่จะลด bias Boosting มักให้ความแม่นยำสูงกว่า แต่มีแนวโน้มที่จะเกิด overfitting บนข้อมูลที่มีสัญญาณรบกวนมากกว่า

ควรใช้อัลกอริทึม boosting ใด?

AdaBoost เป็นจุดเริ่มต้นที่ดีสำหรับการจำแนกประเภทแบบไบนารี สำหรับงาน regression หรือ classification บนข้อมูลแบบตารางส่วนใหญ่ การนำ gradient boosting ไปใช้ เช่น XGBoost, LightGBM หรือ CatBoost เป็นตัวเลือกที่ใช้งานได้จริง โดยมีการเพิ่ม regularisation และปรับขนาดได้ดีกว่า AdaBoost ดั้งเดิม

จะป้องกัน overfitting ด้วย boosting ได้อย่างไร?

ใช้อัตราการเรียนรู้ต่ำ (0.01–0.1) ร่วมกับจำนวนรอบที่มากขึ้น และใช้ early stopping บนชุดข้อมูลตรวจสอบ (validation set) ที่แยกไว้ นอกจากนี้ ให้ปรับ regularise ความลึกของต้นไม้ (max_depth 3–6 เป็นค่าทั่วไป) และพิจารณาการสุ่มตัวอย่างแถวและคอลัมน์ต่อต้นไม้

Boosting สามารถจัดการกับความไม่สมดุลของคลาสได้หรือไม่?

ได้ เฟรมเวิร์ก gradient boosting อนุญาตให้คุณตั้งค่าน้ำหนักคลาส (class weights) หรือใช้ฟังก์ชันการสูญเสียที่กำหนดเอง การกำหนดน้ำหนักใหม่ตามธรรมชาติของ AdaBoost ก็ช่วยได้เช่นกัน แต่ก็สามารถขยายสัญญาณรบกวนในคลาสส่วนน้อยได้ ดังนั้นการประมวลผลล่วงหน้า (oversampling หรือ undersampling) อาจยังมีประโยชน์

Boosting สามารถตีความได้หรือไม่?

โมเดลรวมของ boosting ไม่สามารถตีความได้โดยตรงเหมือนกับโมเดลเชิงเส้น อย่างไรก็ตาม คะแนนความสำคัญของคุณลักษณะ (feature importance scores) ที่มีมาให้และเครื่องมือ post-hoc เช่น SHAP values สามารถอธิบายการทำนายแต่ละรายการได้ ทำให้เป็นที่ยอมรับในบริบทการวิจัยประยุกต์หลายแห่ง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Freund, Y. & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197–227.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว