Skip to content
กลับไปยังผลการค้นหา

AdaBoost

ผู้เสนอ
Freund, Y. & Schapire, R.E.
ปี
1997
ประเภท
Ensemble (sequential boosting of weak learners)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

AdaBoost (Adaptive Boosting) เป็นอัลกอริทึมการบูสต์แบบดั้งเดิม ซึ่งเปิดตัวโดย Yoav Freund และ Robert Schapire ในปี 1997 โดยเป็นการรวมชุดของตัวเรียนรู้ที่อ่อนแอ (weak learners) แบบง่ายๆ เข้าด้วยกัน โดยการให้น้ำหนักมากขึ้นกับข้อมูลที่ทำนายผิด อัลกอริทึมนี้เป็นต้นแบบของ gradient boosting มีความเรียบง่าย สามารถตีความได้ และเป็นพื้นฐานที่แข็งแกร่งสำหรับการจำแนกประเภท

แนวคิดเบื้องหลังวิธีการ

ต้นไม้ตื้นๆ หนึ่งต้นถือเป็นตัวเรียนรู้ที่อ่อนแอ: ดีกว่าการเดาสุ่มเพียงเล็กน้อย AdaBoost เปลี่ยนตัวเรียนรู้ที่อ่อนแอจำนวนมากให้กลายเป็นตัวทำนายที่แข็งแกร่งเพียงตัวเดียว โดยการฝึกฝนทีละตัว หลังจากที่ตัวเรียนรู้แต่ละตัวถูกฝึกฝนแล้ว ข้อมูลที่ตัวเรียนรู้ทำนายผิดจะได้รับน้ำหนักมากขึ้น เพื่อให้ตัวเรียนรู้ถัดไปมุ่งเน้นไปที่กรณีที่ยากซึ่งตัวอื่นๆ ยังคงทำผิดพลาด การทำนายสุดท้ายคือการโหวตแบบถ่วงน้ำหนัก โดยตัวเรียนรู้ที่แม่นยำกว่าจะมีน้ำหนักมากกว่า

ประวัติศาสตร์

AdaBoost ถูกนำเสนอโดย Yoav Freund และ Robert Schapire ในปี 1997 ในฐานะการขยายแนวคิดการเรียนรู้แบบออนไลน์ (on-line learning) ที่เกี่ยวข้องกับทฤษฎีการตัดสินใจ (decision-theoretic generalization) ไปสู่การบูสต์ เป็นอัลกอริทึมการบูสต์ที่ใช้งานได้จริงตัวแรก และแสดงให้เห็นว่าตัวเรียนรู้ที่อ่อนแอจำนวนมากสามารถรวมเข้าด้วยกันเป็นตัวเรียนรู้ที่แข็งแกร่งได้ งานนี้กลายเป็นรากฐานสำหรับตระกูลการบูสต์ทั้งหมด เป็นต้นแบบโดยตรงของ gradient boosting และเครื่องมือสมัยใหม่ เช่น XGBoost

ควรใช้เมื่อใด

เหมาะสำหรับการจำแนกประเภทและการทำนายบนข้อมูลตารางแบบตัดขวาง (cross-sectional tabular data) ที่มีคุณลักษณะต่อเนื่อง, ไม่ต่อเนื่อง (categorical), หรือทวิภาค (binary) และมีข้อมูลอย่างน้อยประมาณ 50 รายการ เมื่อคุณต้องการพื้นฐานการบูสต์ที่เรียบง่ายและสามารถตีความได้ AdaBoost ไม่มีการสมมติฐานเกี่ยวกับความเป็นปกติ (normality assumption) แต่มีความอ่อนไหวต่อข้อมูลที่มีสัญญาณรบกวนและค่าผิดปกติ ดังนั้นควรคัดกรองค่าผิดปกติออกก่อน ควบคุมจำนวนตัวประมาณค่า (estimators) เพื่อจัดการกับความเสี่ยงของการเรียนรู้เกิน (overfitting) ที่มีอยู่น้อยแต่ไม่เป็นศูนย์ บนข้อมูลตัวอย่างขนาดเล็ก การถดถอยโลจิสติก (logistic regression) ที่ง่ายกว่า หรือ Random Forest ที่มีความทนทานมากกว่า จะปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • อ่อนไหวต่อข้อมูลที่มีสัญญาณรบกวนและค่าผิดปกติเนื่องจากฟังก์ชันการสูญเสียแบบเอกซ์โพเนนเชียล จำเป็นต้องมีการคัดกรองค่าผิดปกติ
  • ความเสี่ยงของการเรียนรู้เกินมีน้อยแต่ไม่เป็นศูนย์ และต้องควบคุมผ่านจำนวนตัวประมาณค่า
  • เมื่อใช้กับข้อมูลตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 50) ข้อมูลที่มีสัญญาณรบกวนจะถูกถ่วงน้ำหนักมากเกินไป และแต่ละรอบการทำซ้ำอาจทำให้ประสิทธิภาพแย่ลง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เรียบง่ายและสามารถตีความได้ โดยมีพารามิเตอร์น้อยที่จะต้องตั้งค่า
  • เปลี่ยนตัวเรียนรู้ความลึก 1 ที่อ่อนแอให้กลายเป็นตัวจำแนกประเภทที่แข็งแกร่ง ซึ่งเป็นพื้นฐานที่พร้อมใช้งานที่ดี
  • ไม่มีข้อสมมติฐานเกี่ยวกับความเป็นปกติ จัดการกับคุณลักษณะต่อเนื่อง, ไม่ต่อเนื่อง, และทวิภาคได้
  • เป็นต้นแบบของ gradient boosting พร้อมกลไกการถ่วงน้ำหนักแบบปรับอัตโนมัติที่ชัดเจน

การประยุกต์ใช้

  • พื้นฐานการจำแนกประเภทบนข้อมูลตารางแบบตัดขวาง
  • งานการทำนายที่ต้องการโมเดลบูสต์ที่เรียบง่ายและสามารถตีความได้
  • การสอนและการสาธิตแนวคิดการบูสต์ก่อนที่จะก้าวไปสู่ gradient boosting
  • การรวม decision stumps ตื้นๆ จำนวนมากเข้าเป็นตัวจำแนกประเภทที่แข็งแกร่งเพียงตัวเดียว

วิธีการทำงาน

วิธีการทำงาน

1

ข้อมูลการฝึกแต่ละรายการเริ่มต้นด้วยน้ำหนักที่เท่ากัน น้ำหนักเหล่านี้จะบอกตัวเรียนรู้ที่อ่อนแอแต่ละตัวว่าควรให้ความสำคัญกับการทำนายข้อมูลนั้นๆ ถูกต้องมากน้อยเพียงใด

2

ตัวเรียนรู้ที่อ่อนแอ — โดยทั่วไปคือ decision stump ซึ่งเป็นต้นไม้ที่มีความลึก 1 — จะถูกปรับให้เข้ากับข้อมูลที่มีน้ำหนัก เนื่องจากมีความเรียบง่าย ในตัวของมันเองจึงทำได้ดีกว่าการสุ่มเพียงเล็กน้อย

3

ความแม่นยำโดยรวมของตัวเรียนรู้จะเป็นตัวกำหนดน้ำหนักในการโหวตครั้งสุดท้าย และน้ำหนักของข้อมูลที่ตัวเรียนรู้ทำนายผิดจะถูกเพิ่มขึ้น เพื่อให้ตัวเรียนรู้ถัดไปมุ่งเน้นไปที่ข้อมูลเหล่านั้น ฟังก์ชันการสูญเสียแบบเอกซ์โพเนนเชียล (exponential loss function) เป็นตัวขับเคลื่อนการอัปเดตนี้: มันลงโทษการทำนายผิดในอัตราที่เพิ่มขึ้นอย่างรวดเร็ว ซึ่งเป็นสิ่งที่ทำให้ AdaBoost อ่อนไหวต่อจุดที่มีสัญญาณรบกวนและค่าผิดปกติ (outliers)

สูตร
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])
4

หลังจากหลายรอบ ตัวเรียนรู้ที่อ่อนแอจะถูกรวมเข้ากับการทำนายเดียวโดยการโหวตเสียงข้างมากแบบถ่วงน้ำหนัก โดยแต่ละตัวเรียนรู้จะถูกถ่วงน้ำหนักตามความแม่นยำ ผลรวมของตัวเรียนรู้ที่เรียบง่ายและมุ่งเน้นจำนวนมากนี้จะสร้างตัวจำแนกประเภทที่แข็งแกร่งเพียงตัวเดียว

สูตร
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)

ข้อผิดพลาดที่พบบ่อย

  • การรัน AdaBoost บนข้อมูลที่เต็มไปด้วยค่าผิดปกติโดยไม่ได้คัดกรองออกก่อน
  • การปล่อยให้จำนวนตัวประมาณค่าเพิ่มขึ้นอย่างไม่จำกัด แทนที่จะปรับแต่ง
  • การนำไปใช้กับข้อมูลตัวอย่างที่มีจำนวนน้อยกว่าประมาณ 50 รายการ ซึ่งจุดที่มีสัญญาณรบกวนมีอิทธิพลต่อน้ำหนัก
  • การเลือกใช้ AdaBoost เมื่อโมเดลแบบรวม (ensemble) ที่มีความทนทานมากกว่า เช่น Random Forest เหมาะสมกับข้อมูลที่มีสัญญาณรบกวนมากกว่า

คำถามที่พบบ่อย

AdaBoost แตกต่างจาก Random Forest อย่างไร?

Random Forest สร้างต้นไม้จำนวนมากแบบอิสระในแบบขนานและหาค่าเฉลี่ย (bagging); AdaBoost สร้างตัวเรียนรู้ที่อ่อนแอตามลำดับ โดยแต่ละตัวจะมุ่งเน้นไปที่กรณีที่ตัวก่อนหน้าทำผิดพลาด (boosting) เนื่องจากฟังก์ชันการสูญเสียแบบเอกซ์โพเนนเชียล AdaBoost จึงอ่อนไหวต่อสัญญาณรบกวนและค่าผิดปกติมากกว่า ในขณะที่ Random Forest มีความทนทานมากกว่า

เหตุใด AdaBoost จึงอ่อนไหวต่อค่าผิดปกติ?

มันใช้ฟังก์ชันการสูญเสียแบบเอกซ์โพเนนเชียลที่ลงโทษการทำนายผิดในอัตราที่เพิ่มขึ้นอย่างรวดเร็ว จุดที่ถูกทำนายผิดซ้ำๆ — ซึ่งมักจะเป็นค่าผิดปกติหรือข้อมูลที่มีสัญญาณรบกวน — จะได้รับน้ำหนักเพิ่มขึ้นเรื่อยๆ ดังนั้นจึงสามารถมีอิทธิพลต่อรอบการทำซ้ำในภายหลังและทำให้โมเดลเสื่อมประสิทธิภาพลง

ฉันควรใช้จำนวนตัวประมาณค่าเท่าใด?

จำนวนตัวประมาณค่า (weak learners) ควบคุมความเสี่ยงของการเรียนรู้เกินที่น้อยแต่มีอยู่จริงของ AdaBoost เพิ่มจำนวนขึ้นในขณะที่ประสิทธิภาพบนข้อมูลตรวจสอบ (validation performance) ดีขึ้น และหยุดเมื่อประสิทธิภาพคงที่หรือเริ่มแย่ลง

ตัวเรียนรู้ที่อ่อนแอคืออะไรในที่นี้?

โดยทั่วไปคือ decision stump — ต้นไม้ตัดสินใจที่มีความลึก 1 ในตัวของมันเอง มันดีกว่าการสุ่มเพียงเล็กน้อย แต่ AdaBoost รวมพวกมันจำนวนมากเข้าด้วยกัน โดยแต่ละตัวจะถูกถ่วงน้ำหนักตามความแม่นยำ เพื่อสร้างตัวจำแนกประเภทที่แข็งแกร่งเพียงตัวเดียว

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว