AdaBoost
- ผู้เสนอ
- Freund, Y. & Schapire, R.E.
- ปี
- 1997
- ประเภท
- Ensemble (sequential boosting of weak learners)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
AdaBoost (Adaptive Boosting) เป็นอัลกอริทึมการบูสต์แบบดั้งเดิม ซึ่งเปิดตัวโดย Yoav Freund และ Robert Schapire ในปี 1997 โดยเป็นการรวมชุดของตัวเรียนรู้ที่อ่อนแอ (weak learners) แบบง่ายๆ เข้าด้วยกัน โดยการให้น้ำหนักมากขึ้นกับข้อมูลที่ทำนายผิด อัลกอริทึมนี้เป็นต้นแบบของ gradient boosting มีความเรียบง่าย สามารถตีความได้ และเป็นพื้นฐานที่แข็งแกร่งสำหรับการจำแนกประเภท
แนวคิดเบื้องหลังวิธีการ
ต้นไม้ตื้นๆ หนึ่งต้นถือเป็นตัวเรียนรู้ที่อ่อนแอ: ดีกว่าการเดาสุ่มเพียงเล็กน้อย AdaBoost เปลี่ยนตัวเรียนรู้ที่อ่อนแอจำนวนมากให้กลายเป็นตัวทำนายที่แข็งแกร่งเพียงตัวเดียว โดยการฝึกฝนทีละตัว หลังจากที่ตัวเรียนรู้แต่ละตัวถูกฝึกฝนแล้ว ข้อมูลที่ตัวเรียนรู้ทำนายผิดจะได้รับน้ำหนักมากขึ้น เพื่อให้ตัวเรียนรู้ถัดไปมุ่งเน้นไปที่กรณีที่ยากซึ่งตัวอื่นๆ ยังคงทำผิดพลาด การทำนายสุดท้ายคือการโหวตแบบถ่วงน้ำหนัก โดยตัวเรียนรู้ที่แม่นยำกว่าจะมีน้ำหนักมากกว่า
ประวัติศาสตร์
AdaBoost ถูกนำเสนอโดย Yoav Freund และ Robert Schapire ในปี 1997 ในฐานะการขยายแนวคิดการเรียนรู้แบบออนไลน์ (on-line learning) ที่เกี่ยวข้องกับทฤษฎีการตัดสินใจ (decision-theoretic generalization) ไปสู่การบูสต์ เป็นอัลกอริทึมการบูสต์ที่ใช้งานได้จริงตัวแรก และแสดงให้เห็นว่าตัวเรียนรู้ที่อ่อนแอจำนวนมากสามารถรวมเข้าด้วยกันเป็นตัวเรียนรู้ที่แข็งแกร่งได้ งานนี้กลายเป็นรากฐานสำหรับตระกูลการบูสต์ทั้งหมด เป็นต้นแบบโดยตรงของ gradient boosting และเครื่องมือสมัยใหม่ เช่น XGBoost
ควรใช้เมื่อใด
เหมาะสำหรับการจำแนกประเภทและการทำนายบนข้อมูลตารางแบบตัดขวาง (cross-sectional tabular data) ที่มีคุณลักษณะต่อเนื่อง, ไม่ต่อเนื่อง (categorical), หรือทวิภาค (binary) และมีข้อมูลอย่างน้อยประมาณ 50 รายการ เมื่อคุณต้องการพื้นฐานการบูสต์ที่เรียบง่ายและสามารถตีความได้ AdaBoost ไม่มีการสมมติฐานเกี่ยวกับความเป็นปกติ (normality assumption) แต่มีความอ่อนไหวต่อข้อมูลที่มีสัญญาณรบกวนและค่าผิดปกติ ดังนั้นควรคัดกรองค่าผิดปกติออกก่อน ควบคุมจำนวนตัวประมาณค่า (estimators) เพื่อจัดการกับความเสี่ยงของการเรียนรู้เกิน (overfitting) ที่มีอยู่น้อยแต่ไม่เป็นศูนย์ บนข้อมูลตัวอย่างขนาดเล็ก การถดถอยโลจิสติก (logistic regression) ที่ง่ายกว่า หรือ Random Forest ที่มีความทนทานมากกว่า จะปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- อ่อนไหวต่อข้อมูลที่มีสัญญาณรบกวนและค่าผิดปกติเนื่องจากฟังก์ชันการสูญเสียแบบเอกซ์โพเนนเชียล จำเป็นต้องมีการคัดกรองค่าผิดปกติ
- ความเสี่ยงของการเรียนรู้เกินมีน้อยแต่ไม่เป็นศูนย์ และต้องควบคุมผ่านจำนวนตัวประมาณค่า
- เมื่อใช้กับข้อมูลตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 50) ข้อมูลที่มีสัญญาณรบกวนจะถูกถ่วงน้ำหนักมากเกินไป และแต่ละรอบการทำซ้ำอาจทำให้ประสิทธิภาพแย่ลง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เรียบง่ายและสามารถตีความได้ โดยมีพารามิเตอร์น้อยที่จะต้องตั้งค่า
- เปลี่ยนตัวเรียนรู้ความลึก 1 ที่อ่อนแอให้กลายเป็นตัวจำแนกประเภทที่แข็งแกร่ง ซึ่งเป็นพื้นฐานที่พร้อมใช้งานที่ดี
- ไม่มีข้อสมมติฐานเกี่ยวกับความเป็นปกติ จัดการกับคุณลักษณะต่อเนื่อง, ไม่ต่อเนื่อง, และทวิภาคได้
- เป็นต้นแบบของ gradient boosting พร้อมกลไกการถ่วงน้ำหนักแบบปรับอัตโนมัติที่ชัดเจน
การประยุกต์ใช้
- พื้นฐานการจำแนกประเภทบนข้อมูลตารางแบบตัดขวาง
- งานการทำนายที่ต้องการโมเดลบูสต์ที่เรียบง่ายและสามารถตีความได้
- การสอนและการสาธิตแนวคิดการบูสต์ก่อนที่จะก้าวไปสู่ gradient boosting
- การรวม decision stumps ตื้นๆ จำนวนมากเข้าเป็นตัวจำแนกประเภทที่แข็งแกร่งเพียงตัวเดียว
วิธีการทำงาน
วิธีการทำงาน
ข้อมูลการฝึกแต่ละรายการเริ่มต้นด้วยน้ำหนักที่เท่ากัน น้ำหนักเหล่านี้จะบอกตัวเรียนรู้ที่อ่อนแอแต่ละตัวว่าควรให้ความสำคัญกับการทำนายข้อมูลนั้นๆ ถูกต้องมากน้อยเพียงใด
ตัวเรียนรู้ที่อ่อนแอ — โดยทั่วไปคือ decision stump ซึ่งเป็นต้นไม้ที่มีความลึก 1 — จะถูกปรับให้เข้ากับข้อมูลที่มีน้ำหนัก เนื่องจากมีความเรียบง่าย ในตัวของมันเองจึงทำได้ดีกว่าการสุ่มเพียงเล็กน้อย
ความแม่นยำโดยรวมของตัวเรียนรู้จะเป็นตัวกำหนดน้ำหนักในการโหวตครั้งสุดท้าย และน้ำหนักของข้อมูลที่ตัวเรียนรู้ทำนายผิดจะถูกเพิ่มขึ้น เพื่อให้ตัวเรียนรู้ถัดไปมุ่งเน้นไปที่ข้อมูลเหล่านั้น ฟังก์ชันการสูญเสียแบบเอกซ์โพเนนเชียล (exponential loss function) เป็นตัวขับเคลื่อนการอัปเดตนี้: มันลงโทษการทำนายผิดในอัตราที่เพิ่มขึ้นอย่างรวดเร็ว ซึ่งเป็นสิ่งที่ทำให้ AdaBoost อ่อนไหวต่อจุดที่มีสัญญาณรบกวนและค่าผิดปกติ (outliers)
สูตร
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])หลังจากหลายรอบ ตัวเรียนรู้ที่อ่อนแอจะถูกรวมเข้ากับการทำนายเดียวโดยการโหวตเสียงข้างมากแบบถ่วงน้ำหนัก โดยแต่ละตัวเรียนรู้จะถูกถ่วงน้ำหนักตามความแม่นยำ ผลรวมของตัวเรียนรู้ที่เรียบง่ายและมุ่งเน้นจำนวนมากนี้จะสร้างตัวจำแนกประเภทที่แข็งแกร่งเพียงตัวเดียว
สูตร
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)ข้อผิดพลาดที่พบบ่อย
- การรัน AdaBoost บนข้อมูลที่เต็มไปด้วยค่าผิดปกติโดยไม่ได้คัดกรองออกก่อน
- การปล่อยให้จำนวนตัวประมาณค่าเพิ่มขึ้นอย่างไม่จำกัด แทนที่จะปรับแต่ง
- การนำไปใช้กับข้อมูลตัวอย่างที่มีจำนวนน้อยกว่าประมาณ 50 รายการ ซึ่งจุดที่มีสัญญาณรบกวนมีอิทธิพลต่อน้ำหนัก
- การเลือกใช้ AdaBoost เมื่อโมเดลแบบรวม (ensemble) ที่มีความทนทานมากกว่า เช่น Random Forest เหมาะสมกับข้อมูลที่มีสัญญาณรบกวนมากกว่า
คำถามที่พบบ่อย
AdaBoost แตกต่างจาก Random Forest อย่างไร?
Random Forest สร้างต้นไม้จำนวนมากแบบอิสระในแบบขนานและหาค่าเฉลี่ย (bagging); AdaBoost สร้างตัวเรียนรู้ที่อ่อนแอตามลำดับ โดยแต่ละตัวจะมุ่งเน้นไปที่กรณีที่ตัวก่อนหน้าทำผิดพลาด (boosting) เนื่องจากฟังก์ชันการสูญเสียแบบเอกซ์โพเนนเชียล AdaBoost จึงอ่อนไหวต่อสัญญาณรบกวนและค่าผิดปกติมากกว่า ในขณะที่ Random Forest มีความทนทานมากกว่า
เหตุใด AdaBoost จึงอ่อนไหวต่อค่าผิดปกติ?
มันใช้ฟังก์ชันการสูญเสียแบบเอกซ์โพเนนเชียลที่ลงโทษการทำนายผิดในอัตราที่เพิ่มขึ้นอย่างรวดเร็ว จุดที่ถูกทำนายผิดซ้ำๆ — ซึ่งมักจะเป็นค่าผิดปกติหรือข้อมูลที่มีสัญญาณรบกวน — จะได้รับน้ำหนักเพิ่มขึ้นเรื่อยๆ ดังนั้นจึงสามารถมีอิทธิพลต่อรอบการทำซ้ำในภายหลังและทำให้โมเดลเสื่อมประสิทธิภาพลง
ฉันควรใช้จำนวนตัวประมาณค่าเท่าใด?
จำนวนตัวประมาณค่า (weak learners) ควบคุมความเสี่ยงของการเรียนรู้เกินที่น้อยแต่มีอยู่จริงของ AdaBoost เพิ่มจำนวนขึ้นในขณะที่ประสิทธิภาพบนข้อมูลตรวจสอบ (validation performance) ดีขึ้น และหยุดเมื่อประสิทธิภาพคงที่หรือเริ่มแย่ลง
ตัวเรียนรู้ที่อ่อนแอคืออะไรในที่นี้?
โดยทั่วไปคือ decision stump — ต้นไม้ตัดสินใจที่มีความลึก 1 ในตัวของมันเอง มันดีกว่าการสุ่มเพียงเล็กน้อย แต่ AdaBoost รวมพวกมันจำนวนมากเข้าด้วยกัน โดยแต่ละตัวจะถูกถ่วงน้ำหนักตามความแม่นยำ เพื่อสร้างตัวจำแนกประเภทที่แข็งแกร่งเพียงตัวเดียว
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว