Boosting แบบออนไลน์
- ผู้เสนอ
- Oza, N. C. & Russell, S.
- ปี
- 2001
- ประเภท
- Online ensemble (incremental boosting)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Online Boosting เป็นการปรับกรอบการทำงานของ Boosting แบบดั้งเดิมให้เข้ากับกระแสข้อมูล โดยปรับปรุงชุดรวมของตัวเรียนรู้แบบอ่อนทีละตัวอย่างโดยไม่ต้องจัดเก็บชุดข้อมูลทั้งหมด สูตรของ Oza-Russell ประมาณการการถ่วงน้ำหนักใหม่ของ AdaBoost โดยใช้จำนวนอินสแตนซ์ที่สุ่มตัวอย่างแบบปัวซง ทำให้สามารถจำแนกประเภทได้อย่างแม่นยำและปรับเปลี่ยนได้แบบเรียลไทม์หรือในสภาพแวดล้อมที่มีข้อจำกัดด้านทรัพยากร
แนวคิดเบื้องหลังวิธีการ
Batch boosting จะถ่วงน้ำหนักตัวอย่างการฝึกใหม่เพื่อบังคับให้ตัวเรียนรู้ที่ตามมาแก้ไขข้อผิดพลาดของกันและกัน แต่สิ่งนี้ต้องเห็นข้อมูลทั้งหมดพร้อมกัน Online Boosting แทนที่การถ่วงน้ำหนักใหม่ที่ชัดเจนด้วยเทคนิคการสุ่มตัวอย่างแบบปัวซง: ตัวอย่างที่เข้ามาแต่ละตัวอย่างจะถูกส่งผ่านไปยังชุดของตัวเรียนรู้แบบอ่อน และจำนวนครั้งที่ตัวเรียนรู้แต่ละตัวเห็นตัวอย่างนั้น (น้ำหนักที่มีผล) จะถูกดึงมาจากการแจกแจงปัวซงซึ่งอัตราจะเพิ่มขึ้นเมื่อตัวเรียนรู้ก่อนหน้าทำผิดพลาดและลดลงเมื่อทำถูก ผลลัพธ์จะเลียนแบบพลวัตการแก้ไขของ AdaBoost อย่างใกล้ชิดโดยไม่ต้องเล่นข้อมูลในอดีตซ้ำเลย
ประวัติศาสตร์
Online Boosting ได้รับการกำหนดอย่างเป็นทางการโดย Nikunj Oza และ Stuart Russell ในบทความปี 2001 ของพวกเขาเรื่อง 'Online Bagging and Boosting' ซึ่งแสดงให้เห็นว่าเทคนิคการสุ่มตัวอย่างแบบปัวซงให้การประมาณค่าทางสถิติที่ถูกต้องสำหรับ Batch AdaBoost ในการตั้งค่ากระแสข้อมูล งานนี้สร้างขึ้นจาก AdaBoost ของ Freund และ Schapire (1997) และ Bagging ของ Breiman (1996) การวิจัยในภายหลังได้ขยายแนวทางเพื่อจัดการกับการเปลี่ยนแปลงแนวคิด ปัญหาหลายคลาส และการเรียนรู้ที่คำนึงถึงต้นทุน ทำให้ Online Boosting เป็นเครื่องมือมาตรฐานในวรรณกรรมด้านการทำเหมืองข้อมูลกระแส
ควรใช้เมื่อใด
ใช้ Online Boosting เมื่อข้อมูลมาถึงเป็นกระแสต่อเนื่องและโมเดลต้องอัปเดตแบบเพิ่มขึ้นโดยไม่ต้องกลับไปดูตัวอย่างในอดีต — ตัวอย่างเช่นในการตรวจจับการฉ้อโกงแบบเรียลไทม์ การตรวจสอบการบุกรุกเครือข่าย การจำแนกประเภทตามเซ็นเซอร์ หรือการตั้งค่าใดๆ ที่การจัดเก็บชุดข้อมูลทั้งหมดไม่สามารถทำได้ มีประสิทธิภาพเหนือกว่าตัวเรียนรู้แบบออนไลน์เดี่ยวและการทำ Online Bagging เมื่อกระแสข้อมูลมีการเปลี่ยนแปลงแนวคิด (concept drift) ที่ได้รับประโยชน์จากการถ่วงน้ำหนักแบบปรับเปลี่ยนได้ อย่าใช้เมื่อชุดข้อมูลเป็นแบบคงที่และพอดีกับหน่วยความจำ — Batch Gradient Boosting (XGBoost, LightGBM) เกือบจะให้ความแม่นยำสูงกว่าเสมอ หลีกเลี่ยงเมื่อกระแสข้อมูลมีการเปลี่ยนแปลงแนวคิดที่รุนแรงและฉับพลัน ซึ่งอาจต้องใช้กลไกการรีเซ็ตการตรวจจับการเปลี่ยนแปลงที่ชัดเจนซึ่งไม่ได้สร้างขึ้นใน Online Boosting พื้นฐาน
ข้อจำกัดและข้อควรพิจารณา
- อ่อนไหวต่อสัญญาณรบกวนของป้ายกำกับในกระแสข้อมูล เนื่องจากป้ายกำกับที่ไม่ถูกต้องทำให้อัตราปัวซงเพิ่มขึ้น ขยายข้อผิดพลาดในตัวเรียนรู้ที่ตามมา
- ไม่สามารถกู้คืนจากการเปลี่ยนแปลงแนวคิดที่ฉับพลันได้โดยอัตโนมัติ เว้นแต่จะรวมเข้ากับกลไกการตรวจจับการเปลี่ยนแปลงที่ชัดเจน
- ความหลากหลายของตัวเรียนรู้ที่อ่อนแอกว่า Batch Boosting เนื่องจากไม่สามารถเล่นตัวอย่างในอดีตซ้ำเพื่อแก้ไขได้
- ขนาดของชุดรวม M ถูกกำหนดไว้ที่การเริ่มต้น การเพิ่มหรือลบตัวเรียนรู้กลางกระแสข้อมูลต้องใช้ความระมัดระวังเพื่อหลีกเลี่ยงความไม่เสถียร
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ประมวลผลแต่ละตัวอย่างเพียงครั้งเดียว ทำให้เหมาะสำหรับกระแสข้อมูลที่มีความเร็วสูงหรือมีข้อจำกัดด้านหน่วยความจำ
- สืบทอดคุณสมบัติการลดอคติที่แข็งแกร่งของ Boosting ซึ่งมักจะมีประสิทธิภาพเหนือกว่า Online Bagging ในงานการจำแนกประเภทที่ยาก
- การถ่วงน้ำหนักแบบปรับเปลี่ยนได้ช่วยให้ตัวอย่างที่ตามมาแก้ไขข้อผิดพลาดที่เกิดจากส่วนต้นของกระแสข้อมูล
- ไม่จำเป็นต้องปรับแต่งไฮเปอร์พารามิเตอร์ของน้ำหนักตัวอย่าง การประมาณค่าปัวซงเป็นการควบคุมตัวเอง
- เข้ากันได้กับตัวเรียนรู้แบบอ่อนที่สามารถอัปเดตแบบเพิ่มขึ้นได้ ทำให้มีความยืดหยุ่นในการเลือกโมเดล
การประยุกต์ใช้
- การตรวจจับการฉ้อโกงและความผิดปกติแบบเรียลไทม์บนกระแสธุรกรรม
- การตรวจจับการบุกรุกเครือข่ายด้วยข้อมูลระดับแพ็กเก็ตที่มาถึงอย่างต่อเนื่อง
- การบำรุงรักษาเชิงคาดการณ์จากกระแสข้อมูลเซ็นเซอร์ความถี่สูงในการผลิต
- การกรองสแปมอีเมลที่ปรับเปลี่ยนอย่างต่อเนื่องตามกลยุทธ์ของสแปมเมอร์ที่เปลี่ยนแปลงไป
- การคาดการณ์อัตราการคลิกผ่านในแพลตฟอร์มโฆษณาออนไลน์
- การติดตามทางการแพทย์ที่ข้อมูลผู้ป่วยมาถึงตามลำดับและต้องมีการอัปเดตโมเดลทันที
วิธีการทำงาน
วิธีการทำงาน
ลำดับของตัวเรียนรู้แบบอ่อน M ตัว — โดยทั่วไปคือต้นไม้ตัดสินใจตื้นๆ หรือ stump — จะถูกเริ่มต้นด้วยอัตราปัวซงที่เท่ากัน ตัวเรียนรู้แต่ละตัวจะเชื่อมโยงกับน้ำหนัก alpha และจำนวนการคาดการณ์ที่ถูกต้องและไม่ถูกต้องที่ถ่วงน้ำหนักซึ่งใช้ในการประมาณการการมีส่วนร่วมของมัน
ตัวอย่างที่มีป้ายกำกับใหม่มาถึงจากกระแสข้อมูล ไม่มีการจัดเก็บข้อมูลในอดีต อัลกอริทึมจะประมวลผลเพียงครั้งเดียวแล้วดำเนินการต่อไป ข้อจำกัดแบบผ่านครั้งเดียวนี้เป็นคุณสมบัติที่กำหนดซึ่งแยก Online Boosting ออกจากคู่แข่งแบบแบทช์
สำหรับตัวเรียนรู้ตัวแรก อินสแตนซ์จะถูกจำลอง k ครั้ง โดยที่ k ถูกดึงมาจาก Poisson(1) สิ่งนี้ประมาณการการสุ่มตัวอย่างแบบมีการแทนที่เช่นเดียวกับการทำ Batch Bagging อัตราปัวซง lambda จะแพร่กระจายผ่านชุดและทำหน้าที่เป็นน้ำหนักที่มีผลของอินสแตนซ์สำหรับตัวเรียนรู้แต่ละตัวที่ตามมา
สูตร
k \sim \text{Poisson}(\lambda),\; \lambda = 1 \text{ initially}ตัวเรียนรู้แบบอ่อนแต่ละตัวจะอัปเดตโมเดลภายในโดยใช้อินสแตนซ์ที่จำลอง k ครั้งตามอัตราปัวซงปัจจุบัน ตัวอย่างเช่น Decision stumps จะอัปเดตเกณฑ์การแยกแบบเพิ่มขึ้น จากนั้นตัวเรียนรู้จะส่งการคาดการณ์แบบไบนารีสำหรับตัวอย่างนั้น
หากตัวเรียนรู้แบบอ่อนปัจจุบันจำแนกอินสแตนซ์ได้อย่างถูกต้อง อัตราปัวซงที่ส่งไปยังตัวเรียนรู้ถัดไปจะลดลง (การเพิ่มน้ำหนักกรณีที่จัดการอย่างถูกต้องไม่จำเป็น) หากผิด อัตราจะเพิ่มขึ้นเพื่อให้ตัวเรียนรู้ถัดไปมุ่งเน้นไปที่ตัวอย่างที่ยากนี้มากขึ้น น้ำหนักการมีส่วนร่วม alpha ของตัวเรียนรู้จะถูกอัปเดตจากความแม่นยำสะสม
สูตร
\lambda_{m+1} = \lambda_m \cdot \frac{e^{\pm \alpha_m}}{Z_m}สำหรับการอนุมาน การคาดการณ์สุดท้ายคือการลงคะแนนเสียงข้างมากแบบถ่วงน้ำหนักจากตัวเรียนรู้แบบอ่อน M ตัวทั้งหมด โดยแต่ละคะแนนเสียงจะถูกปรับขนาดด้วย alpha ของตัวเรียนรู้ สิ่งนี้สะท้อนถึงผลรวมถ่วงน้ำหนักแบบมีเครื่องหมายของ AdaBoost ซึ่งให้ความมั่นใจที่ปรับเทียบแล้วพร้อมกับป้ายกำกับคลาส
สูตร
\hat{y} = \operatorname{sign}\!\left(\sum_{m=1}^{M} \alpha_m h_m(x)\right)ข้อผิดพลาดที่พบบ่อย
- สับสนระหว่าง Online Boosting กับ Batch Boosting และคาดหวังความแม่นยำที่เหมือนกันในชุดข้อมูลแบบคงที่ — ใช้ Batch Methods เมื่อทำได้
- ละเลยสัญญาณรบกวนของป้ายกำกับ: กระแสข้อมูลที่มีสัญญาณรบกวนทำให้ Online Boosting เสื่อมสภาพเร็วกว่า Online Bagging เนื่องจาก Boosting ขยายผลกระทบของตัวอย่างที่ยาก (อาจมีป้ายกำกับผิด)
- เลือก M (จำนวนตัวเรียนรู้แบบอ่อน) น้อยเกินไปและยอมรับประสิทธิภาพที่ไม่ดีโดยไม่มีการปรับแต่ง
- ล้มเหลวในการตรวจสอบการเปลี่ยนแปลงแนวคิดและยังคงพึ่งพาโมเดลที่สมมติฐานการแจกแจงได้เปลี่ยนไป
- รายงานเฉพาะความแม่นยำทันทีแทนที่จะเป็นการประเมินแบบ Prequential (ทดสอบแล้วฝึก) ซึ่งสามารถปกปิดการเสื่อมสภาพได้
คำถามที่พบบ่อย
Online Boosting แตกต่างจาก Batch AdaBoost อย่างไร?
Batch AdaBoost ถ่วงน้ำหนักตัวอย่างการฝึกใหม่โดยการปรับขนาดความน่าจะเป็นในการสุ่มตัวอย่างในการผ่านหลายครั้ง Online Boosting ประมาณการสิ่งนี้โดยการส่งตัวอย่างที่เข้ามาแต่ละตัวอย่างผ่านชุดของตัวเรียนรู้แบบอ่อนและปรับอัตราปัวซงที่ควบคุมจำนวนครั้งที่ตัวเรียนรู้แต่ละตัวเห็นตัวอย่างนั้น โดยไม่ต้องจัดเก็บหรือเล่นข้อมูลในอดีตซ้ำเลย
ฉันควรใช้ตัวเรียนรู้แบบอ่อน M ตัวกี่ตัว?
ค่า M ระหว่าง 10 ถึง 50 เป็นเรื่องปกติสำหรับ stump ตื้นๆ หรือต้นไม้ขนาดเล็ก ตัวเรียนรู้ที่มากขึ้นจะลดอคติแต่เพิ่มความล่าช้าในการอนุมาน ปรับแต่ง M โดยใช้การประเมินแบบ Prequential บนส่วนข้อมูลที่เป็นตัวแทนก่อนที่จะนำไปใช้งาน
Online Boosting มีความทนทานต่อการเปลี่ยนแปลงแนวคิดหรือไม่?
Online Boosting พื้นฐานไม่ได้ตรวจจับหรือตอบสนองต่อการเปลี่ยนแปลงแนวคิดอย่างชัดเจน สำหรับกระแสข้อมูลที่มีการเปลี่ยนแปลง ให้จับคู่กับอัลกอริทึมการตรวจจับการเปลี่ยนแปลง เช่น ADWIN หรือ DDM ที่จะกระตุ้นการรีเซ็ตบางส่วนหรือทั้งหมดของชุดรวมเมื่อตรวจพบการเปลี่ยนแปลง
ฉันควรเลือก Online Bagging มากกว่า Online Boosting เมื่อใด?
เมื่อกระแสข้อมูลมีสัญญาณรบกวนของป้ายกำกับอย่างมีนัยสำคัญ Online Bagging จะมีความทนทานมากกว่าเนื่องจากไม่ขยายผลกระทบของตัวอย่างที่ยาก (อาจมีป้ายกำกับผิด) เหมือนที่ Boosting ทำ Online Boosting เป็นที่นิยมมากกว่าเมื่อกระแสข้อมูลค่อนข้างสะอาดและคุณต้องการความแม่นยำสูงสุด
ฉันสามารถประเมินโมเดลสตรีมมิ่งโดยไม่มีชุดทดสอบแยกต่างหากได้หรือไม่?
ได้ ใช้การประเมินแบบ Prequential (ทดสอบแล้วฝึก): ทำนายแต่ละตัวอย่างที่เข้ามาก่อนที่จะอัปเดตโมเดล และสะสมการคาดการณ์เหล่านี้เป็นความแม่นยำหรือ F1 ที่กำลังดำเนินอยู่ สิ่งนี้ให้การประมาณค่าประสิทธิภาพที่ไม่ลำเอียงโดยไม่จำเป็นต้องมีข้อมูลที่เก็บไว้
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Oza, N. C., & Russell, S. (2001). Online Bagging and Boosting. In Artificial Intelligence and Statistics 2001 (pp. 105–112). Morgan Kaufmann.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วOnline machine learning. Wikipedia.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว