Skip to content
กลับไปยังผลการค้นหา

Boosting แบบออนไลน์

ผู้เสนอ
Oza, N. C. & Russell, S.
ปี
2001
ประเภท
Online ensemble (incremental boosting)
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Online Boosting เป็นการปรับกรอบการทำงานของ Boosting แบบดั้งเดิมให้เข้ากับกระแสข้อมูล โดยปรับปรุงชุดรวมของตัวเรียนรู้แบบอ่อนทีละตัวอย่างโดยไม่ต้องจัดเก็บชุดข้อมูลทั้งหมด สูตรของ Oza-Russell ประมาณการการถ่วงน้ำหนักใหม่ของ AdaBoost โดยใช้จำนวนอินสแตนซ์ที่สุ่มตัวอย่างแบบปัวซง ทำให้สามารถจำแนกประเภทได้อย่างแม่นยำและปรับเปลี่ยนได้แบบเรียลไทม์หรือในสภาพแวดล้อมที่มีข้อจำกัดด้านทรัพยากร

แนวคิดเบื้องหลังวิธีการ

Batch boosting จะถ่วงน้ำหนักตัวอย่างการฝึกใหม่เพื่อบังคับให้ตัวเรียนรู้ที่ตามมาแก้ไขข้อผิดพลาดของกันและกัน แต่สิ่งนี้ต้องเห็นข้อมูลทั้งหมดพร้อมกัน Online Boosting แทนที่การถ่วงน้ำหนักใหม่ที่ชัดเจนด้วยเทคนิคการสุ่มตัวอย่างแบบปัวซง: ตัวอย่างที่เข้ามาแต่ละตัวอย่างจะถูกส่งผ่านไปยังชุดของตัวเรียนรู้แบบอ่อน และจำนวนครั้งที่ตัวเรียนรู้แต่ละตัวเห็นตัวอย่างนั้น (น้ำหนักที่มีผล) จะถูกดึงมาจากการแจกแจงปัวซงซึ่งอัตราจะเพิ่มขึ้นเมื่อตัวเรียนรู้ก่อนหน้าทำผิดพลาดและลดลงเมื่อทำถูก ผลลัพธ์จะเลียนแบบพลวัตการแก้ไขของ AdaBoost อย่างใกล้ชิดโดยไม่ต้องเล่นข้อมูลในอดีตซ้ำเลย

ประวัติศาสตร์

Online Boosting ได้รับการกำหนดอย่างเป็นทางการโดย Nikunj Oza และ Stuart Russell ในบทความปี 2001 ของพวกเขาเรื่อง 'Online Bagging and Boosting' ซึ่งแสดงให้เห็นว่าเทคนิคการสุ่มตัวอย่างแบบปัวซงให้การประมาณค่าทางสถิติที่ถูกต้องสำหรับ Batch AdaBoost ในการตั้งค่ากระแสข้อมูล งานนี้สร้างขึ้นจาก AdaBoost ของ Freund และ Schapire (1997) และ Bagging ของ Breiman (1996) การวิจัยในภายหลังได้ขยายแนวทางเพื่อจัดการกับการเปลี่ยนแปลงแนวคิด ปัญหาหลายคลาส และการเรียนรู้ที่คำนึงถึงต้นทุน ทำให้ Online Boosting เป็นเครื่องมือมาตรฐานในวรรณกรรมด้านการทำเหมืองข้อมูลกระแส

ควรใช้เมื่อใด

ใช้ Online Boosting เมื่อข้อมูลมาถึงเป็นกระแสต่อเนื่องและโมเดลต้องอัปเดตแบบเพิ่มขึ้นโดยไม่ต้องกลับไปดูตัวอย่างในอดีต — ตัวอย่างเช่นในการตรวจจับการฉ้อโกงแบบเรียลไทม์ การตรวจสอบการบุกรุกเครือข่าย การจำแนกประเภทตามเซ็นเซอร์ หรือการตั้งค่าใดๆ ที่การจัดเก็บชุดข้อมูลทั้งหมดไม่สามารถทำได้ มีประสิทธิภาพเหนือกว่าตัวเรียนรู้แบบออนไลน์เดี่ยวและการทำ Online Bagging เมื่อกระแสข้อมูลมีการเปลี่ยนแปลงแนวคิด (concept drift) ที่ได้รับประโยชน์จากการถ่วงน้ำหนักแบบปรับเปลี่ยนได้ อย่าใช้เมื่อชุดข้อมูลเป็นแบบคงที่และพอดีกับหน่วยความจำ — Batch Gradient Boosting (XGBoost, LightGBM) เกือบจะให้ความแม่นยำสูงกว่าเสมอ หลีกเลี่ยงเมื่อกระแสข้อมูลมีการเปลี่ยนแปลงแนวคิดที่รุนแรงและฉับพลัน ซึ่งอาจต้องใช้กลไกการรีเซ็ตการตรวจจับการเปลี่ยนแปลงที่ชัดเจนซึ่งไม่ได้สร้างขึ้นใน Online Boosting พื้นฐาน

ข้อจำกัดและข้อควรพิจารณา

  • อ่อนไหวต่อสัญญาณรบกวนของป้ายกำกับในกระแสข้อมูล เนื่องจากป้ายกำกับที่ไม่ถูกต้องทำให้อัตราปัวซงเพิ่มขึ้น ขยายข้อผิดพลาดในตัวเรียนรู้ที่ตามมา
  • ไม่สามารถกู้คืนจากการเปลี่ยนแปลงแนวคิดที่ฉับพลันได้โดยอัตโนมัติ เว้นแต่จะรวมเข้ากับกลไกการตรวจจับการเปลี่ยนแปลงที่ชัดเจน
  • ความหลากหลายของตัวเรียนรู้ที่อ่อนแอกว่า Batch Boosting เนื่องจากไม่สามารถเล่นตัวอย่างในอดีตซ้ำเพื่อแก้ไขได้
  • ขนาดของชุดรวม M ถูกกำหนดไว้ที่การเริ่มต้น การเพิ่มหรือลบตัวเรียนรู้กลางกระแสข้อมูลต้องใช้ความระมัดระวังเพื่อหลีกเลี่ยงความไม่เสถียร

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ประมวลผลแต่ละตัวอย่างเพียงครั้งเดียว ทำให้เหมาะสำหรับกระแสข้อมูลที่มีความเร็วสูงหรือมีข้อจำกัดด้านหน่วยความจำ
  • สืบทอดคุณสมบัติการลดอคติที่แข็งแกร่งของ Boosting ซึ่งมักจะมีประสิทธิภาพเหนือกว่า Online Bagging ในงานการจำแนกประเภทที่ยาก
  • การถ่วงน้ำหนักแบบปรับเปลี่ยนได้ช่วยให้ตัวอย่างที่ตามมาแก้ไขข้อผิดพลาดที่เกิดจากส่วนต้นของกระแสข้อมูล
  • ไม่จำเป็นต้องปรับแต่งไฮเปอร์พารามิเตอร์ของน้ำหนักตัวอย่าง การประมาณค่าปัวซงเป็นการควบคุมตัวเอง
  • เข้ากันได้กับตัวเรียนรู้แบบอ่อนที่สามารถอัปเดตแบบเพิ่มขึ้นได้ ทำให้มีความยืดหยุ่นในการเลือกโมเดล

การประยุกต์ใช้

  • การตรวจจับการฉ้อโกงและความผิดปกติแบบเรียลไทม์บนกระแสธุรกรรม
  • การตรวจจับการบุกรุกเครือข่ายด้วยข้อมูลระดับแพ็กเก็ตที่มาถึงอย่างต่อเนื่อง
  • การบำรุงรักษาเชิงคาดการณ์จากกระแสข้อมูลเซ็นเซอร์ความถี่สูงในการผลิต
  • การกรองสแปมอีเมลที่ปรับเปลี่ยนอย่างต่อเนื่องตามกลยุทธ์ของสแปมเมอร์ที่เปลี่ยนแปลงไป
  • การคาดการณ์อัตราการคลิกผ่านในแพลตฟอร์มโฆษณาออนไลน์
  • การติดตามทางการแพทย์ที่ข้อมูลผู้ป่วยมาถึงตามลำดับและต้องมีการอัปเดตโมเดลทันที

วิธีการทำงาน

วิธีการทำงาน

1

ลำดับของตัวเรียนรู้แบบอ่อน M ตัว — โดยทั่วไปคือต้นไม้ตัดสินใจตื้นๆ หรือ stump — จะถูกเริ่มต้นด้วยอัตราปัวซงที่เท่ากัน ตัวเรียนรู้แต่ละตัวจะเชื่อมโยงกับน้ำหนัก alpha และจำนวนการคาดการณ์ที่ถูกต้องและไม่ถูกต้องที่ถ่วงน้ำหนักซึ่งใช้ในการประมาณการการมีส่วนร่วมของมัน

2

ตัวอย่างที่มีป้ายกำกับใหม่มาถึงจากกระแสข้อมูล ไม่มีการจัดเก็บข้อมูลในอดีต อัลกอริทึมจะประมวลผลเพียงครั้งเดียวแล้วดำเนินการต่อไป ข้อจำกัดแบบผ่านครั้งเดียวนี้เป็นคุณสมบัติที่กำหนดซึ่งแยก Online Boosting ออกจากคู่แข่งแบบแบทช์

3

สำหรับตัวเรียนรู้ตัวแรก อินสแตนซ์จะถูกจำลอง k ครั้ง โดยที่ k ถูกดึงมาจาก Poisson(1) สิ่งนี้ประมาณการการสุ่มตัวอย่างแบบมีการแทนที่เช่นเดียวกับการทำ Batch Bagging อัตราปัวซง lambda จะแพร่กระจายผ่านชุดและทำหน้าที่เป็นน้ำหนักที่มีผลของอินสแตนซ์สำหรับตัวเรียนรู้แต่ละตัวที่ตามมา

สูตร
k \sim \text{Poisson}(\lambda),\; \lambda = 1 \text{ initially}
4

ตัวเรียนรู้แบบอ่อนแต่ละตัวจะอัปเดตโมเดลภายในโดยใช้อินสแตนซ์ที่จำลอง k ครั้งตามอัตราปัวซงปัจจุบัน ตัวอย่างเช่น Decision stumps จะอัปเดตเกณฑ์การแยกแบบเพิ่มขึ้น จากนั้นตัวเรียนรู้จะส่งการคาดการณ์แบบไบนารีสำหรับตัวอย่างนั้น

5

หากตัวเรียนรู้แบบอ่อนปัจจุบันจำแนกอินสแตนซ์ได้อย่างถูกต้อง อัตราปัวซงที่ส่งไปยังตัวเรียนรู้ถัดไปจะลดลง (การเพิ่มน้ำหนักกรณีที่จัดการอย่างถูกต้องไม่จำเป็น) หากผิด อัตราจะเพิ่มขึ้นเพื่อให้ตัวเรียนรู้ถัดไปมุ่งเน้นไปที่ตัวอย่างที่ยากนี้มากขึ้น น้ำหนักการมีส่วนร่วม alpha ของตัวเรียนรู้จะถูกอัปเดตจากความแม่นยำสะสม

สูตร
\lambda_{m+1} = \lambda_m \cdot \frac{e^{\pm \alpha_m}}{Z_m}
6

สำหรับการอนุมาน การคาดการณ์สุดท้ายคือการลงคะแนนเสียงข้างมากแบบถ่วงน้ำหนักจากตัวเรียนรู้แบบอ่อน M ตัวทั้งหมด โดยแต่ละคะแนนเสียงจะถูกปรับขนาดด้วย alpha ของตัวเรียนรู้ สิ่งนี้สะท้อนถึงผลรวมถ่วงน้ำหนักแบบมีเครื่องหมายของ AdaBoost ซึ่งให้ความมั่นใจที่ปรับเทียบแล้วพร้อมกับป้ายกำกับคลาส

สูตร
\hat{y} = \operatorname{sign}\!\left(\sum_{m=1}^{M} \alpha_m h_m(x)\right)

ข้อผิดพลาดที่พบบ่อย

  • สับสนระหว่าง Online Boosting กับ Batch Boosting และคาดหวังความแม่นยำที่เหมือนกันในชุดข้อมูลแบบคงที่ — ใช้ Batch Methods เมื่อทำได้
  • ละเลยสัญญาณรบกวนของป้ายกำกับ: กระแสข้อมูลที่มีสัญญาณรบกวนทำให้ Online Boosting เสื่อมสภาพเร็วกว่า Online Bagging เนื่องจาก Boosting ขยายผลกระทบของตัวอย่างที่ยาก (อาจมีป้ายกำกับผิด)
  • เลือก M (จำนวนตัวเรียนรู้แบบอ่อน) น้อยเกินไปและยอมรับประสิทธิภาพที่ไม่ดีโดยไม่มีการปรับแต่ง
  • ล้มเหลวในการตรวจสอบการเปลี่ยนแปลงแนวคิดและยังคงพึ่งพาโมเดลที่สมมติฐานการแจกแจงได้เปลี่ยนไป
  • รายงานเฉพาะความแม่นยำทันทีแทนที่จะเป็นการประเมินแบบ Prequential (ทดสอบแล้วฝึก) ซึ่งสามารถปกปิดการเสื่อมสภาพได้

คำถามที่พบบ่อย

Online Boosting แตกต่างจาก Batch AdaBoost อย่างไร?

Batch AdaBoost ถ่วงน้ำหนักตัวอย่างการฝึกใหม่โดยการปรับขนาดความน่าจะเป็นในการสุ่มตัวอย่างในการผ่านหลายครั้ง Online Boosting ประมาณการสิ่งนี้โดยการส่งตัวอย่างที่เข้ามาแต่ละตัวอย่างผ่านชุดของตัวเรียนรู้แบบอ่อนและปรับอัตราปัวซงที่ควบคุมจำนวนครั้งที่ตัวเรียนรู้แต่ละตัวเห็นตัวอย่างนั้น โดยไม่ต้องจัดเก็บหรือเล่นข้อมูลในอดีตซ้ำเลย

ฉันควรใช้ตัวเรียนรู้แบบอ่อน M ตัวกี่ตัว?

ค่า M ระหว่าง 10 ถึง 50 เป็นเรื่องปกติสำหรับ stump ตื้นๆ หรือต้นไม้ขนาดเล็ก ตัวเรียนรู้ที่มากขึ้นจะลดอคติแต่เพิ่มความล่าช้าในการอนุมาน ปรับแต่ง M โดยใช้การประเมินแบบ Prequential บนส่วนข้อมูลที่เป็นตัวแทนก่อนที่จะนำไปใช้งาน

Online Boosting มีความทนทานต่อการเปลี่ยนแปลงแนวคิดหรือไม่?

Online Boosting พื้นฐานไม่ได้ตรวจจับหรือตอบสนองต่อการเปลี่ยนแปลงแนวคิดอย่างชัดเจน สำหรับกระแสข้อมูลที่มีการเปลี่ยนแปลง ให้จับคู่กับอัลกอริทึมการตรวจจับการเปลี่ยนแปลง เช่น ADWIN หรือ DDM ที่จะกระตุ้นการรีเซ็ตบางส่วนหรือทั้งหมดของชุดรวมเมื่อตรวจพบการเปลี่ยนแปลง

ฉันควรเลือก Online Bagging มากกว่า Online Boosting เมื่อใด?

เมื่อกระแสข้อมูลมีสัญญาณรบกวนของป้ายกำกับอย่างมีนัยสำคัญ Online Bagging จะมีความทนทานมากกว่าเนื่องจากไม่ขยายผลกระทบของตัวอย่างที่ยาก (อาจมีป้ายกำกับผิด) เหมือนที่ Boosting ทำ Online Boosting เป็นที่นิยมมากกว่าเมื่อกระแสข้อมูลค่อนข้างสะอาดและคุณต้องการความแม่นยำสูงสุด

ฉันสามารถประเมินโมเดลสตรีมมิ่งโดยไม่มีชุดทดสอบแยกต่างหากได้หรือไม่?

ได้ ใช้การประเมินแบบ Prequential (ทดสอบแล้วฝึก): ทำนายแต่ละตัวอย่างที่เข้ามาก่อนที่จะอัปเดตโมเดล และสะสมการคาดการณ์เหล่านี้เป็นความแม่นยำหรือ F1 ที่กำลังดำเนินอยู่ สิ่งนี้ให้การประมาณค่าประสิทธิภาพที่ไม่ลำเอียงโดยไม่จำเป็นต้องมีข้อมูลที่เก็บไว้

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Oza, N. C., & Russell, S. (2001). Online Bagging and Boosting. In Artificial Intelligence and Statistics 2001 (pp. 105–112). Morgan Kaufmann.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Online machine learning. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว