การบูสต์แบบกึ่งมีผู้สอน (Semi-supervised Boosting)
- ผู้เสนอ
- Mallapragada, P. K.; Bennett, K. P.; and others
- ปี
- 1999–2009
- ประเภท
- Semi-supervised ensemble method
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การบูสต์แบบกึ่งมีผู้สอน (Semi-supervised Boosting) เป็นกระบวนทัศน์การเรียนรู้แบบอองซอมเบิลที่ต่อยอดจากอัลกอริทึมการบูสต์แบบดั้งเดิม เช่น AdaBoost เพื่อใช้ประโยชน์จากทั้งข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับ ด้วยการเผยแพร่ข้อมูลป้ายกำกับผ่านโครงสร้างความคล้ายคลึงกันบนอินสแตนซ์ที่ไม่มีป้ายกำกับ ทำให้สามารถฝึกตัวจำแนกประเภทที่แข็งแกร่งกว่าการบูสต์แบบมีผู้สอนเพียงอย่างเดียว เมื่อข้อมูลที่มีป้ายกำกับมีจำกัด
แนวคิดเบื้องหลังวิธีการ
การบูสต์แบบดั้งเดิมจะมุ่งเน้นไปที่ตัวอย่างที่มีป้ายกำกับที่จำแนกผิดพลาดซ้ำๆ การบูสต์แบบกึ่งมีผู้สอนเพิ่มมิติใหม่: โดยใช้โครงสร้างทางเรขาคณิตของข้อมูลที่ไม่มีป้ายกำกับเพื่ออนุมานป้ายกำกับแบบอ่อน (soft labels) หรือปรับน้ำหนักตัวอย่าง โดยสัญชาตญาณแล้ว หากจุดที่ไม่มีป้ายกำกับสองจุดมีความคล้ายคลึงกันมาก ควรได้รับป้ายกำกับเดียวกัน การรวมแรงกดดันด้านความสอดคล้องนี้เข้ากับการปรับปรุงน้ำหนักการบูสต์ ทำให้อองซอมเบิลสามารถสรุปผลได้ดีขึ้น แม้จะมีตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ตัวอย่าง ผลลัพธ์ที่ได้คือแบบจำลองที่ยืมสัญญาณจากข้อมูลที่ไม่มีป้ายกำกับส่วนใหญ่ ในขณะที่ยังคงได้รับคำแนะนำจากข้อมูลที่มีป้ายกำกับส่วนน้อย
ประวัติศาสตร์
แนวคิดในการรวมการบูสต์เข้ากับข้อมูลที่ไม่มีป้ายกำเนิดขึ้นในช่วงปลายทศวรรษ 1990 โดย Bennett และ Demiriz (1999) เป็นกลุ่มแรกๆ ที่สำรวจกลยุทธ์อองซอมเบิลแบบกึ่งมีผู้สอน อัลกอริทึม SemiBoost ซึ่งได้รับการกำหนดอย่างเป็นทางการโดย Mallapragada et al. ในบทความ IEEE TPAMI ปี 2009 ได้กลายเป็นข้อมูลอ้างอิงหลักสำหรับการบูสต์แบบกึ่งมีผู้สอนที่ใช้กราฟ งานวิจัยต่อมาได้ขยายกรอบการทำงานไปยังการตั้งค่าแบบหลายคลาสและเชื่อมโยงเข้ากับทฤษฎีการทำให้แมนิโฟลด์เป็นระเบียบ (manifold regularization theory) ทำให้การบูสต์แบบกึ่งมีผู้สอนเป็นพื้นฐานมาตรฐานในวรรณกรรมด้านการเรียนรู้แบบกึ่งมีผู้สอน
ควรใช้เมื่อใด
การบูสต์แบบกึ่งมีผู้สอนเหมาะสมเมื่อข้อมูลที่มีป้ายกำกับมีจำกัดและมีค่าใช้จ่ายสูงในการได้มา แต่มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมากพร้อมใช้งาน ซึ่งเป็นเรื่องปกติในการทำหมายเหตุภาพทางการแพทย์ การจัดหมวดหมู่ข้อความ และการตรวจสอบด้วยเซ็นเซอร์ เหมาะที่สุดสำหรับงานการจำแนกประเภทแบบไบนารีหรือหลายคลาสที่สมมติฐานคลัสเตอร์หรือแมนิโฟลด์เป็นไปได้ (อินพุตที่คล้ายกันมีป้ายกำกับร่วมกัน) หลีกเลี่ยงเมื่อข้อมูลที่ไม่มีป้ายกำกับไม่เป็นตัวแทนของการกระจายตัวของข้อมูลทดสอบ เมื่อสมมติฐานคลัสเตอร์ไม่น่าเชื่อถือ (เช่น ข้อมูลจากกระบวนการที่แตกต่างกันโดยพื้นฐาน) หรือเมื่อชุดข้อมูลที่มีป้ายกำกับมีขนาดใหญ่พอที่จะทำให้ตัวบูสต์แบบมีผู้สอนอิ่มตัวแล้ว ในกรณีนั้น การบูสต์แบบเกรเดียนต์ธรรมดาจะให้ประสิทธิภาพที่เท่ากันหรือดีกว่าโดยมีความซับซ้อนน้อยกว่ามาก
ข้อจำกัดและข้อควรพิจารณา
- ประสิทธิภาพลดลงอย่างรวดเร็วหากข้อมูลที่ไม่มีป้ายกำกับไม่มีการกระจายตัวเหมือนกับข้อมูลที่มีป้ายกำกับ (dataset shift)
- สัญญาณรบกวนจากป้ายกำกับเทียมสามารถสะสมได้ในหลายรอบการบูสต์ ซึ่งนำไปสู่การขยายข้อผิดพลาดเมื่อการทำนายเริ่มต้นไม่ดี
- การสร้างกราฟความคล้ายคลึงกันต้องเลือกแบนด์วิดท์ของเคอร์เนลหรือจำนวนเพื่อนบ้าน ซึ่งมีความละเอียดอ่อนและต้องมีการตรวจสอบความถูกต้อง
- ต้นทุนการคำนวณสูงกว่าการบูสต์แบบมีผู้สอนอย่างมาก เนื่องจากการสร้างกราฟและการคำนวณป้ายกำกับเทียมใหม่ในแต่ละรอบ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับจำนวนมากเพื่อปรับปรุงความแม่นยำให้เกินกว่าที่ชุดข้อมูลที่มีป้ายกำกับเพียงอย่างเดียวจะรองรับได้
- สืบทอดประสิทธิภาพเชิงประจักษ์ที่แข็งแกร่งและความยืดหยุ่นของกรอบการทำงานการบูสต์ เช่น AdaBoost
- โครงสร้างความคล้ายคลึงกันแบบกราฟทำให้การเผยแพร่ป้ายกำกับสามารถตีความและปรับแต่งได้
- ทำงานร่วมกับตัวเรียนรู้พื้นฐานใดๆ ที่ยอมรับน้ำหนักของอินสแตนซ์ ทำให้กรอบการทำงานเป็นแบบโมดูลาร์
- ให้ประสิทธิภาพที่เหนือกว่าการบูสต์แบบมีผู้สอนอย่างสม่ำเสมอในสถานการณ์ที่มีอัตราป้ายกำกับต่ำ ซึ่งได้รับการบันทึกไว้ในการทดลองเปรียบเทียบ
การประยุกต์ใช้
- การจำแนกประเภทข้อความและเอกสารที่คลังข้อมูลที่มีป้ายกำกับมีขนาดเล็ก แต่มีคลังข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่พร้อมใช้งาน
- การจำแนกภาพทางการแพทย์ที่มีภาพที่ผู้เชี่ยวชาญทำหมายเหตุจำกัด ควบคู่ไปกับคลังข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับ
- การจัดหมวดหมู่เนื้อหาเว็บที่ใช้ประโยชน์จากโครงสร้างกราฟไฮเปอร์ลิงก์เป็นแหล่งความคล้ายคลึงกัน
- การตรวจจับข้อบกพร่องทางอุตสาหกรรมที่มีการอ่านค่าเซ็นเซอร์จำนวนมาก แต่มีเหตุการณ์ข้อบกพร่องที่ทำหมายเหตุด้วยตนเองเพียงไม่กี่รายการ
- งานชีวสารสนเทศ เช่น การทำนายหน้าที่ของโปรตีนที่มีหมายเหตุที่ได้รับการตรวจสอบความถูกต้องจำกัด
วิธีการทำงาน
วิธีการทำงาน
ตัวจำแนกประเภทพื้นฐาน ซึ่งโดยทั่วไปคือ decision stump หรือ shallow tree จะถูกฝึกบนส่วนของชุดข้อมูลที่มีป้ายกำกับ สิ่งนี้ให้สมมติฐานเริ่มต้นและกำหนดกรอบการทำงานของการบูสต์ อินสแตนซ์ที่มีป้ายกำกับทั้งหมดจะได้รับน้ำหนักที่เท่ากันในรอบแรกนี้
โครงสร้างความคล้ายคลึงกันแบบคู่ (pairwise similarity) หรือกราฟจะถูกสร้างขึ้นจากข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับรวมกัน ซึ่งมักใช้ Radial Basis Function (RBF) kernel หรือ k-nearest-neighbor graph สิ่งนี้เข้ารหัสสมมติฐานที่ว่าจุดที่อยู่ใกล้กันใน feature space มีแนวโน้มที่จะอยู่ในคลาสเดียวกัน
การใช้แบบจำลองอองซอมเบิลปัจจุบันและกราฟความคล้ายคลึงกัน ป้ายกำกับเทียมแบบอ่อน (soft pseudo-labels) จะถูกกำหนดให้กับอินสแตนซ์ที่ไม่มีป้ายกำกับ จุดที่อยู่ใกล้กับตัวอย่างที่มีป้ายกำกับที่จำแนกได้อย่างมั่นใจจะได้รับป้ายกำกับของตัวอย่างเหล่านั้น; จุดที่อยู่ใกล้ขอบเขตการตัดสินใจจะได้รับป้ายกำกับเทียมที่มีความมั่นใจต่ำ และมีส่วนร่วมในการปรับปรุงน้อยลง
ตัวเรียนรู้แบบอ่อนในปัจจุบันจะถูกปรับให้เข้ากับชุดข้อมูลที่เพิ่มขึ้น ซึ่งประกอบด้วยตัวอย่างที่มีป้ายกำกับและตัวอย่างที่ไม่มีป้ายกำกับที่ได้รับป้ายกำกับเทียม โดยใช้การกระจายน้ำหนักการบูสต์ น้ำหนักของตัวเรียนรู้ alpha_t จะถูกคำนวณจากข้อผิดพลาดถ่วงน้ำหนัก เช่นเดียวกับใน AdaBoost แต่ข้อผิดพลาดถ่วงน้ำหนักในที่นี้สะท้อนถึงการมีส่วนร่วมจากทั้งอินสแตนซ์ที่มีป้ายกำกับและไม่มีป้ายกำกับ
สูตร
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)น้ำหนักของอินสแตนซ์จะถูกปรับปรุงเพื่อให้ตัวอย่างที่ตัวเรียนรู้ปัจจุบันจำแนกผิดพลาดได้รับน้ำหนักที่สูงขึ้นในรอบถัดไป สำหรับอินสแตนซ์ที่ไม่มีป้ายกำกับ การปรับปรุงน้ำหนักจะถูกปรับโดยความมั่นใจของป้ายกำกับเทียม: ป้ายกำกับเทียมที่มีความมั่นใจสูงจะถูกเพิ่มน้ำหนักเหมือนตัวอย่างที่มีป้ายกำกับ ในขณะที่ป้ายกำกับเทียมที่มีความมั่นใจต่ำจะถูกลดน้ำหนักเพื่อจำกัดการแพร่กระจายของสัญญาณรบกวน
หลังจาก T รอบของการบูสต์ การทำนายสุดท้ายคือเครื่องหมายของการลงคะแนนเสียงข้างมากถ่วงน้ำหนักของตัวเรียนรู้แบบอ่อนทั้งหมด อองซอมเบิลจะรวมสัญญาณจากการกำกับดูแลที่มีป้ายกำกับและข้อมูลโครงสร้างที่เผยแพร่จากข้อมูลที่ไม่มีป้ายกำกับเข้าด้วยกันเป็นขอบเขตการตัดสินใจที่แข็งแกร่งเพียงหนึ่งเดียว
สูตร
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)ข้อผิดพลาดที่พบบ่อย
- การสมมติว่าข้อมูลที่ไม่มีป้ายกำกับเป็นตัวแทนโดยไม่ได้ตรวจสอบการทับซ้อนของการกระจายตัวกับตัวอย่างที่มีป้ายกำกับ
- การใช้รอบการบูสต์มากเกินไปกับป้ายกำกับเทียมที่มีสัญญาณรบกวน ทำให้แบบจำลองเกิดการเรียนรู้เกิน (overfit) กับการกำหนดค่าแบบอ่อนที่ไม่ถูกต้อง
- การละเลยการปรับแต่งไฮเปอร์พารามิเตอร์ของกราฟ (แบนด์วิดท์ของเคอร์เนล, k ใน k-NN) — คุณภาพกราฟที่ไม่ดีจะทำให้ขั้นตอนการเผยแพร่ทั้งหมดไม่ถูกต้อง
- การรายงานเฉพาะความแม่นยำโดยไม่มีเมตริกแบบแบ่งชั้น (F1, AUC) เมื่อชุดข้อมูลที่มีป้ายกำกับมีความไม่สมดุลของคลาส
- การข้ามชุดข้อมูลทดสอบที่มีป้ายกำกับที่กันไว้ และการประเมินบนกลุ่มข้อมูลที่มีป้ายกำกับเดียวกันที่ใช้ในการสร้างป้ายกำกับเทียม
คำถามที่พบบ่อย
เมื่อใดที่การบูสต์แบบกึ่งมีผู้สอนให้ประสิทธิภาพดีกว่า AdaBoost ธรรมดา?
เชื่อถือได้มากที่สุดเมื่อชุดข้อมูลที่มีป้ายกำกับมีขนาดเล็กมาก โดยปกติแล้วน้อยกว่าสองสามร้อยตัวอย่างต่อคลาส และข้อมูลที่ไม่มีป้ายกำกับมีจำนวนมากและมาจากชุดข้อมูลเดียวกัน เมื่อชุดข้อมูลที่มีป้ายกำกับมีขนาดใหญ่ ช่องว่างจะลดลง และการบูสต์แบบมีผู้สอนมาตรฐานจะง่ายกว่าและเร็วกว่า
ฉันควรสร้างกราฟความคล้ายคลึงกันอย่างไร?
Radial Basis Function (RBF) kernel ที่มีแบนด์วิดท์ที่ปรับแต่งผ่านการตรวจสอบความถูกต้องแบบไขว้ (cross-validation) บนชุดข้อมูลที่มีป้ายกำกับเป็นทางเลือกที่พบบ่อยที่สุด กราฟ k-nearest-neighbor เป็นทางเลือกที่ง่ายกว่า เกณฑ์สำคัญคือกราฟควรเชื่อมโยงตัวอย่างในคลาสเดียวกันและแยกคลัสเตอร์ที่ต่างคลาสออกจากกันให้สะอาดที่สุดเท่าที่จะทำได้
ตัวเรียนรู้พื้นฐานใดที่ทำงานได้ดีที่สุด?
Decision stumps (ต้นไม้ที่มีความลึก 1) เป็นทางเลือกมาตรฐาน ซึ่งสอดคล้องกับ AdaBoost แบบคลาสสิก ต้นไม้ตื้น (ความลึก 2–4) สามารถปรับปรุงความแม่นยำได้เมื่อขอบเขตการตัดสินใจซับซ้อน แต่เพิ่มความเสี่ยงของการพึ่งพาป้ายกำกับเทียมที่มีสัญญาณรบกวนมากเกินไป
ต้องใช้รอบการบูสต์กี่รอบ?
เริ่มต้นด้วย 100–200 รอบและตรวจสอบข้อผิดพลาดในการตรวจสอบความถูกต้องของข้อมูลที่มีป้ายกำกับ แตกต่างจากการบูสต์แบบมีผู้สอนอย่างแท้จริง การเพิ่มรอบมากเกินไปสามารถขยายสัญญาณรบกวนจากป้ายกำกับเทียมได้ ดังนั้นจึงแนะนำอย่างยิ่งให้หยุดก่อนกำหนดบนชุดข้อมูลตรวจสอบความถูกต้องที่มีป้ายกำกับขนาดเล็ก
ความไม่สมดุลของคลาสเป็นข้อกังวลหรือไม่?
ใช่ เมื่อกลุ่มข้อมูลที่มีป้ายกำกับมีความไม่สมดุลของคลาส การทำนายเริ่มต้นจะมีความลำเอียง และป้ายกำกับเทียมจะเผยแพร่ความลำเอียงนั้นไปยังชุดข้อมูลที่ไม่มีป้ายกำกับ ปรับน้ำหนักคลาสที่มีป้ายกำกับก่อนการฝึก หรือสุ่มตัวอย่างคลาสส่วนน้อยเกินไปเพื่อลดปัญหานี้
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วBennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว