Skip to content
กลับไปยังผลการค้นหา

การบูสต์แบบกึ่งมีผู้สอน (Semi-supervised Boosting)

ผู้เสนอ
Mallapragada, P. K.; Bennett, K. P.; and others
ปี
1999–2009
ประเภท
Semi-supervised ensemble method
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การบูสต์แบบกึ่งมีผู้สอน (Semi-supervised Boosting) เป็นกระบวนทัศน์การเรียนรู้แบบอองซอมเบิลที่ต่อยอดจากอัลกอริทึมการบูสต์แบบดั้งเดิม เช่น AdaBoost เพื่อใช้ประโยชน์จากทั้งข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับ ด้วยการเผยแพร่ข้อมูลป้ายกำกับผ่านโครงสร้างความคล้ายคลึงกันบนอินสแตนซ์ที่ไม่มีป้ายกำกับ ทำให้สามารถฝึกตัวจำแนกประเภทที่แข็งแกร่งกว่าการบูสต์แบบมีผู้สอนเพียงอย่างเดียว เมื่อข้อมูลที่มีป้ายกำกับมีจำกัด

แนวคิดเบื้องหลังวิธีการ

การบูสต์แบบดั้งเดิมจะมุ่งเน้นไปที่ตัวอย่างที่มีป้ายกำกับที่จำแนกผิดพลาดซ้ำๆ การบูสต์แบบกึ่งมีผู้สอนเพิ่มมิติใหม่: โดยใช้โครงสร้างทางเรขาคณิตของข้อมูลที่ไม่มีป้ายกำกับเพื่ออนุมานป้ายกำกับแบบอ่อน (soft labels) หรือปรับน้ำหนักตัวอย่าง โดยสัญชาตญาณแล้ว หากจุดที่ไม่มีป้ายกำกับสองจุดมีความคล้ายคลึงกันมาก ควรได้รับป้ายกำกับเดียวกัน การรวมแรงกดดันด้านความสอดคล้องนี้เข้ากับการปรับปรุงน้ำหนักการบูสต์ ทำให้อองซอมเบิลสามารถสรุปผลได้ดีขึ้น แม้จะมีตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ตัวอย่าง ผลลัพธ์ที่ได้คือแบบจำลองที่ยืมสัญญาณจากข้อมูลที่ไม่มีป้ายกำกับส่วนใหญ่ ในขณะที่ยังคงได้รับคำแนะนำจากข้อมูลที่มีป้ายกำกับส่วนน้อย

ประวัติศาสตร์

แนวคิดในการรวมการบูสต์เข้ากับข้อมูลที่ไม่มีป้ายกำเนิดขึ้นในช่วงปลายทศวรรษ 1990 โดย Bennett และ Demiriz (1999) เป็นกลุ่มแรกๆ ที่สำรวจกลยุทธ์อองซอมเบิลแบบกึ่งมีผู้สอน อัลกอริทึม SemiBoost ซึ่งได้รับการกำหนดอย่างเป็นทางการโดย Mallapragada et al. ในบทความ IEEE TPAMI ปี 2009 ได้กลายเป็นข้อมูลอ้างอิงหลักสำหรับการบูสต์แบบกึ่งมีผู้สอนที่ใช้กราฟ งานวิจัยต่อมาได้ขยายกรอบการทำงานไปยังการตั้งค่าแบบหลายคลาสและเชื่อมโยงเข้ากับทฤษฎีการทำให้แมนิโฟลด์เป็นระเบียบ (manifold regularization theory) ทำให้การบูสต์แบบกึ่งมีผู้สอนเป็นพื้นฐานมาตรฐานในวรรณกรรมด้านการเรียนรู้แบบกึ่งมีผู้สอน

ควรใช้เมื่อใด

การบูสต์แบบกึ่งมีผู้สอนเหมาะสมเมื่อข้อมูลที่มีป้ายกำกับมีจำกัดและมีค่าใช้จ่ายสูงในการได้มา แต่มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมากพร้อมใช้งาน ซึ่งเป็นเรื่องปกติในการทำหมายเหตุภาพทางการแพทย์ การจัดหมวดหมู่ข้อความ และการตรวจสอบด้วยเซ็นเซอร์ เหมาะที่สุดสำหรับงานการจำแนกประเภทแบบไบนารีหรือหลายคลาสที่สมมติฐานคลัสเตอร์หรือแมนิโฟลด์เป็นไปได้ (อินพุตที่คล้ายกันมีป้ายกำกับร่วมกัน) หลีกเลี่ยงเมื่อข้อมูลที่ไม่มีป้ายกำกับไม่เป็นตัวแทนของการกระจายตัวของข้อมูลทดสอบ เมื่อสมมติฐานคลัสเตอร์ไม่น่าเชื่อถือ (เช่น ข้อมูลจากกระบวนการที่แตกต่างกันโดยพื้นฐาน) หรือเมื่อชุดข้อมูลที่มีป้ายกำกับมีขนาดใหญ่พอที่จะทำให้ตัวบูสต์แบบมีผู้สอนอิ่มตัวแล้ว ในกรณีนั้น การบูสต์แบบเกรเดียนต์ธรรมดาจะให้ประสิทธิภาพที่เท่ากันหรือดีกว่าโดยมีความซับซ้อนน้อยกว่ามาก

ข้อจำกัดและข้อควรพิจารณา

  • ประสิทธิภาพลดลงอย่างรวดเร็วหากข้อมูลที่ไม่มีป้ายกำกับไม่มีการกระจายตัวเหมือนกับข้อมูลที่มีป้ายกำกับ (dataset shift)
  • สัญญาณรบกวนจากป้ายกำกับเทียมสามารถสะสมได้ในหลายรอบการบูสต์ ซึ่งนำไปสู่การขยายข้อผิดพลาดเมื่อการทำนายเริ่มต้นไม่ดี
  • การสร้างกราฟความคล้ายคลึงกันต้องเลือกแบนด์วิดท์ของเคอร์เนลหรือจำนวนเพื่อนบ้าน ซึ่งมีความละเอียดอ่อนและต้องมีการตรวจสอบความถูกต้อง
  • ต้นทุนการคำนวณสูงกว่าการบูสต์แบบมีผู้สอนอย่างมาก เนื่องจากการสร้างกราฟและการคำนวณป้ายกำกับเทียมใหม่ในแต่ละรอบ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับจำนวนมากเพื่อปรับปรุงความแม่นยำให้เกินกว่าที่ชุดข้อมูลที่มีป้ายกำกับเพียงอย่างเดียวจะรองรับได้
  • สืบทอดประสิทธิภาพเชิงประจักษ์ที่แข็งแกร่งและความยืดหยุ่นของกรอบการทำงานการบูสต์ เช่น AdaBoost
  • โครงสร้างความคล้ายคลึงกันแบบกราฟทำให้การเผยแพร่ป้ายกำกับสามารถตีความและปรับแต่งได้
  • ทำงานร่วมกับตัวเรียนรู้พื้นฐานใดๆ ที่ยอมรับน้ำหนักของอินสแตนซ์ ทำให้กรอบการทำงานเป็นแบบโมดูลาร์
  • ให้ประสิทธิภาพที่เหนือกว่าการบูสต์แบบมีผู้สอนอย่างสม่ำเสมอในสถานการณ์ที่มีอัตราป้ายกำกับต่ำ ซึ่งได้รับการบันทึกไว้ในการทดลองเปรียบเทียบ

การประยุกต์ใช้

  • การจำแนกประเภทข้อความและเอกสารที่คลังข้อมูลที่มีป้ายกำกับมีขนาดเล็ก แต่มีคลังข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่พร้อมใช้งาน
  • การจำแนกภาพทางการแพทย์ที่มีภาพที่ผู้เชี่ยวชาญทำหมายเหตุจำกัด ควบคู่ไปกับคลังข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับ
  • การจัดหมวดหมู่เนื้อหาเว็บที่ใช้ประโยชน์จากโครงสร้างกราฟไฮเปอร์ลิงก์เป็นแหล่งความคล้ายคลึงกัน
  • การตรวจจับข้อบกพร่องทางอุตสาหกรรมที่มีการอ่านค่าเซ็นเซอร์จำนวนมาก แต่มีเหตุการณ์ข้อบกพร่องที่ทำหมายเหตุด้วยตนเองเพียงไม่กี่รายการ
  • งานชีวสารสนเทศ เช่น การทำนายหน้าที่ของโปรตีนที่มีหมายเหตุที่ได้รับการตรวจสอบความถูกต้องจำกัด

วิธีการทำงาน

วิธีการทำงาน

1

ตัวจำแนกประเภทพื้นฐาน ซึ่งโดยทั่วไปคือ decision stump หรือ shallow tree จะถูกฝึกบนส่วนของชุดข้อมูลที่มีป้ายกำกับ สิ่งนี้ให้สมมติฐานเริ่มต้นและกำหนดกรอบการทำงานของการบูสต์ อินสแตนซ์ที่มีป้ายกำกับทั้งหมดจะได้รับน้ำหนักที่เท่ากันในรอบแรกนี้

2

โครงสร้างความคล้ายคลึงกันแบบคู่ (pairwise similarity) หรือกราฟจะถูกสร้างขึ้นจากข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับรวมกัน ซึ่งมักใช้ Radial Basis Function (RBF) kernel หรือ k-nearest-neighbor graph สิ่งนี้เข้ารหัสสมมติฐานที่ว่าจุดที่อยู่ใกล้กันใน feature space มีแนวโน้มที่จะอยู่ในคลาสเดียวกัน

3

การใช้แบบจำลองอองซอมเบิลปัจจุบันและกราฟความคล้ายคลึงกัน ป้ายกำกับเทียมแบบอ่อน (soft pseudo-labels) จะถูกกำหนดให้กับอินสแตนซ์ที่ไม่มีป้ายกำกับ จุดที่อยู่ใกล้กับตัวอย่างที่มีป้ายกำกับที่จำแนกได้อย่างมั่นใจจะได้รับป้ายกำกับของตัวอย่างเหล่านั้น; จุดที่อยู่ใกล้ขอบเขตการตัดสินใจจะได้รับป้ายกำกับเทียมที่มีความมั่นใจต่ำ และมีส่วนร่วมในการปรับปรุงน้อยลง

4

ตัวเรียนรู้แบบอ่อนในปัจจุบันจะถูกปรับให้เข้ากับชุดข้อมูลที่เพิ่มขึ้น ซึ่งประกอบด้วยตัวอย่างที่มีป้ายกำกับและตัวอย่างที่ไม่มีป้ายกำกับที่ได้รับป้ายกำกับเทียม โดยใช้การกระจายน้ำหนักการบูสต์ น้ำหนักของตัวเรียนรู้ alpha_t จะถูกคำนวณจากข้อผิดพลาดถ่วงน้ำหนัก เช่นเดียวกับใน AdaBoost แต่ข้อผิดพลาดถ่วงน้ำหนักในที่นี้สะท้อนถึงการมีส่วนร่วมจากทั้งอินสแตนซ์ที่มีป้ายกำกับและไม่มีป้ายกำกับ

สูตร
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)
5

น้ำหนักของอินสแตนซ์จะถูกปรับปรุงเพื่อให้ตัวอย่างที่ตัวเรียนรู้ปัจจุบันจำแนกผิดพลาดได้รับน้ำหนักที่สูงขึ้นในรอบถัดไป สำหรับอินสแตนซ์ที่ไม่มีป้ายกำกับ การปรับปรุงน้ำหนักจะถูกปรับโดยความมั่นใจของป้ายกำกับเทียม: ป้ายกำกับเทียมที่มีความมั่นใจสูงจะถูกเพิ่มน้ำหนักเหมือนตัวอย่างที่มีป้ายกำกับ ในขณะที่ป้ายกำกับเทียมที่มีความมั่นใจต่ำจะถูกลดน้ำหนักเพื่อจำกัดการแพร่กระจายของสัญญาณรบกวน

6

หลังจาก T รอบของการบูสต์ การทำนายสุดท้ายคือเครื่องหมายของการลงคะแนนเสียงข้างมากถ่วงน้ำหนักของตัวเรียนรู้แบบอ่อนทั้งหมด อองซอมเบิลจะรวมสัญญาณจากการกำกับดูแลที่มีป้ายกำกับและข้อมูลโครงสร้างที่เผยแพร่จากข้อมูลที่ไม่มีป้ายกำกับเข้าด้วยกันเป็นขอบเขตการตัดสินใจที่แข็งแกร่งเพียงหนึ่งเดียว

สูตร
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

ข้อผิดพลาดที่พบบ่อย

  • การสมมติว่าข้อมูลที่ไม่มีป้ายกำกับเป็นตัวแทนโดยไม่ได้ตรวจสอบการทับซ้อนของการกระจายตัวกับตัวอย่างที่มีป้ายกำกับ
  • การใช้รอบการบูสต์มากเกินไปกับป้ายกำกับเทียมที่มีสัญญาณรบกวน ทำให้แบบจำลองเกิดการเรียนรู้เกิน (overfit) กับการกำหนดค่าแบบอ่อนที่ไม่ถูกต้อง
  • การละเลยการปรับแต่งไฮเปอร์พารามิเตอร์ของกราฟ (แบนด์วิดท์ของเคอร์เนล, k ใน k-NN) — คุณภาพกราฟที่ไม่ดีจะทำให้ขั้นตอนการเผยแพร่ทั้งหมดไม่ถูกต้อง
  • การรายงานเฉพาะความแม่นยำโดยไม่มีเมตริกแบบแบ่งชั้น (F1, AUC) เมื่อชุดข้อมูลที่มีป้ายกำกับมีความไม่สมดุลของคลาส
  • การข้ามชุดข้อมูลทดสอบที่มีป้ายกำกับที่กันไว้ และการประเมินบนกลุ่มข้อมูลที่มีป้ายกำกับเดียวกันที่ใช้ในการสร้างป้ายกำกับเทียม

คำถามที่พบบ่อย

เมื่อใดที่การบูสต์แบบกึ่งมีผู้สอนให้ประสิทธิภาพดีกว่า AdaBoost ธรรมดา?

เชื่อถือได้มากที่สุดเมื่อชุดข้อมูลที่มีป้ายกำกับมีขนาดเล็กมาก โดยปกติแล้วน้อยกว่าสองสามร้อยตัวอย่างต่อคลาส และข้อมูลที่ไม่มีป้ายกำกับมีจำนวนมากและมาจากชุดข้อมูลเดียวกัน เมื่อชุดข้อมูลที่มีป้ายกำกับมีขนาดใหญ่ ช่องว่างจะลดลง และการบูสต์แบบมีผู้สอนมาตรฐานจะง่ายกว่าและเร็วกว่า

ฉันควรสร้างกราฟความคล้ายคลึงกันอย่างไร?

Radial Basis Function (RBF) kernel ที่มีแบนด์วิดท์ที่ปรับแต่งผ่านการตรวจสอบความถูกต้องแบบไขว้ (cross-validation) บนชุดข้อมูลที่มีป้ายกำกับเป็นทางเลือกที่พบบ่อยที่สุด กราฟ k-nearest-neighbor เป็นทางเลือกที่ง่ายกว่า เกณฑ์สำคัญคือกราฟควรเชื่อมโยงตัวอย่างในคลาสเดียวกันและแยกคลัสเตอร์ที่ต่างคลาสออกจากกันให้สะอาดที่สุดเท่าที่จะทำได้

ตัวเรียนรู้พื้นฐานใดที่ทำงานได้ดีที่สุด?

Decision stumps (ต้นไม้ที่มีความลึก 1) เป็นทางเลือกมาตรฐาน ซึ่งสอดคล้องกับ AdaBoost แบบคลาสสิก ต้นไม้ตื้น (ความลึก 2–4) สามารถปรับปรุงความแม่นยำได้เมื่อขอบเขตการตัดสินใจซับซ้อน แต่เพิ่มความเสี่ยงของการพึ่งพาป้ายกำกับเทียมที่มีสัญญาณรบกวนมากเกินไป

ต้องใช้รอบการบูสต์กี่รอบ?

เริ่มต้นด้วย 100–200 รอบและตรวจสอบข้อผิดพลาดในการตรวจสอบความถูกต้องของข้อมูลที่มีป้ายกำกับ แตกต่างจากการบูสต์แบบมีผู้สอนอย่างแท้จริง การเพิ่มรอบมากเกินไปสามารถขยายสัญญาณรบกวนจากป้ายกำกับเทียมได้ ดังนั้นจึงแนะนำอย่างยิ่งให้หยุดก่อนกำหนดบนชุดข้อมูลตรวจสอบความถูกต้องที่มีป้ายกำกับขนาดเล็ก

ความไม่สมดุลของคลาสเป็นข้อกังวลหรือไม่?

ใช่ เมื่อกลุ่มข้อมูลที่มีป้ายกำกับมีความไม่สมดุลของคลาส การทำนายเริ่มต้นจะมีความลำเอียง และป้ายกำกับเทียมจะเผยแพร่ความลำเอียงนั้นไปยังชุดข้อมูลที่ไม่มีป้ายกำกับ ปรับน้ำหนักคลาสที่มีป้ายกำกับก่อนการฝึก หรือสุ่มตัวอย่างคลาสส่วนน้อยเกินไปเพื่อลดปัญหานี้

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว