การจัดกลุ่มแบบกึ่งกำกับด้วยการซ้อนทับ
- ผู้เสนอ
- Combines Wolpert (1992) stacking with semi-supervised learning principles
- ปี
- 2000s–2010s
- ประเภท
- Ensemble (stacked generalization with unlabeled data augmentation)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การจัดกลุ่มแบบกึ่งกำกับด้วยการซ้อนทับ (Semi-supervised Stacking Ensemble) ขยายกรอบการทำงานการสรุปความแบบคลาสสิก (stacked generalization) ไปสู่สถานการณ์ที่มีเพียงส่วนน้อยของตัวอย่างการฝึกอบรมที่มีป้ายกำกับ ผู้เรียนพื้นฐาน (Base learners) จะถูกฝึกอบรมด้วยข้อมูลที่มีป้ายกำกับก่อน จากนั้นจึงใช้เพื่อกำหนดป้ายกำกับเสมือน (pseudo-labels) ให้กับตัวอย่างที่ไม่มีป้ายกำกับ ชุดข้อมูลที่ขยายออกจะฝึกอบรมโมเดลพื้นฐานที่แข็งแกร่งยิ่งขึ้น ซึ่งการคาดการณ์นอกกลุ่ม (out-of-fold predictions) ของโมเดลเหล่านี้จะกลายเป็นอินพุตสำหรับผู้เรียนระดับอภิ (meta-learner) ทำให้เกิดการจัดกลุ่มแบบสองระดับที่ใช้ประโยชน์จากทั้งโครงสร้างที่มีป้ายกำกับและไม่มีป้ายกำกับ
แนวคิดเบื้องหลังวิธีการ
การซ้อนทับ (Stacking) สามารถเอาชนะโมเดลเดี่ยวได้แล้วโดยการฝึกอบรมผู้เรียนระดับอภิจากผลการคาดการณ์ของผู้เรียนพื้นฐานที่หลากหลาย การซ้อนทับแบบกึ่งกำกับ (Semi-supervised stacking) เพิ่มกลอุบายเพิ่มเติม: แทนที่จะทิ้งชุดตัวอย่างที่ไม่มีป้ายกำกับจำนวนมาก มันจะใช้โมเดลพื้นฐานปัจจุบันเพื่อคาดเดาป้ายกำกับของตัวอย่างเหล่านั้นด้วยเกณฑ์ความเชื่อมั่นบางอย่าง รวมตัวอย่างที่มีป้ายกำกับเสมือนเหล่านั้นกลับเข้าสู่การฝึกอบรม ฝึกอบรมโมเดลพื้นฐานใหม่ และทำซ้ำ แต่ละรอบการทำงานจะทำให้โมเดลพื้นฐานมีข้อมูลมากขึ้นเพื่อเรียนรู้ ดังนั้นคุณลักษณะระดับอภิ (meta-features) ที่พวกเขาสร้างขึ้นสำหรับผู้เรียนระดับอภิจึงมีความให้ข้อมูลมากขึ้นเรื่อยๆ โดยไม่ต้องมีการติดป้ายกำกับเพิ่มเติมจากมนุษย์
ประวัติศาสตร์
การสรุปความแบบซ้อนทับ (Stacked generalization) ถูกทำให้เป็นทางการโดย Wolpert ในปี 1992 เพื่อรวมโมเดลหลายตัวเข้าด้วยกันผ่านผู้เรียนระดับอภิที่เรียนรู้ได้ หลักการของการเรียนรู้แบบกึ่งกำกับ – การใช้ข้อมูลที่ไม่มีป้ายกำกับเพื่อปรับปรุงโมเดลแบบกำกับ – ได้รับการรวบรวมโดย Chapelle, Schölkopf, และ Zien ในหนังสือ MIT Press ปี 2006 ของพวกเขา การผสมผสานที่ชัดเจนของทั้งสองอย่าง การซ้อนทับแบบกึ่งกำกับ ได้เกิดขึ้นในวรรณกรรม ML ประยุกต์ในช่วงปี 2000 และ 2010 โดยเฉพาะอย่างยิ่งในการแข่งขัน Machine Learning และในสาขาที่การติดป้ายกำกับมีอยู่อย่างจำกัด
ควรใช้เมื่อใด
ใช้การจัดกลุ่มแบบกึ่งกำกับด้วยการซ้อนทับเมื่อคุณมีงานจำแนกประเภท (classification) หรือการถดถอย (regression) ที่มีชุดข้อมูลที่มีป้ายกำกับขนาดเล็กและชุดตัวอย่างที่ไม่มีป้ายกำกับจำนวนมาก ซึ่งเป็นสถานการณ์ทั่วไปในการถ่ายภาพทางการแพทย์, การประมวลผลภาษาธรรมชาติ (NLP), หรือการสำรวจระยะไกล (remote sensing) ที่การติดป้ายกำกับมีค่าใช้จ่ายสูง มีประสิทธิภาพเป็นพิเศษเมื่อข้อมูลที่ไม่มีป้ายกำกับมาจากรูปแบบการกระจายเดียวกันกับข้อมูลที่มีป้ายกำกับ และเมื่อมีครอบครัวผู้เรียนพื้นฐานที่หลากหลายอย่างน้อย 3-5 ครอบครัว หลีกเลี่ยงการใช้งานเมื่อชุดข้อมูลที่ไม่มีป้ายกำกับมีขนาดเล็ก (ไม่ให้ประโยชน์เหนือกว่าการซ้อนทับแบบมาตรฐาน), เมื่อชุดข้อมูลที่มีป้ายกำกับมีขนาดใหญ่พอที่ประโยชน์ของกึ่งกำกับจะน้อยมาก, หรือเมื่อสงสัยว่ามีการเปลี่ยนแปลงรูปแบบการกระจายระหว่างตัวอย่างที่มีป้ายกำกับและไม่มีป้ายกำกับ เนื่องจากข้อผิดพลาดของป้ายกำกับเสมือนจะสะสมไปเรื่อยๆ ในแต่ละรอบ
ข้อจำกัดและข้อควรพิจารณา
- ข้อผิดพลาดของป้ายกำกับเสมือนสะสมไปเรื่อยๆ ในแต่ละรอบการทำงาน หากโมเดลพื้นฐานเริ่มต้นอ่อนแอ ผลการคาดการณ์ที่มั่นใจแต่อาจผิดพลาดจะถูกเสริมความแข็งแกร่งในรอบการทำงานถัดไป
- พื้นผิวของไฮเปอร์พารามิเตอร์ (Hyperparameter surface) กว้าง: จำนวนรอบการทำงาน, เกณฑ์ความเชื่อมั่น, จำนวนกลุ่ม (folds), และความหลากหลายของผู้เรียนพื้นฐาน ล้วนมีปฏิสัมพันธ์กัน
- มีค่าใช้จ่ายในการคำนวณสูง: การฝึกอบรมซ้ำแบบ k-fold ในผู้เรียนพื้นฐานหลายตัวจะถูกทำซ้ำหลายรอบ ดังนั้นเวลาในการประมวลผลจะเพิ่มขึ้นอย่างรวดเร็ว
- จำเป็นต้องให้รูปแบบการกระจายของข้อมูลที่ไม่มีป้ายกำกับตรงกับรูปแบบการกระจายของข้อมูลที่มีป้ายกำกับอย่างใกล้ชิด การเปลี่ยนแปลงของตัวแปรสุ่ม (covariate shift) จะทำให้สมมติฐานของการติดป้ายกำกับเสมือนเป็นโมฆะ
- ความสามารถในการตีความต่ำ: การซ้อนทับสองระดับบวกกับการติดป้ายกำกับเสมือนแบบวนซ้ำ ทำให้ยากต่อการติดตามว่าการคาดการณ์ใดๆ เกิดขึ้นได้อย่างไร
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ใช้ประโยชน์จากชุดข้อมูลที่ไม่มีป้ายกำกับจำนวนมากโดยไม่มีค่าใช้จ่ายในการติดป้ายกำกับเพิ่มเติม มักจะปรับปรุงความแม่นยำอย่างมากเมื่อเทียบกับการซ้อนทับแบบกำกับเท่านั้น
- สืบทอดประโยชน์ทั้งหมดของการซ้อนทับแบบคลาสสิก: ความหลากหลายของผู้เรียนพื้นฐานช่วยลดความแปรปรวน (variance) และความเอนเอียง (bias) พร้อมกัน
- มีความยืดหยุ่น: ผู้เรียนแบบกำกับ (supervised learner) ใดๆ ก็สามารถทำหน้าที่เป็นโมเดลพื้นฐานหรือผู้เรียนระดับอภิได้ ทำให้กรอบการทำงานนี้สามารถนำไปประยุกต์ใช้ได้อย่างกว้างขวาง
- การกำหนดเกณฑ์ความเชื่อมั่น (Confidence thresholding) เป็นกลไกที่มีหลักการในการควบคุมคุณภาพของป้ายกำกับเสมือนที่นำเข้ามาในแต่ละรอบการทำงาน
- ปรับขนาดได้ดี: ข้อมูลที่ไม่มีป้ายกำกับมีราคาถูก ดังนั้นวิธีการนี้จะยิ่งมีคุณค่ามากขึ้นเมื่ออัตราส่วนของตัวอย่างที่ไม่มีป้ายกำกับต่อตัวอย่างที่มีป้ายกำกับเพิ่มขึ้น
การประยุกต์ใช้
- การจำแนกประเภทภาพทางการแพทย์ ที่ซึ่งสแกนที่ติดป้ายกำกับมีน้อย แต่สแกนที่ไม่มีป้ายกำกับมีมากมาย
- งานประมวลผลภาษาธรรมชาติ (NLP) (เช่น การวิเคราะห์ความรู้สึก, หัวข้อ) ที่มีคลังข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่และชุดข้อมูลการฝึกอบรมที่มีป้ายกำกับขนาดเล็ก
- การจำแนกประเภทการใช้ประโยชน์ที่ดินจากการสำรวจระยะไกล โดยใช้ภาพถ่ายดาวเทียมจำนวนมากที่มีป้ายกำกับจริงน้อย
- การตรวจจับการฉ้อโกง ที่ซึ่งกรณีการฉ้อโกงที่ยืนยันแล้วนั้นหายากเมื่อเทียบกับธุรกรรมที่ยังไม่ได้ตรวจสอบ
- งานชีวสารสนเทศศาสตร์ (Bioinformatics) เช่น การทำนายหน้าที่ของโปรตีน โดยมีตัวอย่างที่ได้รับการยืนยันจากการทดลองจำกัด
วิธีการทำงาน
วิธีการทำงาน
ผู้เรียนพื้นฐาน (เช่น gradient-boosted trees, SVMs, neural nets) จะถูกฝึกอบรมบนชุดข้อมูลที่มีป้ายกำกับ จากนั้นพวกเขาจะคาดการณ์ความน่าจะเป็นของคลาสสำหรับตัวอย่างที่ไม่มีป้ายกำกับแต่ละตัวอย่าง ตัวอย่างที่ความน่าจะเป็นของคลาสสูงสุดที่คาดการณ์ไว้เกินเกณฑ์ความเชื่อมั่นจะได้รับป้ายกำกับเสมือนและถูกเพิ่มเข้าไปในชุดข้อมูลการฝึกอบรมที่ใช้งานสำหรับรอบการทำงานถัดไป
ผู้เรียนพื้นฐานที่หลากหลายจะถูก (ฝึกอบรมใหม่) บนชุดข้อมูลที่มีป้ายกำกับจริงและป้ายกำกับเสมือนที่รวมกัน โดยใช้การตรวจสอบไขว้แบบ k-fold (k-fold cross-validation) เพื่อหลีกเลี่ยงการรั่วไหลของข้อมูล ความหลากหลายของผู้เรียนพื้นฐานแต่ละตัว – ในกลุ่มอัลกอริทึม, ความเข้มของการทำให้เป็นปกติ (regularization strength), หรือชุดคุณลักษณะ – เป็นสิ่งสำคัญ การจัดกลุ่มที่เป็นเนื้อเดียวกันจะได้รับประโยชน์เพียงเล็กน้อยจากระดับที่สอง
การคาดการณ์นอกกลุ่ม (Out-of-fold predictions) จากผู้เรียนพื้นฐานแต่ละตัวบนตัวอย่างที่มีป้ายกำกับจะถูกรวบรวมเป็นเมทริกซ์คุณลักษณะระดับอภิ (meta-feature matrix) แต่ละแถวจะสอดคล้องกับตัวอย่างการฝึกอบรมที่มีป้ายกำกับ แต่ละคอลัมน์คือการคาดการณ์ของผู้เรียนพื้นฐานแต่ละตัวที่ประเมินจากกลุ่มที่ไม่ได้เห็นตัวอย่างนั้น ซึ่งรักษาการแสดงผลที่ไม่เอนเอียงสำหรับผู้เรียนระดับอภิ
ผู้เรียนระดับอภิ (meta-learner) (โดยทั่วไปคือ logistic regression, shallow neural net, หรือ tree model อื่นๆ) จะถูกฝึกอบรมบนเมทริกซ์คุณลักษณะระดับอภิด้วยป้ายกำกับจริง มันจะเรียนรู้วิธีการรวมผลลัพธ์ของผู้เรียนพื้นฐานให้ดีที่สุด แก้ไขความเอนเอียงที่เป็นระบบ และใช้ประโยชน์จากจุดแข็งที่เสริมกัน
ขั้นตอนที่ 1-4 จะถูกทำซ้ำเป็นจำนวนรอบที่กำหนด หรือจนกว่าชุดป้ายกำกับเสมือนจะคงที่ (มีตัวอย่างใหม่น้อยมากที่ข้ามเกณฑ์ความเชื่อมั่น) ในแต่ละรอบ เกณฑ์ความเชื่อมั่นอาจจะผ่อนปรนเล็กน้อยเพื่อรวมข้อมูลที่ไม่มีป้ายกำกับมากขึ้น แต่ต้องระมัดระวัง: เกณฑ์ที่ต่ำเกินไปจะแพร่กระจายป้ายกำกับเสมือนที่ผิดพลาดและทำให้ประสิทธิภาพลดลง
ข้อผิดพลาดที่พบบ่อย
- การตั้งค่าเกณฑ์ความเชื่อมั่นต่ำเกินไปในรอบการทำงานแรกๆ ทำให้ชุดข้อมูลการฝึกอบรมเต็มไปด้วยป้ายกำกับเสมือนที่มีสัญญาณรบกวน ซึ่งทำให้คุณภาพของผู้เรียนพื้นฐานลดลง
- การใช้ผู้เรียนพื้นฐานเพียงหนึ่งหรือสองตัวที่มีความสัมพันธ์กันสูง หากไม่มีความหลากหลาย ผู้เรียนระดับอภิจะได้รับสัญญาณที่ซ้ำซ้อน และการจัดกลุ่มจะไม่ให้ผลลัพธ์ที่ดีกว่าโมเดลเดียว
- การไม่ใช้การตรวจสอบไขว้ (cross-validation) เมื่อสร้างคุณลักษณะระดับอภิ ทำให้เกิดการรั่วไหลของข้อมูลที่เพิ่มความแม่นยำในการฝึกอบรม และทำให้การฝึกอบรมผู้เรียนระดับอภิเข้าใจผิด
- การประเมินประสิทธิภาพสุดท้ายบนตัวอย่างที่มีป้ายกำกับเสมือนแทนที่จะเป็นชุดทดสอบที่มีป้ายกำกับจริงที่ถูกแยกออก ทำให้ได้เมตริกที่มองโลกในแง่ดีเกินไป
- การเพิกเฉยต่อการลู่เข้า (convergence) – การทำงานหลายรอบเกินไปหลังจากชุดป้ายกำกับเสมือนคงที่แล้ว เป็นการสิ้นเปลืองทรัพยากรในการคำนวณและเสี่ยงต่อการเรียนรู้เกิน (overfitting) จากการคาดการณ์ที่มั่นใจแต่ผิดพลาด
คำถามที่พบบ่อย
ฉันจะเลือกเกณฑ์ความเชื่อมั่นสำหรับการติดป้ายกำกับเสมือนได้อย่างไร?
จุดเริ่มต้นทั่วไปคือ 0.9 หรือสูงกว่าสำหรับการจำแนกประเภท ซึ่งหมายความว่าเฉพาะตัวอย่างที่ความน่าจะเป็นของคลาสหลักเกิน 90% เท่านั้นที่จะได้รับป้ายกำกับเสมือน เกณฑ์นี้สามารถผ่อนปรนได้ในรอบการทำงานต่อๆ ไปเมื่อโมเดลพื้นฐานดีขึ้น ควรตรวจสอบความแม่นยำของการตรวจสอบความถูกต้อง (validation accuracy) ในแต่ละรอบการทำงานเสมอ เพื่อจับค่าเกณฑ์ที่นำสัญญาณรบกวนมากเกินไปเข้ามา
ฉันควรใช้ผู้เรียนพื้นฐานใดบ้าง?
ความหลากหลายคือหลักการสำคัญ การผสมผสานทั่วไปจะจับคู่ gradient-boosted trees (เช่น XGBoost), SVM ที่มีเคอร์เนลแบบเรเดียล (radial kernel), และโครงข่ายประสาทเทียม (neural network) การรวมโมเดลที่มีโปรไฟล์ความแปรปรวน-ความเอนเอียง (bias-variance profile) ที่แตกต่างกัน และในความสัมพันธ์ของคุณลักษณะที่พวกมันจับได้ จะให้คุณลักษณะระดับอภิที่มีข้อมูลมากที่สุดสำหรับระดับที่สอง
สิ่งนี้แตกต่างจากการซ้อนทับแบบมาตรฐานอย่างไร?
การซ้อนทับแบบมาตรฐานใช้เฉพาะข้อมูลที่มีป้ายกำกับตลอดกระบวนการ การซ้อนทับแบบกึ่งกำกับจะเพิ่มวงจรการติดป้ายกำกับเสมือนที่ขยายชุดข้อมูลการฝึกอบรมที่มีประสิทธิภาพอย่างต่อเนื่องด้วยตัวอย่างที่ไม่มีป้ายกำกับที่มีความเชื่อมั่นสูง ดังนั้นจึงมีประโยชน์มากที่สุดเมื่อข้อมูลที่มีป้ายกำกับมีจำกัดและข้อมูลที่ไม่มีป้ายกำกับมีมากมาย
สามารถจัดการกับการถดถอยได้ดีพอๆ กับการจำแนกประเภทหรือไม่?
ใช่ สำหรับการถดถอย การกำหนดเกณฑ์ความเชื่อมั่นจะถูกแทนที่ด้วยเกณฑ์ที่อิงตามส่วนที่เหลือ (residual-based criterion) – ตัวอย่างเช่น การรวมตัวอย่างที่มีป้ายกำกับเสมือนที่มีค่าที่คาดการณ์ไว้มีความเสถียร (ความแปรปรวนต่ำ) ในบรรดาผู้เรียนพื้นฐาน จากนั้นผู้เรียนระดับอภิจะรวมผลลัพธ์แบบต่อเนื่องแทนที่จะเป็นความน่าจะเป็นของคลาส
ความเสี่ยงของข้อผิดพลาดในการแพร่กระจายป้ายกำกับคืออะไร?
หากโมเดลพื้นฐานเริ่มต้นไม่แม่นยำ ผลการคาดการณ์ที่มั่นใจของพวกมันอาจยังคงผิดพลาด และข้อผิดพลาดเหล่านั้นจะถูกเสริมความแข็งแกร่งในรอบการทำงานถัดไป การใช้เกณฑ์ความเชื่อมั่นเริ่มต้นที่สูง, การตรวจสอบชุดข้อมูลตรวจสอบความถูกต้องที่มีป้ายกำกับที่ถูกแยกออกในแต่ละรอบการทำงาน, และการหยุดเมื่อประสิทธิภาพการตรวจสอบความถูกต้องหยุดนิ่ง คือการป้องกันหลัก
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วChapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9คัดลอกแล้ว