การจำแนกประเภทแบบกึ่งมีผู้สอนด้วยเครื่องเวกเตอร์สนับสนุน
- ผู้เสนอ
- Joachims, T.
- ปี
- 1999
- ประเภท
- Semi-supervised classifier
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การจำแนกประเภทแบบกึ่งมีผู้สอนด้วยเครื่องเวกเตอร์สนับสนุน (S3VM) เป็นการขยายขีดความสามารถของ SVM แบบดั้งเดิม โดยการรวมข้อมูลที่ไม่มีป้ายกำกับจำนวนมากเข้ากับชุดข้อมูลฝึกอบรมที่มีป้ายกำกับขนาดเล็ก มันแสวงหาไฮเปอร์เพลนที่มีส่วนต่างสูงสุดที่ไม่เพียงแต่แยกตัวอย่างที่มีป้ายกำกับเท่านั้น แต่ยังผ่านบริเวณที่มีความหนาแน่นต่ำของการกระจายข้อมูลทั้งหมด ทำให้เกิดการสรุปผลที่ดีขึ้นเมื่อตัวอย่างที่มีป้ายกำกับมีน้อย
แนวคิดเบื้องหลังวิธีการ
SVM มาตรฐานเรียนรู้ขอบเขตจากจุดที่มีป้ายกำกับเท่านั้น S3VM สังเกตว่าข้อมูลที่ไม่มีป้ายกำกับยังคงให้ข้อมูลทางเรขาคณิตเกี่ยวกับตำแหน่งที่กลุ่มข้อมูลมีความหนาแน่นและตำแหน่งที่เบาบาง โดยกำหนดให้ขอบเขตการตัดสินใจหลีกเลี่ยงบริเวณที่มีความหนาแน่นสูง ไม่ว่าจุดเหล่านั้นจะมีป้ายกำกับหรือไม่ก็ตาม โมเดลสามารถใช้ประโยชน์จากข้อมูลส่วนใหญ่ที่ไม่มีป้ายกำกับเพื่อทำให้ขอบเขตที่ควรจะวาดจากตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ตัวอย่างมีความคมชัดขึ้น ผลลัพธ์คือส่วนต่างที่เคารพโครงสร้างข้อมูลพื้นฐาน ไม่ใช่แค่ป้ายกำกับที่ทราบ
ประวัติศาสตร์
รากฐานของ S3VM วางโดย Vapnik ในงานยุคแรกของเขาเกี่ยวกับการอนุมานแบบถ่ายทอด แต่ต่อมาวิธีการนี้ได้รับการยอมรับอย่างกว้างขวางหลังจาก Joachims (1999) แสดงให้เห็นถึงประสิทธิภาพสำหรับ การจำแนกข้อความภายใต้ชื่อ Transductive SVM การรักษาที่ครอบคลุมใน Chapelle, Scholkopf และ Zien (2006) ได้รวม S3VM เข้ากับแนวทางกึ่งมีผู้สอนอื่นๆ และยังคงเป็นแหล่งอ้างอิงมาตรฐาน งานต่อมาได้นำเสนอการผ่อนคลายแบบนูนและตัวแก้ปัญหาที่ปรับขนาดได้เพื่อจัดการกับความท้าทายด้านการคำนวณและจุดที่เหมาะสมที่สุดเฉพาะที่ของวิธีการดั้งเดิม
ควรใช้เมื่อใด
S3VM เป็นตัวเลือกที่เหมาะสมเมื่อข้อมูลที่มีป้ายกำกับมีราคาแพงหรือมีน้อย (เช่น น้อยกว่าไม่กี่ร้อยตัวอย่าง) แต่มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก — สถานการณ์ทั่วไปในการจำแนกข้อความ ชีวสารสนเทศ หรือโดเมนใดๆ ที่การติดป้ายกำกับมีค่าใช้จ่ายสูง ทำงานได้ดีที่สุดเมื่อสมมติฐานกลุ่มข้อมูลเป็นจริง: คลาสต่างๆ ก่อตัวเป็นกลุ่มที่แยกจากกัน และขอบเขตการตัดสินใจอยู่ในบริเวณที่มีความหนาแน่นต่ำ หลีกเลี่ยง S3VM เมื่อข้อมูลที่มีป้ายกำกับมีอยู่แล้วจำนวนมาก (SVM มาตรฐานจะเทียบเท่าหรือดีกว่าในต้นทุนที่ต่ำกว่า) เมื่อสมมติฐานกลุ่มข้อมูลถูกละเมิด (คลาสต่างๆ ทับซ้อนกันอย่างมากในปริภูมิคุณลักษณะ) หรือเมื่อการกระจายข้อมูลที่ไม่มีป้ายกำกับแตกต่างจากการกระจายข้อมูลที่มีป้ายกำกับ ซึ่งอาจทำให้ขอบเขตเคลื่อนไปในทิศทางที่ผิด
ข้อจำกัดและข้อควรพิจารณา
- การปรับให้เหมาะสมไม่เป็นแบบนูนเนื่องจากป้ายกำกับเสมือน ทำให้มีความไวต่อการเริ่มต้นและมีแนวโน้มที่จะติดอยู่ในจุดที่เหมาะสมที่สุดเฉพาะที่
- ต้นทุนการคำนวณปรับขนาดได้ไม่ดีกับจำนวนตัวอย่างที่ไม่มีป้ายกำกับ — กลุ่มข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่มีค่าใช้จ่ายสูง
- อาศัยสมมติฐานกลุ่มข้อมูล หากคลาสต่างๆ ไม่ก่อตัวเป็นกลุ่มที่แยกจากกันได้ดี ข้อมูลที่ไม่มีป้ายกำกับอาจทำให้ประสิทธิภาพลดลง
- ต้องมีการปรับแต่งน้ำหนักการสูญเสียที่มีป้ายกำกับ C และน้ำหนักการสูญเสียที่ไม่มีป้ายกำกับ C* อย่างระมัดระวัง เพิ่มความซับซ้อนในการเลือกโมเดล
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ใช้ประโยชน์จากชุดข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ได้อย่างมีประสิทธิภาพเพื่อปรับปรุงการสรุปผลเมื่อตัวอย่างที่มีป้ายกำกับมีน้อย
- สืบทอดการรับประกันส่วนต่างสูงสุดและความยืดหยุ่นของเคอร์เนลของ SVM มาตรฐาน
- เหมาะสมกับข้อมูลกระจัดกระจายที่มีมิติสูง เช่น ข้อความ ซึ่งมีคลังข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก
- มีส่วนขยายความน่าจะเป็นตามหลักการ (Gaussian Process S3VM) และรูปแบบเคอร์เนลสำหรับขอบเขตที่ไม่เป็นเชิงเส้น
- ความแม่นยำในการแข่งขันในสภาวะที่มีข้อมูลติดป้ายกำกับน้อย เมื่อเทียบกับทางเลือกแบบมีผู้สอนเพียงอย่างเดียว
การประยุกต์ใช้
- การจำแนกข้อความและเอกสารโดยใช้ตัวอย่างฝึกอบรมที่มีป้ายกำกับน้อย
- งานด้านชีวสารสนเทศ เช่น การทำนายหน้าที่ของโปรตีน ซึ่งการติดป้ายกำกับด้วยการทดลองมีค่าใช้จ่ายสูง
- การจัดหมวดหมู่หน้าเว็บ โดยใช้ประโยชน์จากคลังข้อมูลที่รวบรวมมาจำนวนมากแต่ไม่มีป้ายกำกับ
- การวิเคราะห์ภาพทางการแพทย์ ซึ่งการติดป้ายกำกับโดยผู้เชี่ยวชาญใช้เวลานานและมีค่าใช้จ่ายสูง
- ปัญหาการจำแนกประเภทที่มีมิติสูงใดๆ ที่มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมากและป้ายกำกับน้อย
วิธีการทำงาน
วิธีการทำงาน
SVM เริ่มต้นจะถูกปรับให้เหมาะสมกับตัวอย่างที่มีป้ายกำกับที่มีอยู่ เรียนรู้ขอบเขตการตัดสินใจเบื้องต้นและส่วนต่าง สิ่งนี้ให้โมเดลเริ่มต้นและการคาดการณ์เบื้องต้นสำหรับกลุ่มข้อมูลที่ไม่มีป้ายกำกับ ทำให้การปรับให้เหมาะสมแบบกึ่งมีผู้สอนในภายหลังมีพื้นฐานมาจากการแก้ปัญหาแบบมีผู้สอน
SVM เบื้องต้นกำหนดป้ายกำกับคลาสชั่วคราว (ป้ายกำกับเสมือน) ให้กับตัวอย่างที่ไม่มีป้ายกำกับทั้งหมด โดยพิจารณาจากด้านใดของขอบเขตปัจจุบันที่พวกมันอยู่ ป้ายกำกับเสมือนเหล่านี้ช่วยให้จุดที่ไม่มีป้ายกำกับสามารถเข้าร่วมในการเพิ่มส่วนต่างได้ แม้ว่าคลาสที่แท้จริงของพวกมันจะไม่เป็นที่รู้จัก
วัตถุประสงค์หลักของ S3VM คือการลดการสูญเสียแบบบานพับบนตัวอย่างที่มีป้ายกำกับและการสูญเสียแบบบานพับเสมือนบนตัวอย่างที่ไม่มีป้ายกำกับ พร้อมทั้งเพิ่มส่วนต่าง พารามิเตอร์สมดุล C* ควบคุมว่าจุดที่ไม่มีป้ายกำกับมีอิทธิพลต่อขอบเขตมากน้อยเพียงใด โดยแลกเปลี่ยนระหว่างการใช้ประโยชน์จากโครงสร้างในข้อมูลที่ไม่มีป้ายกำกับและการปรับให้เข้ากับความจริงของป้ายกำกับ
สูตร
\min_{w,b,y^*} \frac{1}{2}\|w\|^2 + C\sum_{i}\xi_i + C^*\sum_{j}\xi_j^*เนื่องจากป้ายกำกับเสมือนอาจผิดพลาด อัลกอริทึมจึงทำงานซ้ำ: มันกำหนดป้ายกำกับเสมือนใหม่โดยใช้ขอบเขตที่อัปเดตและแก้ไขการปรับให้เหมาะสมร่วมกัน การสลับตัวอย่างที่ไม่มีป้ายกำกับที่กำหนดผิดพลาดไปยังคลาสตรงข้ามและการปรับให้เหมาะสมใหม่จะค่อยๆ เลื่อนขอบเขตไปยังช่องว่างที่มีความหนาแน่นต่ำในข้อมูล
เมื่อบรรลุการบรรจบกันแล้ว ตัวอย่างใหม่จะถูกจำแนกประเภทตามเครื่องหมายของฟังก์ชันการตัดสินเชิงเส้นที่เรียนรู้ ไฮเปอร์เพลนที่ได้จะถูกวางไว้ในบริเวณที่มีความหนาแน่นต่ำของการกระจายข้อมูลทั้งหมด ทำให้เกิดการสรุปผลที่ดีขึ้นบนตัวอย่างที่ถูกพักไว้ ดีกว่า SVM แบบมีผู้สอนเพียงอย่างเดียวที่ฝึกอบรมบนชุดข้อมูลที่มีป้ายกำกับขนาดเล็กเดียวกัน
สูตร
f(x) = \text{sign}(w^\top x + b)ข้อผิดพลาดที่พบบ่อย
- การสมมติว่าข้อมูลที่ไม่มีป้ายกำกับช่วยเสมอ — หากสมมติฐานกลุ่มข้อมูลถูกละเมิด S3VM อาจทำงานได้แย่กว่า SVM แบบมีผู้สอน
- การใช้ C* ที่สูงมากเมื่อเทียบกับ C การให้น้ำหนักตัวอย่างที่ไม่มีป้ายกำกับมากเกินไป และอนุญาตให้ขอบเขตเบี่ยงเบนไปจากสัญญาณที่มีป้ายกำกับ
- การละเลยการตรวจสอบบนชุดข้อมูลที่มีป้ายกำกับที่ถูกพักไว้ ทำให้ไม่สามารถตรวจจับได้ว่าข้อมูลที่ไม่มีป้ายกำกับได้สร้างความเสียหายต่อประสิทธิภาพเมื่อใด
- การใช้ S3VM เมื่อข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับมาจากชุดข้อมูลที่แตกต่างกัน (การเลื่อนความแปรปรวนร่วม) ซึ่งละเมิดสมมติฐานของวิธีการ
คำถามที่พบบ่อย
S3VM แตกต่างจาก SVM มาตรฐานอย่างไร
SVM มาตรฐานใช้เฉพาะข้อมูลที่มีป้ายกำกับในการวางขอบเขตการตัดสินใจ S3VM ยังรวมตัวอย่างที่ไม่มีป้ายกำกับโดยกำหนดให้ขอบเขตต้องผ่านบริเวณที่มีความหนาแน่นต่ำของการกระจายข้อมูลทั้งหมด ปรับปรุงการสรุปผลเมื่อข้อมูลที่มีป้ายกำกับมีน้อย
สมมติฐานกลุ่มข้อมูลคืออะไร และเหตุใดจึงมีความสำคัญ
สมมติฐานกลุ่มข้อมูลระบุว่าขอบเขตการตัดสินใจอยู่ในบริเวณที่มีความหนาแน่นของข้อมูลต่ำ ซึ่งหมายความว่าคลาสต่างๆ ก่อตัวเป็นกลุ่มที่แยกจากกันได้ S3VM ใช้ประโยชน์จากสิ่งนี้โดยการบังคับให้ขอบเขตหลีกเลี่ยงบริเวณที่มีความหนาแน่นสูง หากคลาสต่างๆ ทับซ้อนกันอย่างมาก สมมติฐานนี้จะล้มเหลวและข้อมูลที่ไม่มีป้ายกำกับอาจทำให้โมเดลเข้าใจผิด
ฉันจะเลือกน้ำหนักที่ไม่มีป้ายกำกับ C* ได้อย่างไร
C* ควบคุมว่าตัวอย่างที่ไม่มีป้ายกำกับมีอิทธิพลต่อส่วนต่างมากน้อยเพียงใด กลยุทธ์ทั่วไปคือการเริ่มต้นด้วย C* ที่น้อยกว่า C มาก และค่อยๆ เพิ่มขึ้น ในขณะที่ตรวจสอบความแม่นยำของการตรวจสอบบนชุดข้อมูลที่มีป้ายกำกับขนาดเล็กที่ถูกพักไว้ โดยหยุดก่อนที่ประสิทธิภาพจะลดลง
S3VM สามารถจัดการกับขอบเขตที่ไม่เป็นเชิงเส้นได้หรือไม่
ได้ เช่นเดียวกับ SVM มาตรฐาน S3VM รองรับฟังก์ชันเคอร์เนล (RBF, พหุนาม ฯลฯ) ที่แมปข้อมูลไปยังปริภูมิที่มีมิติสูงขึ้นโดยปริยาย ซึ่งขอบเขตเชิงเส้นจะกลายเป็นขอบเขตที่ไม่เป็นเชิงเส้นในปริภูมิคุณลักษณะดั้งเดิม
เมื่อใดที่ฉันควรเลือก self-training หรือ label propagation แทน S3VM
Self-training นั้นง่ายต่อการนำไปใช้และปรับขนาดได้ดีกับกลุ่มข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ ให้เลือกเมื่อมีข้อจำกัดด้านการคำนวณ Label propagation ทำงานได้ดีบนข้อมูลที่มีโครงสร้างกราฟ S3VM เป็นที่ต้องการเมื่อคุณต้องการการรับประกันส่วนต่างสูงสุดและสมมติฐานกลุ่มข้อมูลน่าจะเป็นจริง
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Joachims, T. (1999). Transductive Inference for Text Classification using Support Vector Machines. Proceedings of the 16th International Conference on Machine Learning (ICML), 200–209.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วChapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9คัดลอกแล้ว