Skip to content
กลับไปยังผลการค้นหา

การจำแนกประเภทแบบกึ่งมีผู้สอนด้วยเครื่องเวกเตอร์สนับสนุน

ผู้เสนอ
Joachims, T.
ปี
1999
ประเภท
Semi-supervised classifier
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การจำแนกประเภทแบบกึ่งมีผู้สอนด้วยเครื่องเวกเตอร์สนับสนุน (S3VM) เป็นการขยายขีดความสามารถของ SVM แบบดั้งเดิม โดยการรวมข้อมูลที่ไม่มีป้ายกำกับจำนวนมากเข้ากับชุดข้อมูลฝึกอบรมที่มีป้ายกำกับขนาดเล็ก มันแสวงหาไฮเปอร์เพลนที่มีส่วนต่างสูงสุดที่ไม่เพียงแต่แยกตัวอย่างที่มีป้ายกำกับเท่านั้น แต่ยังผ่านบริเวณที่มีความหนาแน่นต่ำของการกระจายข้อมูลทั้งหมด ทำให้เกิดการสรุปผลที่ดีขึ้นเมื่อตัวอย่างที่มีป้ายกำกับมีน้อย

แนวคิดเบื้องหลังวิธีการ

SVM มาตรฐานเรียนรู้ขอบเขตจากจุดที่มีป้ายกำกับเท่านั้น S3VM สังเกตว่าข้อมูลที่ไม่มีป้ายกำกับยังคงให้ข้อมูลทางเรขาคณิตเกี่ยวกับตำแหน่งที่กลุ่มข้อมูลมีความหนาแน่นและตำแหน่งที่เบาบาง โดยกำหนดให้ขอบเขตการตัดสินใจหลีกเลี่ยงบริเวณที่มีความหนาแน่นสูง ไม่ว่าจุดเหล่านั้นจะมีป้ายกำกับหรือไม่ก็ตาม โมเดลสามารถใช้ประโยชน์จากข้อมูลส่วนใหญ่ที่ไม่มีป้ายกำกับเพื่อทำให้ขอบเขตที่ควรจะวาดจากตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ตัวอย่างมีความคมชัดขึ้น ผลลัพธ์คือส่วนต่างที่เคารพโครงสร้างข้อมูลพื้นฐาน ไม่ใช่แค่ป้ายกำกับที่ทราบ

ประวัติศาสตร์

รากฐานของ S3VM วางโดย Vapnik ในงานยุคแรกของเขาเกี่ยวกับการอนุมานแบบถ่ายทอด แต่ต่อมาวิธีการนี้ได้รับการยอมรับอย่างกว้างขวางหลังจาก Joachims (1999) แสดงให้เห็นถึงประสิทธิภาพสำหรับ การจำแนกข้อความภายใต้ชื่อ Transductive SVM การรักษาที่ครอบคลุมใน Chapelle, Scholkopf และ Zien (2006) ได้รวม S3VM เข้ากับแนวทางกึ่งมีผู้สอนอื่นๆ และยังคงเป็นแหล่งอ้างอิงมาตรฐาน งานต่อมาได้นำเสนอการผ่อนคลายแบบนูนและตัวแก้ปัญหาที่ปรับขนาดได้เพื่อจัดการกับความท้าทายด้านการคำนวณและจุดที่เหมาะสมที่สุดเฉพาะที่ของวิธีการดั้งเดิม

ควรใช้เมื่อใด

S3VM เป็นตัวเลือกที่เหมาะสมเมื่อข้อมูลที่มีป้ายกำกับมีราคาแพงหรือมีน้อย (เช่น น้อยกว่าไม่กี่ร้อยตัวอย่าง) แต่มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก — สถานการณ์ทั่วไปในการจำแนกข้อความ ชีวสารสนเทศ หรือโดเมนใดๆ ที่การติดป้ายกำกับมีค่าใช้จ่ายสูง ทำงานได้ดีที่สุดเมื่อสมมติฐานกลุ่มข้อมูลเป็นจริง: คลาสต่างๆ ก่อตัวเป็นกลุ่มที่แยกจากกัน และขอบเขตการตัดสินใจอยู่ในบริเวณที่มีความหนาแน่นต่ำ หลีกเลี่ยง S3VM เมื่อข้อมูลที่มีป้ายกำกับมีอยู่แล้วจำนวนมาก (SVM มาตรฐานจะเทียบเท่าหรือดีกว่าในต้นทุนที่ต่ำกว่า) เมื่อสมมติฐานกลุ่มข้อมูลถูกละเมิด (คลาสต่างๆ ทับซ้อนกันอย่างมากในปริภูมิคุณลักษณะ) หรือเมื่อการกระจายข้อมูลที่ไม่มีป้ายกำกับแตกต่างจากการกระจายข้อมูลที่มีป้ายกำกับ ซึ่งอาจทำให้ขอบเขตเคลื่อนไปในทิศทางที่ผิด

ข้อจำกัดและข้อควรพิจารณา

  • การปรับให้เหมาะสมไม่เป็นแบบนูนเนื่องจากป้ายกำกับเสมือน ทำให้มีความไวต่อการเริ่มต้นและมีแนวโน้มที่จะติดอยู่ในจุดที่เหมาะสมที่สุดเฉพาะที่
  • ต้นทุนการคำนวณปรับขนาดได้ไม่ดีกับจำนวนตัวอย่างที่ไม่มีป้ายกำกับ — กลุ่มข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่มีค่าใช้จ่ายสูง
  • อาศัยสมมติฐานกลุ่มข้อมูล หากคลาสต่างๆ ไม่ก่อตัวเป็นกลุ่มที่แยกจากกันได้ดี ข้อมูลที่ไม่มีป้ายกำกับอาจทำให้ประสิทธิภาพลดลง
  • ต้องมีการปรับแต่งน้ำหนักการสูญเสียที่มีป้ายกำกับ C และน้ำหนักการสูญเสียที่ไม่มีป้ายกำกับ C* อย่างระมัดระวัง เพิ่มความซับซ้อนในการเลือกโมเดล

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้ประโยชน์จากชุดข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ได้อย่างมีประสิทธิภาพเพื่อปรับปรุงการสรุปผลเมื่อตัวอย่างที่มีป้ายกำกับมีน้อย
  • สืบทอดการรับประกันส่วนต่างสูงสุดและความยืดหยุ่นของเคอร์เนลของ SVM มาตรฐาน
  • เหมาะสมกับข้อมูลกระจัดกระจายที่มีมิติสูง เช่น ข้อความ ซึ่งมีคลังข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก
  • มีส่วนขยายความน่าจะเป็นตามหลักการ (Gaussian Process S3VM) และรูปแบบเคอร์เนลสำหรับขอบเขตที่ไม่เป็นเชิงเส้น
  • ความแม่นยำในการแข่งขันในสภาวะที่มีข้อมูลติดป้ายกำกับน้อย เมื่อเทียบกับทางเลือกแบบมีผู้สอนเพียงอย่างเดียว

การประยุกต์ใช้

  • การจำแนกข้อความและเอกสารโดยใช้ตัวอย่างฝึกอบรมที่มีป้ายกำกับน้อย
  • งานด้านชีวสารสนเทศ เช่น การทำนายหน้าที่ของโปรตีน ซึ่งการติดป้ายกำกับด้วยการทดลองมีค่าใช้จ่ายสูง
  • การจัดหมวดหมู่หน้าเว็บ โดยใช้ประโยชน์จากคลังข้อมูลที่รวบรวมมาจำนวนมากแต่ไม่มีป้ายกำกับ
  • การวิเคราะห์ภาพทางการแพทย์ ซึ่งการติดป้ายกำกับโดยผู้เชี่ยวชาญใช้เวลานานและมีค่าใช้จ่ายสูง
  • ปัญหาการจำแนกประเภทที่มีมิติสูงใดๆ ที่มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมากและป้ายกำกับน้อย

วิธีการทำงาน

วิธีการทำงาน

1

SVM เริ่มต้นจะถูกปรับให้เหมาะสมกับตัวอย่างที่มีป้ายกำกับที่มีอยู่ เรียนรู้ขอบเขตการตัดสินใจเบื้องต้นและส่วนต่าง สิ่งนี้ให้โมเดลเริ่มต้นและการคาดการณ์เบื้องต้นสำหรับกลุ่มข้อมูลที่ไม่มีป้ายกำกับ ทำให้การปรับให้เหมาะสมแบบกึ่งมีผู้สอนในภายหลังมีพื้นฐานมาจากการแก้ปัญหาแบบมีผู้สอน

2

SVM เบื้องต้นกำหนดป้ายกำกับคลาสชั่วคราว (ป้ายกำกับเสมือน) ให้กับตัวอย่างที่ไม่มีป้ายกำกับทั้งหมด โดยพิจารณาจากด้านใดของขอบเขตปัจจุบันที่พวกมันอยู่ ป้ายกำกับเสมือนเหล่านี้ช่วยให้จุดที่ไม่มีป้ายกำกับสามารถเข้าร่วมในการเพิ่มส่วนต่างได้ แม้ว่าคลาสที่แท้จริงของพวกมันจะไม่เป็นที่รู้จัก

3

วัตถุประสงค์หลักของ S3VM คือการลดการสูญเสียแบบบานพับบนตัวอย่างที่มีป้ายกำกับและการสูญเสียแบบบานพับเสมือนบนตัวอย่างที่ไม่มีป้ายกำกับ พร้อมทั้งเพิ่มส่วนต่าง พารามิเตอร์สมดุล C* ควบคุมว่าจุดที่ไม่มีป้ายกำกับมีอิทธิพลต่อขอบเขตมากน้อยเพียงใด โดยแลกเปลี่ยนระหว่างการใช้ประโยชน์จากโครงสร้างในข้อมูลที่ไม่มีป้ายกำกับและการปรับให้เข้ากับความจริงของป้ายกำกับ

สูตร
\min_{w,b,y^*} \frac{1}{2}\|w\|^2 + C\sum_{i}\xi_i + C^*\sum_{j}\xi_j^*
4

เนื่องจากป้ายกำกับเสมือนอาจผิดพลาด อัลกอริทึมจึงทำงานซ้ำ: มันกำหนดป้ายกำกับเสมือนใหม่โดยใช้ขอบเขตที่อัปเดตและแก้ไขการปรับให้เหมาะสมร่วมกัน การสลับตัวอย่างที่ไม่มีป้ายกำกับที่กำหนดผิดพลาดไปยังคลาสตรงข้ามและการปรับให้เหมาะสมใหม่จะค่อยๆ เลื่อนขอบเขตไปยังช่องว่างที่มีความหนาแน่นต่ำในข้อมูล

5

เมื่อบรรลุการบรรจบกันแล้ว ตัวอย่างใหม่จะถูกจำแนกประเภทตามเครื่องหมายของฟังก์ชันการตัดสินเชิงเส้นที่เรียนรู้ ไฮเปอร์เพลนที่ได้จะถูกวางไว้ในบริเวณที่มีความหนาแน่นต่ำของการกระจายข้อมูลทั้งหมด ทำให้เกิดการสรุปผลที่ดีขึ้นบนตัวอย่างที่ถูกพักไว้ ดีกว่า SVM แบบมีผู้สอนเพียงอย่างเดียวที่ฝึกอบรมบนชุดข้อมูลที่มีป้ายกำกับขนาดเล็กเดียวกัน

สูตร
f(x) = \text{sign}(w^\top x + b)

ข้อผิดพลาดที่พบบ่อย

  • การสมมติว่าข้อมูลที่ไม่มีป้ายกำกับช่วยเสมอ — หากสมมติฐานกลุ่มข้อมูลถูกละเมิด S3VM อาจทำงานได้แย่กว่า SVM แบบมีผู้สอน
  • การใช้ C* ที่สูงมากเมื่อเทียบกับ C การให้น้ำหนักตัวอย่างที่ไม่มีป้ายกำกับมากเกินไป และอนุญาตให้ขอบเขตเบี่ยงเบนไปจากสัญญาณที่มีป้ายกำกับ
  • การละเลยการตรวจสอบบนชุดข้อมูลที่มีป้ายกำกับที่ถูกพักไว้ ทำให้ไม่สามารถตรวจจับได้ว่าข้อมูลที่ไม่มีป้ายกำกับได้สร้างความเสียหายต่อประสิทธิภาพเมื่อใด
  • การใช้ S3VM เมื่อข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับมาจากชุดข้อมูลที่แตกต่างกัน (การเลื่อนความแปรปรวนร่วม) ซึ่งละเมิดสมมติฐานของวิธีการ

คำถามที่พบบ่อย

S3VM แตกต่างจาก SVM มาตรฐานอย่างไร

SVM มาตรฐานใช้เฉพาะข้อมูลที่มีป้ายกำกับในการวางขอบเขตการตัดสินใจ S3VM ยังรวมตัวอย่างที่ไม่มีป้ายกำกับโดยกำหนดให้ขอบเขตต้องผ่านบริเวณที่มีความหนาแน่นต่ำของการกระจายข้อมูลทั้งหมด ปรับปรุงการสรุปผลเมื่อข้อมูลที่มีป้ายกำกับมีน้อย

สมมติฐานกลุ่มข้อมูลคืออะไร และเหตุใดจึงมีความสำคัญ

สมมติฐานกลุ่มข้อมูลระบุว่าขอบเขตการตัดสินใจอยู่ในบริเวณที่มีความหนาแน่นของข้อมูลต่ำ ซึ่งหมายความว่าคลาสต่างๆ ก่อตัวเป็นกลุ่มที่แยกจากกันได้ S3VM ใช้ประโยชน์จากสิ่งนี้โดยการบังคับให้ขอบเขตหลีกเลี่ยงบริเวณที่มีความหนาแน่นสูง หากคลาสต่างๆ ทับซ้อนกันอย่างมาก สมมติฐานนี้จะล้มเหลวและข้อมูลที่ไม่มีป้ายกำกับอาจทำให้โมเดลเข้าใจผิด

ฉันจะเลือกน้ำหนักที่ไม่มีป้ายกำกับ C* ได้อย่างไร

C* ควบคุมว่าตัวอย่างที่ไม่มีป้ายกำกับมีอิทธิพลต่อส่วนต่างมากน้อยเพียงใด กลยุทธ์ทั่วไปคือการเริ่มต้นด้วย C* ที่น้อยกว่า C มาก และค่อยๆ เพิ่มขึ้น ในขณะที่ตรวจสอบความแม่นยำของการตรวจสอบบนชุดข้อมูลที่มีป้ายกำกับขนาดเล็กที่ถูกพักไว้ โดยหยุดก่อนที่ประสิทธิภาพจะลดลง

S3VM สามารถจัดการกับขอบเขตที่ไม่เป็นเชิงเส้นได้หรือไม่

ได้ เช่นเดียวกับ SVM มาตรฐาน S3VM รองรับฟังก์ชันเคอร์เนล (RBF, พหุนาม ฯลฯ) ที่แมปข้อมูลไปยังปริภูมิที่มีมิติสูงขึ้นโดยปริยาย ซึ่งขอบเขตเชิงเส้นจะกลายเป็นขอบเขตที่ไม่เป็นเชิงเส้นในปริภูมิคุณลักษณะดั้งเดิม

เมื่อใดที่ฉันควรเลือก self-training หรือ label propagation แทน S3VM

Self-training นั้นง่ายต่อการนำไปใช้และปรับขนาดได้ดีกับกลุ่มข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ ให้เลือกเมื่อมีข้อจำกัดด้านการคำนวณ Label propagation ทำงานได้ดีบนข้อมูลที่มีโครงสร้างกราฟ S3VM เป็นที่ต้องการเมื่อคุณต้องการการรับประกันส่วนต่างสูงสุดและสมมติฐานกลุ่มข้อมูลน่าจะเป็นจริง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Joachims, T. (1999). Transductive Inference for Text Classification using Support Vector Machines. Proceedings of the 16th International Conference on Machine Learning (ICML), 200–209.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    คัดลอกแล้ว