Skip to content
กลับไปยังผลการค้นหา

การเรียนรู้แบบกึ่งกำกับดูแล

ผู้เสนอ
Vapnik, V. N. and others (community of researchers, 1970s–2000s)
ปี
1970s–2006 (formalized)
ประเภท
Learning paradigm
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การเรียนรู้แบบกึ่งกำกับดูแล (SSL) เป็นกระบวนทัศน์การเรียนรู้ของเครื่องที่ฝึกโมเดลโดยใช้ชุดข้อมูลตัวอย่างที่มีป้ายกำกับจำนวนน้อย ร่วมกับชุดข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก โดยการใช้ประโยชน์จากโครงสร้างที่มีอยู่ในข้อมูลที่ไม่มีป้ายกำกับ SSL จะให้ความแม่นยำใกล้เคียงกับโมเดลที่ได้รับการกำกับดูแลอย่างเต็มที่ ในขณะที่ต้องการป้ายกำกับด้วยตนเองที่มีค่าใช้จ่ายสูงน้อยกว่ามาก ทำให้สามารถนำไปใช้ได้จริงเมื่อการติดป้ายมีค่าใช้จ่ายสูง ช้า หรือมีข้อจำกัดด้านทรัพยากร

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพการสอนนักเรียนโดยการให้ตัวอย่างจากตำราเรียนพร้อมคำตอบ และห้องสมุดขนาดใหญ่ของปัญหาที่ยังไม่ได้แก้ไข นักเรียนใช้ตัวอย่างที่แก้ไขแล้วเพื่อทำความเข้าใจรูปแบบ จากนั้นใช้ปัญหาที่ยังไม่ได้แก้ไขเพื่อปรับปรุงความเข้าใจนั้นโดยการสังเกตว่าตัวอย่างใดจัดกลุ่มเข้าด้วยกันหรือมีโครงสร้างที่คล้ายคลึงกัน SSL ทำงานคล้ายกัน: โมเดลเรียนรู้ขอบเขตการตัดสินใจจากข้อมูลที่มีป้ายกำกับ จากนั้นใช้ข้อมูลที่ไม่มีป้ายกำกับเพื่อทำให้ขอบเขตเหล่านั้นคมชัดขึ้นโดยการสมมติว่าจุดที่อยู่ใกล้เคียงน่าจะอยู่ในคลาสเดียวกัน หรือว่าแมนิโฟลด์ข้อมูลจับโครงสร้างที่มีความหมาย ผลลัพธ์คือโมเดลที่มีประสิทธิภาพเหนือกว่าการฝึกด้วยป้ายกำกับเพียงอย่างเดียว

ประวัติศาสตร์

การเรียนรู้แบบกึ่งกำกับดูแลในฐานะสาขาวิชาที่เป็นทางการเกิดขึ้นจากงานเกี่ยวกับ Transductive SVMs โดย Vapnik ในทศวรรษที่ 1990 และการแพร่กระจายป้ายกำกับที่ใช้กราฟโดย Zhu และ Ghahramani (2002) สาขานี้ได้รับการรวบรวมโดยเล่มของ MIT Press ที่แก้ไขโดย Chapelle, Scholkopf และ Zien (2006) ซึ่งยังคงเป็นเอกสารอ้างอิงตามแบบฉบับ การเรียนรู้เชิงลึกสมัยใหม่ได้ฟื้นฟู SSL ผ่านวิธีการทำให้การคาดการณ์มีความสม่ำเสมอ เช่น MixMatch (2019) และ FixMatch (2020) โดยขยายกระบวนทัศน์ไปสู่งานภาพและข้อความขนาดใหญ่

ควรใช้เมื่อใด

ใช้การเรียนรู้แบบกึ่งกำกับดูแลเมื่อคุณมีข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก แต่การติดป้ายมีค่าใช้จ่ายสูง ช้า หรือต้องใช้ความรู้จากผู้เชี่ยวชาญที่หายาก — ซึ่งเป็นเรื่องปกติในภาพทางการแพทย์ การประมวลผลภาษาธรรมชาติ และโดเมนทางวิทยาศาสตร์ SSL เหมาะสมเมื่อข้อมูลที่ไม่มีป้ายกำกับและข้อมูลที่มีป้ายกำกับมาจาก การกระจายเดียวกัน เมื่อสมมติฐานคลัสเตอร์หรือแมนิโฟลด์เป็นจริง และเมื่อเกณฑ์มาตรฐานแบบกำกับดูแลเต็มรูปแบบสามารถทำได้แล้ว แต่ความแม่นยำถูกจำกัดด้วยความขาดแคลนป้ายกำกับ **ห้าม** ใช้ SSL เมื่อข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับมาจาก การกระจายที่แตกต่างกัน (การเปลี่ยนแปลงการกระจาย); เมื่อข้อมูลที่ไม่มีป้ายกำกับมีน้อยมาก; เมื่องานง่ายพอที่ชุดข้อมูลที่มีป้ายกำกับขนาดเล็กจะอิ่มตัวความจุของโมเดลแล้ว; หรือเมื่อข้อผิดพลาดของป้ายกำกับเสมือนจะสะสมเร็วกว่าที่โมเดลจะแก้ไขได้ — เช่นเดียวกับที่เกิดขึ้นกับเอาต์พุตที่มีเอนโทรปีสูงหรือไม่สมดุล

ข้อจำกัดและข้อควรพิจารณา

  • ประสิทธิภาพอาจลดลงต่ำกว่าเกณฑ์มาตรฐานแบบกำกับดูแล หากข้อมูลที่ไม่มีป้ายกำกับละเมิดสมมติฐานคลัสเตอร์หรือความเรียบ หรือมีการเปลี่ยนแปลงการกระจาย
  • ข้อผิดพลาดของป้ายกำกับเสมือนสะสมไปตามการทำซ้ำ: การคาดการณ์ที่มั่นใจแต่ผิดพลาดจะทำให้การฝึกอบรมในภายหลังเสียหาย
  • ต้องมีการปรับแต่งอย่างระมัดระวังสำหรับเกณฑ์ความเชื่อมั่น ความแข็งแกร่งของการทำให้เป็นปกติ และอัตราส่วนของข้อมูลที่มีป้ายกำกับต่อข้อมูลที่ไม่มีป้ายกำกับ
  • การประเมินทำได้ยากขึ้น: ชุดข้อมูลที่ไม่มีป้ายกำกับจะต้องไม่ถูกนำมาใช้ในการเลือกโมเดล เว้นแต่จะถูกแยกออกอย่างเคร่งครัด
  • ต้นทุนการคำนวณเพิ่มขึ้นเมื่อมีคลังข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ โดยเฉพาะอย่างยิ่งสำหรับวิธีการที่ใช้กราฟซึ่งต้องใช้ความคล้ายคลึงกันแบบคู่

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ปรับปรุงความแม่นยำของโมเดลอย่างมากเมื่อข้อมูลที่มีป้ายกำกับมีน้อย แต่ข้อมูลที่ไม่มีป้ายกำกับมีจำนวนมาก
  • ลดต้นทุนและเวลาในการติดป้ายกำกับ ทำให้สามารถนำไปใช้งานได้จริงในโดเมนที่ต้องใช้การติดป้ายโดยผู้เชี่ยวชาญเป็นจำนวนมาก
  • เข้ากันได้กับตัวเรียนรู้พื้นฐานเกือบทุกชนิด (โครงข่ายประสาทเทียม, Random Forests, SVMs, GPs) ผ่านการติดป้ายกำกับเสมือนหรือส่วนขยายที่ใช้กราฟ
  • การแพร่กระจายป้ายกำกับและวิธีการที่ใช้กราฟให้ความไม่แน่นอนที่ตีความได้และโครงสร้างเพื่อนบ้าน
  • การฝึกตนเองและการทำให้การคาดการณ์มีความสม่ำเสมอรวมเข้ากับไปป์ไลน์การฝึกอบรมมาตรฐานได้อย่างเป็นธรรมชาติ โดยมีโครงสร้างพื้นฐานเพิ่มเติมเพียงเล็กน้อย

การประยุกต์ใช้

  • การจำแนกภาพทางการแพทย์ที่การติดป้ายกำกับโดยผู้เชี่ยวชาญมีน้อย และภาพสแกนที่ไม่มีป้ายกำกับมีจำนวนมาก
  • งานประมวลผลภาษาธรรมชาติ เช่น การวิเคราะห์ความรู้สึกและการระบุเอนทิตีที่มีชื่อ โดยมีเอกสารที่มีป้ายกำกับน้อย
  • การวิจัยโครงสร้างโปรตีนและจีโนมิกส์ที่การติดป้ายกำกับด้วยการทดลองมีค่าใช้จ่ายสูงในการได้มา
  • การควบคุมคุณภาพทางอุตสาหกรรมโดยใช้ภาพตำหนิที่มีป้ายกำกับจำนวนน้อย และภาพการผลิตที่ไม่มีป้ายกำกับจำนวนมาก
  • การรู้จำเสียงพูดและการจำแนกเสียงเมื่อสามารถถอดเสียงได้เพียงเศษเสี้ยวของการบันทึกเท่านั้น
  • การจำแนกเนื้อหาเว็บและการจัดหมวดหมู่เอกสารด้วยคลังข้อมูลที่รวบรวมมาจำนวนมาก

วิธีการทำงาน

วิธีการทำงาน

1

รวบรวมชุดข้อมูลที่มีชุดข้อมูลย่อยที่มีป้ายกำกับจำนวนน้อย (โดยทั่วไปคือไม่กี่เปอร์เซ็นต์ของทั้งหมด) และชุดข้อมูลย่อยที่ไม่มีป้ายกำกับจำนวนมาก ตัวอย่างที่มีป้ายกำกับต้องเป็นตัวแทนของคลาสหรือผลลัพธ์ที่สนใจ คุณภาพของข้อมูลในชุดที่มีป้ายกำกับมีผลกระทบอย่างมากต่อโมเดลสุดท้าย

2

ฝึกโมเดลเริ่มต้นโดยใช้เฉพาะตัวอย่างที่มีป้ายกำกับเท่านั้น สิ่งนี้จะสร้างตัวจำแนกหรือตัวถดถอยพื้นฐานที่มีความแม่นยำจำกัดเนื่องจากชุดข้อมูลที่มีป้ายกำกับมีขนาดเล็ก แต่ก็เป็นจุดเริ่มต้นสำหรับการใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับ

3

ใช้โมเดลเริ่มต้นกับข้อมูลที่ไม่มีป้ายกำกับเพื่อสร้างป้ายกำกับเสมือน — การกำหนดคลาสที่คาดการณ์หรือการกระจายความน่าจะเป็นแบบอ่อน การคาดการณ์ที่มีความเชื่อมั่นสูงจะได้รับการยอมรับชั่วคราวว่าเป็นป้ายกำกับการฝึกอบรม อัลกอริทึม SSL ทั่วไปจะแตกต่างกันในจุดนี้: การฝึกตนเองยอมรับการคาดการณ์ที่มีความเชื่อมั่นสูงสุด การแพร่กระจายป้ายกำกับจะกระจายป้ายกำกับผ่านกราฟความคล้ายคลึง และการทำให้การคาดการณ์มีความสม่ำเสมอจะบังคับให้การคาดการณ์มีความเสถียรภายใต้การรบกวนอินพุต

4

ฝึกโมเดลอีกครั้งโดยรวมทั้งข้อมูลที่มีป้ายกำกับเดิมและตัวอย่างที่ไม่มีป้ายกำกับที่ติดป้ายกำกับเสมือนใหม่ กระบวนการนี้อาจทำซ้ำ: โมเดลที่ปรับปรุงแล้วจะสร้างป้ายกำกับเสมือนที่ดีขึ้น ซึ่งจะปรับปรุงโมเดลให้ดียิ่งขึ้น การทำให้เป็นปกติหรือเกณฑ์ความเชื่อมั่นจะป้องกันการสะสมข้อผิดพลาด

5

ประเมินโมเดลสุดท้ายบนชุดข้อมูลทดสอบที่มีป้ายกำกับที่แยกไว้โดยใช้เมตริกมาตรฐาน (ความแม่นยำ, F1, AUC, MSE) ที่ไม่เคยเปิดเผยระหว่างการฝึกอบรมหรือการติดป้ายกำกับเสมือน เปรียบเทียบกับเกณฑ์มาตรฐานแบบกำกับดูแลเต็มรูปแบบที่ฝึกด้วยป้ายกำกับเท่านั้นเพื่อวัดปริมาณการเพิ่มขึ้นจากข้อมูลที่ไม่มีป้ายกำกับ

ข้อผิดพลาดที่พบบ่อย

  • การใช้ข้อมูลที่ไม่มีป้ายกำกับซึ่งมีการกระจายแตกต่างจากชุดข้อมูลที่มีป้ายกำกับ — ความไม่ตรงกันของการกระจายเป็นสาเหตุที่พบบ่อยที่สุดของความล้มเหลวของ SSL
  • การละเลยเกณฑ์มาตรฐานแบบกำกับดูแลเท่านั้น ทำให้ไม่สามารถตรวจสอบได้ว่าข้อมูลที่ไม่มีป้ายกำกับได้ช่วยจริงหรือไม่
  • การตั้งค่าเกณฑ์ความเชื่อมั่นต่ำเกินไป ทำให้ชุดข้อมูลฝึกอบรมเต็มไปด้วยป้ายกำกับเสมือนที่ไม่ถูกต้อง
  • การประเมินบนชุดข้อมูลที่ไม่มีป้ายกำกับหลังจากการติดป้ายกำกับเสมือน ซึ่งทำให้ประมาณการประสิทธิภาพสูงเกินจริง
  • การปฏิบัติต่อ SSL ราวกับว่าไม่มีสมมติฐาน — วิธีการนี้จะช่วยได้ก็ต่อเมื่อสมมติฐานความเรียบ คลัสเตอร์ หรือแมนิโฟลด์เป็นจริงเท่านั้น

คำถามที่พบบ่อย

การเรียนรู้แบบกึ่งกำกับดูแลแตกต่างจากการเรียนรู้แบบกำกับดูแลตนเองอย่างไร?

การเรียนรู้แบบกึ่งกำกับดูแลใช้ชุดป้ายกำกับที่มนุษย์ให้มาจำนวนน้อยร่วมกับข้อมูลที่ไม่มีป้ายกำกับเพื่อปรับปรุงงานที่ได้รับการกำกับดูแล การเรียนรู้แบบกำกับดูแลตนเองจะสร้างป้ายกำกับของตนเองจากโครงสร้างของข้อมูลที่ไม่มีป้ายกำกับเพียงอย่างเดียว (เช่น การทำนายคำที่ถูกปิดบัง) — ไม่มีการใช้ป้ายกำกับของมนุษย์ระหว่างการฝึกเบื้องต้น แม้ว่าการแสดงแทนที่เรียนรู้ได้จะถูกปรับแต่งในภายหลังด้วยข้อมูลที่มีป้ายกำกับก็ตาม

เมื่อใดที่การเรียนรู้แบบกึ่งกำกับดูแลจะส่งผลเสียมากกว่าผลดี?

หากข้อมูลที่ไม่มีป้ายกำกับมาจาก การกระจายที่แตกต่างจากข้อมูลที่มีป้ายกำกับ หรือหากขอบเขตของคลาสไม่สอดคล้องกับคลัสเตอร์ตามธรรมชาติในข้อมูล SSL สามารถนำเสนอสัญญาณรบกวนที่ลดความแม่นยำลงต่ำกว่าเกณฑ์มาตรฐานแบบกำกับดูแลได้ ควรเปรียบเทียบกับโมเดลที่กำกับดูแลเท่านั้นเสมอ

อัลกอริทึม SSL ที่ง่ายที่สุดที่จะลองก่อนคืออะไร?

การฝึกตนเองเป็นวิธีที่ตรงไปตรงมาที่สุด: ฝึกด้วยป้ายกำกับ ทำนายข้อมูลที่ไม่มีป้ายกำกับ เพิ่มการคาดการณ์ที่มีความเชื่อมั่นสูงกลับเข้าไปเป็นข้อมูลที่มีป้ายกำกับ และฝึกใหม่ มันทำงานได้กับตัวเรียนรู้พื้นฐานใดๆ และทำหน้าที่เป็นเกณฑ์มาตรฐานที่มีประโยชน์ก่อนที่จะใช้วิธีการที่ซับซ้อนกว่า เช่น กราฟ หรือการทำให้การคาดการณ์มีความสม่ำเสมอ

โดยทั่วไปต้องใช้ข้อมูลที่มีป้ายกำกับเท่าใด?

ไม่มีคำตอบที่เป็นสากล แต่ SSL จะมีประโยชน์มากที่สุดเมื่อข้อมูลที่มีป้ายกำกับคิดเป็น 1–10% ของชุดข้อมูลทั้งหมด ต่ำกว่าประมาณ 10–50 ตัวอย่างที่มีป้ายกำกับต่อคลาส แม้แต่ SSL ก็อาจประสบปัญหาได้ ในจุดนั้น การเรียนรู้เชิงรุกเพื่อจัดลำดับความสำคัญของตัวอย่างที่จะติดป้ายกำกับอาจมีประสิทธิภาพมากกว่า

สามารถใช้การเรียนรู้แบบกึ่งกำกับดูแลกับโมเดลประเภทใดก็ได้หรือไม่?

ใช่ การติดป้ายกำกับเสมือนและการฝึกตนเองทำงานได้กับตัวเรียนรู้พื้นฐานใดๆ วิธีการที่ใช้กราฟ เช่น การแพร่กระจายป้ายกำกับนั้นไม่ขึ้นกับโมเดล แต่ต้องคำนวณความคล้ายคลึงกันแบบคู่ วิธีการทำให้การคาดการณ์มีความสม่ำเสมอจะถูกนำไปใช้กับโครงข่ายประสาทเทียมเป็นธรรมชาติที่สุด แต่สามารถปรับให้เข้ากับโมเดลความน่าจะเป็นอื่นๆ ได้

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    คัดลอกแล้ว
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว