การเรียนรู้เชิงรุกเครื่องเวกเตอร์สนับสนุน
- ผู้เสนอ
- Tong, S. & Koller, D.
- ปี
- 2001
- ประเภท
- Active learning + kernel classifier
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Active learning SVM ผสมผสานขอบเขตการตัดสินใจที่แข็งแกร่งของ support vector machines เข้ากับกลยุทธ์การสอบถามอัจฉริยะที่เลือกอินสแตนซ์ที่ไม่มีป้ายกำกับซึ่งให้ข้อมูลมากที่สุดสำหรับการใส่คำอธิบายประกอบโดยมนุษย์ นำเสนอโดย Tong และ Koller ในปี 2001 มันให้ความแม่นยำในการจำแนกประเภทสูงโดยใช้ตัวอย่างที่มีป้ายกำกับน้อยกว่าการเรียนรู้แบบกำกับดูแลแบบพาสซีฟมาก ทำให้ใช้งานได้จริงเมื่อการติดป้ายมีราคาแพงหรือใช้เวลานาน
แนวคิดเบื้องหลังวิธีการ
SVM มาตรฐานต้องการตัวอย่างที่มีป้ายกำกับจำนวนมากเพื่อสร้างขอบเขตการตัดสินใจที่เชื่อถือได้ Active learning SVM พลิกเวิร์กโฟลว์การติดป้าย: มันฝึก SVM เบื้องต้นด้วยชุดเริ่มต้นที่มีป้ายกำกับขนาดเล็ก จากนั้นพิจารณาข้อมูลที่ไม่มีป้ายกำกับทั้งหมดและถามว่า 'อินสแตนซ์ใด หากติดป้ายกำกับ จะทำให้ขอบเขตคมชัดขึ้นมากที่สุด?' มันเลือกอินสแตนซ์ที่อยู่ใกล้กับไฮเปอร์เพลนปัจจุบันมากที่สุด — ที่โมเดลไม่แน่ใจที่สุด — ติดป้ายเฉพาะจุดนั้น ฝึกใหม่ และทำซ้ำ เนื่องจากแต่ละป้ายกำกับถูกเลือกอย่างมีกลยุทธ์ การใส่คำอธิบายประกอบจำนวนเล็กน้อยอย่างน่าประหลาดใจสามารถสร้างขอบเขตที่เกือบจะดีเท่ากับการติดป้ายทั้งหมด
ประวัติศาสตร์
รูปแบบดั้งเดิมของ active learning สำหรับ SVM ถูกนำเสนอโดย Simon Tong และ Daphne Koller ที่ ICML 2001 และตีพิมพ์ในวารสาร Journal of Machine Learning Research (2001) อัลกอริทึม Simple Margin ของพวกเขาได้กำหนดการเลือก query ตาม margin ให้เป็นแนวทางมาตรฐาน การสำรวจวรรณกรรมของ Burr Settles ในปี 2010 ได้จัดระบบสนาม active learning ที่กว้างขึ้นและทำให้ AL-SVM เป็นหนึ่งในตัวอย่างที่เป็นแบบอย่าง วิธีการนี้ยังคงเป็นเกณฑ์มาตรฐานในการวิจัยการเรียนรู้ที่มีประสิทธิภาพในการใส่คำอธิบายประกอบ และถูกนำมาใช้อย่างแพร่หลายในการจำแนกข้อความ การวิเคราะห์ภาพทางการแพทย์ และการสำรวจระยะไกล
ควรใช้เมื่อใด
ใช้ Active learning SVM เมื่อข้อมูลที่มีป้ายกำกับมีน้อยหรือมีค่าใช้จ่ายสูงในการได้รับ — พบได้ทั่วไปในงานภาพทางการแพทย์ การจำแนกเอกสาร และงานใส่คำอธิบายประกอบทางวิทยาศาสตร์ — และมีข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก มันทำงานได้ดีกว่าการติดป้ายแบบสุ่มเมื่อต้นทุนการติดป้ายสูงและขอบเขตการตัดสินใจไม่ใช่เรื่องง่าย อย่าใช้เมื่อการติดป้ายข้อมูลที่มีอยู่ทั้งหมดเป็นไปได้แล้ว; เมื่อปริภูมิคุณลักษณะมีมิติสูงมากโดยไม่มีโครงสร้าง kernel ที่ชัดเจน; หรือเมื่อ pool ที่ไม่มีป้ายกำกับเล็กเกินไปที่จะได้รับประโยชน์จากการเลือก query นอกจากนี้ควรหลีกเลี่ยงเมื่อความพร้อมใช้งานของ oracle ไม่สม่ำเสมอ เนื่องจากวงจรการทำซ้ำต้องการการเข้าถึงของมนุษย์ซ้ำๆ
ข้อจำกัดและข้อควรพิจารณา
- การฝึก SVM ใหม่ตั้งแต่ต้นในแต่ละรอบการทำซ้ำนั้นมีค่าใช้จ่ายในการคำนวณสูงสำหรับ pool ที่มีป้ายกำกับขนาดใหญ่ การอัปเดต SVM แบบเพิ่มหน่วยช่วยลดแต่ไม่สามารถกำจัดต้นทุนได้
- Margin sampling อาจเลือกอินสแตนซ์ที่ซ้ำซ้อนหรืออินสแตนซ์ที่ผิดปกติหาก pool ที่ไม่มีป้ายกำกับมีสัญญาณรบกวนหรือข้อมูลซ้ำใกล้กับขอบเขต
- ประสิทธิภาพขึ้นอยู่กับการเลือก kernel และ hyperparameter อย่างมาก ซึ่งเป็นการปรับแต่งที่ยากลำบากอย่างน่าเชื่อถือด้วยตัวอย่างที่มีป้ายกำกับน้อย
- สันนิษฐานว่า oracle พร้อมใช้งานเสมอและไม่มีข้อผิดพลาด การติดป้ายที่มีสัญญาณรบกวนหรือไม่สอดคล้องกันจากผู้อธิบายประกอบจริงทำให้การลู่เข้าแย่ลง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้ความแม่นยำในการจำแนกประเภทสูงด้วยตัวอย่างที่มีป้ายกำกับน้อยกว่าการเรียนรู้แบบกำกับดูแลแบบพาสซีฟอย่างมาก
- มีพื้นฐานที่แข็งแกร่งในทฤษฎี SVM: การเลือก query ตาม margin มีเหตุผลทางเรขาคณิตและความน่าจะเป็นที่ชัดเจน
- การเลือก kernel ที่ยืดหยุ่น (linear, RBF, polynomial) ช่วยให้ปรับตัวเข้ากับปริภูมิคุณลักษณะข้อความ รูปภาพ และตารางได้
- รูปแบบ pool-based สามารถใช้งานได้จริง: ชุดข้อมูลที่ไม่มีป้ายกำกับทั้งหมดมีให้ตั้งแต่ต้น ซึ่งเป็นเรื่องปกติในการใช้งานจริง
- การฝึกใหม่แบบวนซ้ำให้เส้นโค้งการตรวจสอบประสิทธิภาพเทียบกับงบประมาณการใส่คำอธิบายประกอบตามธรรมชาติ
การประยุกต์ใช้
- การจำแนกข้อความและเอกสารที่มีการใส่คำอธิบายประกอบโดยผู้เชี่ยวชาญที่มีค่าใช้จ่ายสูง (เช่น บันทึกทางกฎหมาย ทางการแพทย์)
- การติดป้ายภาพทางการแพทย์ที่เวลาของนักรังสีวิทยาหรือพยาธิแพทย์เป็นข้อจำกัด
- การจำแนกภาพระยะไกลและภาพถ่ายดาวเทียมด้วยคลังข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่
- การตรวจจับสแปมและการบุกรุก ซึ่งการติดป้ายต้องได้รับการตรวจสอบจากผู้เชี่ยวชาญด้านความปลอดภัย
- การใส่คำอธิบายประกอบข้อมูลทางวิทยาศาสตร์ในจีโนมิกส์หรือวัสดุศาสตร์ โดยมีต้นทุนการติดป้ายต่ออินสแตนซ์สูง
วิธีการทำงาน
วิธีการทำงาน
SVM ถูกฝึกบนชุดตัวอย่างที่มีป้ายกำกับเริ่มต้นขนาดเล็ก ซึ่งสร้างไฮเปอร์เพลนการตัดสินใจในช่วงแรก คุณภาพของชุดเริ่มต้นนี้มีความสำคัญ: ความสมดุลของคลาสและความหลากหลายที่เป็นตัวแทนมีความสำคัญทั้งคู่ แม้จะมีตัวอย่างเพียงไม่กี่ตัวอย่าง
อัลกอริทึมให้คะแนนทุกอินสแตนซ์ที่ไม่มีป้ายกำกับตามระยะห่างจากไฮเปอร์เพลน SVM ปัจจุบัน อินสแตนซ์ที่มีค่า margin น้อยที่สุด — กล่าวคือ ใกล้กับขอบเขตมากที่สุด ที่โมเดลมีความมั่นใจน้อยที่สุด — ถูกเลือกให้เป็น query ถัดไป กลยุทธ์นี้เรียกว่า margin sampling หรือ simple margin
สูตร
x^* = \arg\min_{x \in U} |\mathbf{w} \cdot \phi(x) + b|อินสแตนซ์ที่เลือกจะถูกนำเสนอต่อผู้อธิบายประกอบที่เป็นมนุษย์ (oracle) ซึ่งกำหนดป้ายกำกับคลาสจริง ใน active learning แบบ pool-based นี่คืออินสแตนซ์หนึ่งต่อรอบการทำซ้ำ; รูปแบบ batch-mode เลือก mini-batch ที่หลากหลายเพื่อลดรอบการโต้ตอบกับ oracle
อินสแตนซ์ที่มีป้ายกำกับใหม่จะถูกเพิ่มเข้าไปในชุดที่มีป้ายกำกับ และ SVM จะถูกฝึกใหม่ตั้งแต่ต้น (หรืออัปเดตแบบเพิ่มหน่วย) บนชุดที่ขยายใหญ่ขึ้น การเลือก kernel (linear, RBF, polynomial) และพารามิเตอร์ regularisation C จะถูกกำหนดค่าคงที่หรือ cross-validated บน pool ที่มีป้ายกำกับ
วงจรจะดำเนินต่อไปจนกว่างบประมาณที่กำหนดไว้ล่วงหน้า (จำนวนการใส่คำอธิบายประกอบ, ขีดจำกัดเวลา, หรือความแม่นยำเป้าหมายบนชุดตรวจสอบที่แยกออก) จะหมดลง หรือจนกว่า margin ของอินสแตนซ์ที่ถูก query จะข้ามเกณฑ์ความเชื่อมั่นที่บ่งชี้ถึงความแน่นอนของโมเดลเพียงพอ
ข้อผิดพลาดที่พบบ่อย
- การเริ่มต้นด้วยชุดเริ่มต้นที่ไม่สมดุลของคลาส ซึ่งทำให้ไฮเปอร์เพลนเริ่มต้นเอนเอียงและทำให้ query ทั้งหมดที่ตามมาเอนเอียงไปยังภูมิภาคหนึ่ง
- การละเลยการปรับขนาดคุณลักษณะ: margin ของ SVM ขึ้นอยู่กับระยะทาง ดังนั้นคุณลักษณะที่ไม่ได้ปรับขนาดจะทำให้โมเดลละเลยมิติที่มีความแปรปรวนต่ำไปโดยสิ้นเชิง
- การปฏิบัติต่อความแม่นยำของ pool ที่มีป้ายกำกับเป็นการประมาณประสิทธิภาพที่เชื่อถือได้โดยไม่มีชุดทดสอบที่แยกออก
- การเลือก batch ที่ใหญ่เกินไปต่อรอบ ซึ่งนำกลับมาซึ่งความไม่มีประสิทธิภาพของการติดป้ายแบบพาสซีฟและลดประโยชน์ของการเลือกแบบแอคทีฟ
- การใช้ kernel เชิงเส้นกับข้อมูลที่ไม่ใช่เชิงเส้นโดยเนื้อแท้ จากนั้นจึงอ้างถึงผลลัพธ์ที่ไม่ดีว่าเกิดจาก active learning แทนที่จะเป็นการระบุโมเดลผิด
คำถามที่พบบ่อย
Active learning SVM แตกต่างจาก SVM มาตรฐานอย่างไร?
SVM มาตรฐานใช้ข้อมูลที่มีป้ายกำกับที่ให้มาแบบพาสซีฟ Active learning SVM เลือกอินสแตนซ์ที่ไม่มีป้ายกำกับที่จะขอป้ายกำกับอย่างแข็งขัน โดยเลือกอินสแตนซ์ที่อยู่ใกล้กับขอบเขตการตัดสินใจปัจจุบันมากที่สุด โมเดลการจำแนกประเภทคือ SVM เดียวกัน เฉพาะกลยุทธ์การรวบรวมข้อมูลเท่านั้นที่เปลี่ยนแปลง
ฉันควรใช้กลยุทธ์ query ใด?
Simple Margin (การเลือกอินสแตนซ์ที่ไม่มีป้ายกำกับที่ใกล้ที่สุดกับไฮเปอร์เพลน) เป็นกลยุทธ์ที่เป็นแบบอย่างและได้รับการศึกษามากที่สุด รูปแบบ Batch-mode ที่เพิ่มความหลากหลายสูงสุดภายในชุดที่เลือกจะมีความเหมาะสมเมื่อรอบการโต้ตอบกับ oracle มีค่าใช้จ่ายสูง โดยต้องแลกมาด้วยการใช้งานที่ซับซ้อนขึ้นเล็กน้อย
ฉันควรหยุด query เมื่อใด?
เกณฑ์การหยุดทั่วไป ได้แก่ การใช้ งบประมาณการใส่คำอธิบายประกอบที่กำหนดไว้ การบรรลุความแม่นยำเป้าหมายบนชุดตรวจสอบ หรือการสังเกตว่าอินสแตนซ์ที่ถูก query อย่างต่อเนื่องทั้งหมดอยู่ห่างจากขอบเขต (บ่งชี้ว่าความมั่นใจของโมเดลคงที่) หลีกเลี่ยงการพึ่งพาประสิทธิภาพของชุดฝึกเพียงอย่างเดียว ซึ่งมองโลกในแง่ดีเกินไป
Active learning SVM สามารถจัดการกับปัญหาหลายคลาสได้หรือไม่?
ได้ โดยใช้การแยกแบบ one-vs-rest หรือ one-vs-one margin สำหรับการเลือก query หลายคลาส โดยทั่วไปจะกำหนดเป็นผลต่างระหว่างคะแนนสองคลาสสูงสุด อินสแตนซ์ที่มีช่องว่างน้อยที่สุดจะถูกเลือก การใช้งานบางอย่างใช้เกณฑ์ active learning หลายคลาสโดยเฉพาะ
Deep learning ทำให้ active learning SVM ล้าสมัยหรือไม่?
ไม่ทั้งหมด Active learning SVM ยังคงแข่งขันได้เมื่อข้อมูลที่มีป้ายกำกับมีน้อยมาก (หลายสิบถึงหลายร้อยตัวอย่าง) ทรัพยากรการคำนวณในการฝึกมีจำกัด หรือเมื่อความสามารถในการตีความ margin เป็นที่ต้องการ วิธีการ deep active learning จะมีความเหมาะสมก็ต่อเมื่อมีทรัพยากร GPU และ pool ที่ไม่มีป้ายกำกับมีขนาดใหญ่มาก
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Tong, S., & Koller, D. (2001). Support Vector Machine Active Learning with Applications to Text Classification. Journal of Machine Learning Research, 2, 45–66.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วSettles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว