การเรียนรู้เชิงรุกแบบ One-class SVM
- ผู้เสนอ
- Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
- ปี
- 2000s
- ประเภท
- Semi-supervised anomaly/novelty detection with iterative labeling
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเรียนรู้เชิงรุกแบบ One-class SVM (Active Learning One-class SVM) เป็นการผสมผสานระหว่าง One-class Support Vector Machine ซึ่งเป็นตัวตรวจจับความแปลกใหม่แบบอิงเคอร์เนลที่เรียนรู้ขอบเขตของข้อมูลปกติ เข้ากับวงจรการเรียนรู้เชิงรุกที่เลือกอินสแตนซ์ที่ไม่มีป้ายกำกับซึ่งให้ข้อมูลมากที่สุดสำหรับการกำกับดูแลโดยผู้เชี่ยวชาญ ผลลัพธ์ที่ได้คือตัวตรวจจับความผิดปกติที่ใช้ข้อมูลอย่างมีประสิทธิภาพ ซึ่งปรับปรุงขอบเขตการตัดสินใจด้วยความพยายามในการติดป้ายกำกับน้อยที่สุด
แนวคิดเบื้องหลังวิธีการ
One-class SVM แบบมาตรฐานจะวาดขอบเขตที่กระชับรอบบริเวณปกติที่ทราบของปริภูมิคุณลักษณะ ความยากอยู่ที่คุณภาพของขอบเขตขึ้นอยู่กับตัวอย่างที่ติดป้ายกำกับอย่างมาก การเรียนรู้เชิงรุกแก้ไขปัญหานี้โดยการขอให้ออราเคิลติดป้ายกำกับเฉพาะตัวอย่างที่อยู่ใกล้เคียง หรืออยู่นอกขอบเขตการตัดสินใจปัจจุบันเล็กน้อย — จุดที่แบบจำลองมีความไม่แน่นอนมากที่สุด ด้วยการสอบถามอย่างมีกลยุทธ์แทนที่จะสุ่ม แบบจำลองจะได้รับชุดการฝึกอบรมที่มีข้อมูลมากขึ้นโดยใช้ตัวอย่างที่ติดป้ายกำกับน้อยลงมาก ช่วยประหยัดค่าใช้จ่ายในการกำกับดูแลในขณะที่ทำให้เส้นแบ่งระหว่างปกติและผิดปกติคมชัดขึ้น
ประวัติศาสตร์
One-class SVM ถูกนำเสนอโดย Schölkopf และเพื่อนร่วมงานในปี 1999–2001 ในฐานะวิธีการเคอร์เนลที่มีหลักการสำหรับการประมาณค่าการรองรับของการกระจาย และกลายเป็นอัลกอริทึมอ้างอิงสำหรับการตรวจจับความแปลกใหม่และความผิดปกติอย่างรวดเร็ว กระบวนทัศน์การเรียนรู้เชิงรุก — การสอบถามออราเคิลอย่างเป็นระบบสำหรับป้ายกำกับที่มีข้อมูล — ได้รับการกำหนดอย่างเป็นทางการในการสำรวจโดย Settles (2009) นักวิจัยในช่วงปี 2000 และ 2010 ได้รวมแนวคิดทั้งสองเข้าด้วยกัน โดยใช้กลยุทธ์การสอบถามที่อิงตามความไม่แน่นอนและขอบเขตกับ OCSVM ในโดเมนต่างๆ เช่น การตรวจจับการบุกรุก การวินิจฉัยความผิดปกติ และการคัดกรองทางการแพทย์ ซึ่งตัวอย่างความผิดปกติที่มีป้ายกำกับนั้นหายากโดยเนื้อแท้
ควรใช้เมื่อใด
ใช้เมื่อต้องตรวจจับความผิดปกติหรือความแปลกใหม่ แต่ตัวอย่างที่มีป้ายกำกับมีราคาแพง หายาก หรือไม่มีให้ในตอนแรก — ซึ่งมักพบในการตรวจจับการฉ้อโกง การตรวจสอบความผิดปกติของอุปกรณ์ การตรวจจับการบุกรุกทางไซเบอร์ และการคัดกรองโรคหายากทางการแพทย์ วิธีนี้เหมาะสมอย่างยิ่งเมื่อมีข้อมูลปกติที่ไม่มีป้ายกำกับจำนวนมากพร้อมกับข้อมูลปกติที่ยืนยันแล้วจำนวนเล็กน้อย และเมื่อออราเคิล (ผู้เชี่ยวชาญของมนุษย์หรือผู้ทดสอบอัตโนมัติ) สามารถติดป้ายกำกับจุดที่ถูกสอบถามได้ หลีกเลี่ยงเมื่ออัตราความผิดปกติต่ำมากจนแม้แต่คำถามเชิงรุกก็แทบไม่พบความผิดปกติ เมื่อปริภูมิคุณลักษณะมีมิติสูงมากโดยไม่มีการจับคู่เคอร์เนลที่มีความหมาย หรือเมื่อต้องการไปป์ไลน์อัตโนมัติเต็มรูปแบบโดยไม่มีมนุษย์เข้ามาเกี่ยวข้อง
ข้อจำกัดและข้อควรพิจารณา
- ประสิทธิภาพมีความอ่อนไหวต่อการเลือกเคอร์เนลและไฮเปอร์พารามิเตอร์ nu ค่าเริ่มต้นที่ไม่ดีอาจทำให้ขอบเขตที่แน่นเกินไปหรือหลวมเกินไป
- ความสามารถในการปรับขนาดมีจำกัด: ต้นทุนการฝึกอบรม OCSVM เพิ่มขึ้นเป็นกำลังสองโดยประมาณตามจำนวนเวกเตอร์สนับสนุน ทำให้ช้าบนชุดข้อมูลขนาดใหญ่
- หากชุดข้อมูลเริ่มต้นที่มีป้ายกำกับไม่เป็นตัวแทนของบริเวณปกติที่แท้จริง คำถามในช่วงต้นอาจทำให้แบบจำลองเข้าใจผิด
- การเรียนรู้เชิงรุกสมมติว่ามีออราเคิลและเชื่อถือได้ การติดป้ายกำกับที่มีสัญญาณรบกวนหรือไม่สอดคล้องกันจะทำให้ขอบเขตเสื่อมโทรมลง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ลดจำนวนป้ายกำกับของผู้เชี่ยวชาญที่จำเป็นในการสร้างตัวตรวจจับความผิดปกติที่มีประสิทธิภาพลงอย่างมาก
- จัดการข้อมูลมิติสูงได้ดีผ่านการจับคู่เคอร์เนล โดยเฉพาะอย่างยิ่งเคอร์เนล RBF
- ไม่จำเป็นต้องมีตัวอย่างความผิดปกติในการเริ่มต้น — มันจะบูตสตราปจากข้อมูลปกติเท่านั้น
- กลยุทธ์การสอบถามเชิงรุกมุ่งเน้นความพยายามในการกำกับดูแลไปยังบริเวณที่เกี่ยวข้องกับการตัดสินใจมากที่สุดของปริภูมิ
- ขอบเขตของ OCSVM มีความทนทานต่อค่าผิดปกติในชุดข้อมูลฝึกอบรมผ่านไฮเปอร์พารามิเตอร์ nu
การประยุกต์ใช้
- การตรวจจับความผิดปกติของการบุกรุกเครือข่ายและความปลอดภัยทางไซเบอร์ด้วยป้ายกำกับการโจมตีที่จำกัด
- การตรวจสอบความผิดปกติของอุปกรณ์อุตสาหกรรมโดยใช้สตรีมเซ็นเซอร์ที่มีเหตุการณ์ความล้มเหลวที่เบาบาง
- การตรวจจับการฉ้อโกงในการทำธุรกรรมทางการเงิน ซึ่งกรณีการฉ้อโกงที่ยืนยันแล้วนั้นหายากและมีค่าใช้จ่ายสูงในการติดป้ายกำกับ
- การคัดกรองโรคหายากทางการแพทย์หรือเหตุการณ์ที่หายาก ซึ่งเวลาในการกำกับดูแลของผู้เชี่ยวชาญเป็นข้อจำกัดที่สำคัญ
- การตรวจจับความแปลกใหม่ของรูปภาพหรือข้อความ เมื่อมีเพียงคลังข้อมูลตัวอย่างปกติเท่านั้นที่มีให้ในตอนแรก
วิธีการทำงาน
วิธีการทำงาน
One-class SVM เริ่มต้นจะถูกฝึกอบรมบนชุดตัวอย่างปกติที่มีป้ายกำกับขนาดเล็กที่มีอยู่ตั้งแต่เริ่มต้น เคอร์เนล (โดยทั่วไปคือ RBF) และไฮเปอร์พารามิเตอร์ nu — ซึ่งควบคุมสัดส่วนของจุดข้อมูลฝึกอบรมที่อยู่นอกขอบเขต — จะถูกตั้งค่าก่อนเริ่มการวนซ้ำ
กลยุทธ์การเรียนรู้เชิงรุกให้คะแนนทุกอินสแตนซ์ที่ไม่มีป้ายกำกับตามระยะห่างจากขอบเขตการตัดสินใจของ OCSVM จุดที่อยู่ใกล้ขอบเขตมากที่สุดคือจุดที่คลุมเครือที่สุด จุดเหล่านี้จะถูกจัดอันดับและผู้สมัครอันดับต้นๆ จะถูกเลือกเป็นคำถามสำหรับออราเคิล กลยุทธ์ทั่วไป ได้แก่ การสุ่มตัวอย่างขอบเขต (margin sampling) และรูปแบบที่ถ่วงน้ำหนักด้วยความหนาแน่น (density-weighted variants)
ผู้เชี่ยวชาญเฉพาะทาง (หรือตัวแทนที่มีต้นทุนต่ำ เช่น แพลตฟอร์มการระดมมวลชน) จะกำหนดป้ายกำกับ — ปกติ หรือ ผิดปกติ — ให้กับแต่ละอินสแตนซ์ที่ถูกสอบถาม ขั้นตอนนี้เป็นคอขวด ดังนั้นประสิทธิภาพของการเลือกคำถามจึงเป็นตัวกำหนดต้นทุนโดยรวม
อินสแตนซ์ที่มีป้ายกำกับใหม่จะถูกเพิ่มเข้าไปในกลุ่มการฝึกอบรม และ One-class SVM จะถูกฝึกอบรมใหม่ หากมีป้ายกำกับความผิดปกติ สามารถนำมาใช้ผ่านการปรับปรุงขอบเขตแบบสองคลาสได้ หากมีเฉพาะป้ายกำกับปกติที่เพิ่มเข้ามา ขอบเขตจะกระชับรอบข้อมูลปกติที่ยืนยันแล้ว
วงจรจะทำซ้ำจนกว่างบประมาณ (จำนวนคำถามสูงสุด) จะหมดลง ประสิทธิภาพบนชุดข้อมูลตรวจสอบคงที่ หรือการเปลี่ยนแปลงขอบเขตระหว่างการวนซ้ำลดลงต่ำกว่าเกณฑ์ที่กำหนด OCSVM สุดท้ายจะถูกนำไปใช้สำหรับการให้คะแนนการผลิต
ข้อผิดพลาดที่พบบ่อย
- การปรับ nu บนชุดข้อมูลฝึกอบรมโดยไม่มีชุดข้อมูลตรวจสอบที่แยกออก ซึ่งนำไปสู่ขอบเขตที่มองโลกในแง่ดีเกินไป
- การเลือกคำถามโดยพิจารณาจากขอบเขตเพียงอย่างเดียวโดยไม่ได้คำนึงถึงความหนาแน่น ทำให้แบบจำลองสอบถามจุดในบริเวณที่เบาบางและไม่เป็นตัวแทน
- การปฏิบัติต่อข้อมูลที่ไม่มีป้ายกำกับทั้งหมดว่าเป็นข้อมูลปกติในระหว่างการเริ่มต้นโดยไม่ได้ตรวจสอบการปนเปื้อน
- การหยุดวงจรหลังจากสอบถามน้อยเกินไปและรายงานประสิทธิภาพบนชุดข้อมูลตรวจสอบขนาดเล็กราวกับว่ามีความเสถียร
- การใช้เคอร์เนลเชิงเส้นกับข้อมูลที่บริเวณปกติไม่เป็นรูปนูน (non-convex) — เคอร์เนลต้องตรงกับรูปทรงเรขาคณิตของคลาสปกติ
คำถามที่พบบ่อย
อะไรคือความแตกต่างระหว่างวิธีนี้กับ One-class SVM มาตรฐาน?
One-class SVM มาตรฐานจะฝึกอบรมเพียงครั้งเดียวบนข้อมูลที่มีป้ายกำกับทั้งหมดที่มีอยู่ รูปแบบการเรียนรู้เชิงรุกจะวนซ้ำ: ฝึกอบรมบนชุดข้อมูลเริ่มต้น สอบถามจุดที่ไม่มีป้ายกำกับซึ่งให้ข้อมูลมากที่สุด รวบรวมป้ายกำกับ และฝึกอบรมใหม่ สิ่งนี้ทำให้ขอบเขตแม่นยำยิ่งขึ้นโดยใช้ตัวอย่างที่มีป้ายกำกับน้อยลงมาก
ฉันต้องใช้ตัวอย่างที่มีป้ายกำกับกี่ตัวเพื่อเริ่มต้น?
ตัวอย่างปกติที่ยืนยันแล้วเพียงไม่กี่ตัวอย่าง (น้อยถึง 10–50 ตัวอย่าง) ก็สามารถใช้เป็นจุดเริ่มต้นสำหรับ OCSVM แรกได้ วงจรเชิงรุกจะเพิ่มชุดข้อมูลที่มีป้ายกำกับอย่างมีกลยุทธ์ การเริ่มต้นด้วยตัวอย่างน้อยเกินไปมีความเสี่ยงที่จะทำให้ขอบเขตเริ่มต้นไม่เสถียรซึ่งจะนำไปสู่การสอบถามที่ผิดพลาดในช่วงต้น
ฉันควรใช้กลยุทธ์การสอบถามแบบใด?
การสุ่มตัวอย่างขอบเขต (Margin sampling) — การสอบถามอินสแตนซ์ที่อยู่ใกล้ขอบเขตการตัดสินใจของ OCSVM ปัจจุบันมากที่สุด — เป็นตัวเลือกที่พบบ่อยที่สุด รูปแบบที่ถ่วงน้ำหนักด้วยความหนาแน่น (Density-weighted variants) ที่ยังคงเลือกจุดในบริเวณที่หนาแน่นของปริภูมิอินพุต มักจะมีประสิทธิภาพดีกว่าการสุ่มตัวอย่างขอบเขตแบบธรรมดาเมื่อข้อมูลมีโครงสร้างแบบกลุ่ม
ฉันจะประเมินประสิทธิภาพได้อย่างไรเมื่อป้ายกำกับความผิดปกติมีน้อย?
ใช้พื้นที่ใต้เส้นโค้ง ROC (AUC-ROC) หรือพื้นที่ใต้เส้นโค้งความแม่นยำ-การเรียกคืน (AUC-PR) บนชุดข้อมูลตรวจสอบที่แยกออกซึ่งรวมถึงความผิดปกติที่ยืนยันแล้ว ความแม่นยำอาจทำให้เข้าใจผิดได้เมื่อความผิดปกติมีน้อย หากไม่มีป้ายกำกับความผิดปกติเลย ให้ใช้การตรวจสอบด้วยสายตาของขอบเขตในการฉายภาพมิติที่ต่ำ
เมื่อใดที่ฉันควรเปลี่ยนไปใช้ตัวตรวจจับความผิดปกติอื่น?
หากชุดข้อมูลมีอินสแตนซ์มากกว่าสองสามพันตัว Isolation Forest หรือตัวตรวจจับที่อิงตาม Autoencoder จะปรับขนาดได้ดีกว่า หากคุณมีตัวอย่างความผิดปกติที่มีป้ายกำกับเพียงพอสำหรับการฝึกอบรมแบบมีผู้สอน SVM แบบไบนารีมาตรฐาน หรือตัวจำแนกแบบไล่ระดับ (gradient boosted classifier) โดยทั่วไปจะมีประสิทธิภาพดีกว่า OCSVM
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วSettles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว