One-class SVM
- ผู้เสนอ
- Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
- ปี
- 1999–2001
- ประเภท
- Anomaly / novelty detection (unsupervised)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
One-class SVM เป็นอัลกอริทึมสำหรับการตรวจจับความผิดปกติและสิ่งแปลกปลอมแบบไม่มีผู้สอน (unsupervised anomaly and novelty detection) ซึ่งเรียนรู้ขอบเขตที่กระชับรอบข้อมูลฝึกสอนปกติในปริภูมิคุณลักษณะที่เหนี่ยวนำโดยเคอร์เนล (kernel-induced feature space) โดยจะระบุการสังเกตการณ์ใหม่ที่อยู่นอกขอบเขตดังกล่าวว่าเป็นค่าผิดปกติ (outliers) อัลกอริทึมนี้พัฒนาโดย Scholkopf และคณะ ในช่วงปี 1999–2001 โดยขยายกรอบการทำงานของ SVM ไปสู่การตั้งค่าแบบชั้นเดียว (single-class setting) ซึ่งไม่มีข้อมูลความผิดปกติที่มีป้ายกำกับ (labelled anomalies) ให้ใช้งาน
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการเป่าลูกโป่งให้ครอบคลุมจุดข้อมูลฝึกสอนทั้งหมดของคุณในปริภูมิที่แปลงแล้วซึ่งกำหนดโดยฟังก์ชันเคอร์เนล เมื่อลูกโป่งถูกปรับให้พอดี จุดข้อมูลใหม่ใดๆ ที่ตกอยู่นอกลูกโป่งจะถูกประกาศว่าเป็นความผิดปกติ พารามิเตอร์ nu ควบคุมความกระชับของลูกโป่ง: ค่า nu ที่น้อยจะยอมให้จุดข้อมูลฝึกสอนเพียงไม่กี่จุดอยู่ภายในขอบเขต (margin) (ขอบเขตที่เข้มงวด) ในขณะที่ค่า nu ที่มากจะยอมให้จุดข้อมูลอยู่ภายนอกมากขึ้น (ขอบเขตที่หลวมขึ้น) เทคนิคเคอร์เนล (kernel trick) ช่วยให้ขอบเขตไม่เป็นเชิงเส้น (non-linear) ในปริภูมิข้อมูลนำเข้าดั้งเดิม ดังนั้น One-class SVM จึงสามารถจับรูปร่างที่ซับซ้อนของความเป็นปกติ (normality) ซึ่งกฎเกณฑ์แบบง่ายๆ หรือกฎระยะทางจะไม่สามารถตรวจจับได้
ประวัติศาสตร์
One-class SVM ถูกนำเสนอโดย Scholkopf, Platt, Smola และ Williamson ในรายงานทางเทคนิคปี 1999 และตีพิมพ์ในวารสาร Neural Computation ในปี 2001 ในหัวข้อ 'Estimating the support of a high-dimensional distribution.' สูตรที่คล้ายคลึงกันอย่างใกล้ชิดคือ Support Vector Data Description (SVDD) ซึ่งพัฒนาขึ้นพร้อมกันโดย Tax และ Duin (2004) ทั้งสองวิธีได้ขยายกรอบการทำงานของ SVM แบบมีผู้สอน (supervised SVM) ไปสู่การตั้งค่าการตรวจจับความผิดปกติแบบไม่มีผู้สอน (unsupervised anomaly detection) และกลายเป็นเอกสารอ้างอิงพื้นฐานในวรรณกรรมเกี่ยวกับการตรวจจับสิ่งแปลกปลอม การนำไปใช้ของ Scikit-learn ในชื่อ OneClassSVM ทำให้วิธีการนี้เข้าถึงได้ง่ายในงานวิจัยประยุกต์
ควรใช้เมื่อใด
ใช้ One-class SVM เมื่อไม่มีตัวอย่างความผิดปกติที่มีป้ายกำกับ หรือมีน้อยมาก และคุณต้องการขอบเขตแบบไม่เชิงเส้นรอบพฤติกรรมปกติ ซึ่งมักพบในการตรวจจับการฉ้อโกง การตรวจจับการบุกรุก การตรวจสอบความผิดปกติของอุตสาหกรรม และการคัดกรองสิ่งแปลกปลอมทางการแพทย์ด้วยคุณลักษณะเชิงตัวเลขต่อเนื่อง วิธีการนี้ทำงานได้ดีที่สุดกับชุดข้อมูลขนาดปานกลาง (หลักร้อยถึงหลักหมื่นตัวอย่าง) และการแจกแจงความเป็นปกติที่มีมิติสูงหรือมีรูปร่างซับซ้อน ซึ่งเครื่องตรวจจับแบบเชิงเส้นหรือแบบอาศัยระยะทางล้มเหลว หลีกเลี่ยงเมื่อ: ชุดข้อมูลฝึกสอนมีขนาดใหญ่มาก (n > ~100,000) เนื่องจากโปรแกรมกำลังสองมีสเกลที่ไม่ดีนัก ข้อมูลเป็นประเภทหมวดหมู่ (categorical) เป็นส่วนใหญ่ หรือเมื่อต้องการกฎที่รวดเร็วและตีความได้ ในกรณีเหล่านั้น ควรเลือกใช้ Isolation Forest, Local Outlier Factor หรือแบบจำลองทางสถิติแบบอาศัยเกณฑ์
ข้อจำกัดและข้อควรพิจารณา
- โปรแกรมกำลังสองมีสเกลเป็น O(n^2) ถึง O(n^3) ตามจำนวนตัวอย่างฝึกสอน ทำให้ไม่สามารถนำไปใช้กับชุดข้อมูลขนาดใหญ่มากได้
- ไวต่อการเลือกเคอร์เนลและไฮเปอร์พารามิเตอร์ (เช่น RBF gamma) การเลือกที่ไม่เหมาะสมจะทำให้ขอบเขตแคบเกินไป (too tight) หรือหลวมเกินไป (too loose)
- ต้องการข้อมูลฝึกสอนปกติที่สะอาด — ชุดข้อมูลฝึกสอนที่ปนเปื้อนจะเลื่อนขอบเขตและเพิ่มอัตราผลลบลวง
- ไม่สามารถสร้างการประมาณค่าความน่าจะเป็นที่ปรับเทียบแล้วได้โดยธรรมชาติ — คะแนนการตัดสินใจไม่ใช่ความน่าจะเป็น
- การตีความทำได้จำกัด — การอธิบายว่าทำไมจุดข้อมูลเฉพาะจึงถูกระบุว่าเป็นความผิดปกติทำได้ยากหากไม่มีเครื่องมือเพิ่มเติมภายหลัง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ทำงานได้โดยไม่ต้องมีตัวอย่างความผิดปกติที่มีป้ายกำกับ — ต้องการเพียงข้อมูลฝึกสอนปกติเท่านั้น
- เคอร์เนลแบบไม่เชิงเส้น (โดยทั่วไปคือ RBF) สามารถจับขอบเขตความเป็นปกติที่ซับซ้อนและโค้งงอได้ ซึ่งวิธีการที่อาศัยระยะทางพลาดไป
- พารามิเตอร์ nu ให้การควบคุมที่ตรงไปตรงมาและตีความได้เกี่ยวกับสัดส่วนค่าผิดปกติที่คาดหวัง
- ปรับขนาดได้อย่างสง่างามไปยังปริภูมิคุณลักษณะที่มีมิติสูงผ่านเทคนิคเคอร์เนล
- คะแนนการตัดสินใจแบบต่อเนื่องช่วยให้สามารถปรับเทียบเกณฑ์การใช้งานภายหลังได้อย่างยืดหยุ่น
- ได้รับการพิสูจน์แล้วในโดเมนที่มีความสำคัญสูง เช่น การตรวจจับการบุกรุก การตรวจสอบความผิดปกติ และการสร้างภาพทางการแพทย์
การประยุกต์ใช้
- การตรวจจับการบุกรุกเครือข่าย: ระบุรูปแบบการรับส่งข้อมูลที่ไม่เคยพบเห็นระหว่างการทำงานปกติ
- การตรวจสอบความผิดปกติของอุตสาหกรรม: ตรวจจับค่าการอ่านเซ็นเซอร์ของเครื่องจักรที่เบี่ยงเบนไปจากโปรไฟล์ของสภาวะปกติ
- การตรวจจับการฉ้อโกง: ระบุรูปแบบธุรกรรมที่ผิดปกติเมื่อตัวอย่างการฉ้อโกงมีน้อยเกินไปที่จะฝึกสอนตัวจำแนกประเภทแบบมีผู้สอน
- การตรวจจับสิ่งแปลกปลอมทางการแพทย์: ระบุการอ่านภาพหรือตัวบ่งชี้ทางชีวภาพที่อยู่นอกเหนือการแจกแจงของผู้ป่วยปกติ
- การประมวลผลภาษาธรรมชาติ: การตรวจจับเอกสารหรือคำค้นที่อยู่นอกขอบเขต (out-of-domain) โดยใช้การฝังข้อความ (text embeddings) เป็นคุณลักษณะนำเข้า
วิธีการทำงาน
วิธีการทำงาน
การสังเกตการณ์ฝึกสอนทั้งหมดจะถูกแมปไปยังปริภูมิคุณลักษณะที่มีมิติสูง (อาจมีมิติอนันต์) ผ่านฟังก์ชันเคอร์เนล เช่น เรเดียลเบสิสฟังก์ชัน (RBF) ผลคูณภายใน (inner products) ในปริภูมินั้นสามารถประเมินได้โดยไม่ต้องคำนวณการแมปอย่างชัดเจน ซึ่งทำให้แนวทางนี้สามารถนำไปปฏิบัติได้แม้สำหรับขอบเขตที่ซับซ้อน
สูตร
\phi: \mathcal{X} \to \mathcal{F}โปรแกรมกำลังสอง (quadratic program) จะค้นหาไฮเปอร์เพลน (hyperplane) ในปริภูมิคุณลักษณะที่แยกข้อมูลฝึกสอนที่ถูกแมปออกจากจุดกำเนิด (origin) ด้วยระยะห่างที่มากที่สุด พารามิเตอร์ nu (ระหว่าง 0 ถึง 1) จะจำกัดสัดส่วนของจุดข้อมูลฝึกสอนที่ถือว่าเป็นค่าผิดปกติและสัดส่วนของเวกเตอร์สนับสนุน (support vectors) ไปพร้อมๆ กัน ทำให้ผู้ปฏิบัติงานสามารถควบคุมการแลกเปลี่ยนระหว่างความกระชับของแบบจำลองและการยอมรับข้อมูลฝึกสอนที่ปนเปื้อนได้โดยตรง
สูตร
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_iไฮเปอร์เพลนที่เรียนรู้ได้จะกำหนดฟังก์ชันการตัดสินใจที่มีเครื่องหมาย (signed decision function) จุดที่อยู่ด้านบวกจะถูกจำแนกประเภทว่าเป็นปกติ จุดที่อยู่ด้านลบ (ต่ำกว่าเกณฑ์ rho) จะถูกระบุว่าเป็นความผิดปกติหรือสิ่งแปลกปลอม คะแนนดิบ (raw score) ยังสามารถใช้เป็นคะแนนความผิดปกติแบบต่อเนื่อง (continuous anomaly score) สำหรับการจัดอันดับได้
สูตร
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)การเลือกค่า nu เป็นการตัดสินใจสร้างแบบจำลองที่สำคัญ: การตั้งค่าให้ใกล้เคียงกับสัดส่วนการปนเปื้อนที่คาดหวังในชุดข้อมูลฝึกสอนเป็นกฎง่ายๆ ที่ใช้ได้จริง การตรวจสอบไขว้ (cross-validation) บนชุดข้อมูลตรวจสอบปกติที่แยกไว้ หรือความรู้เฉพาะทางเกี่ยวกับอัตราค่าผิดปกติที่คาดหวัง ควรเป็นแนวทางในการเลือก แทนที่จะใช้วิธีการค้นหาแบบกริด (grid search) บนข้อมูลที่ไม่มีป้ายกำกับเพียงอย่างเดียว
ในการนำไปใช้งาน จะมีการใช้เกณฑ์คะแนนความผิดปกติ (anomaly score threshold) กับผลลัพธ์ของฟังก์ชันการตัดสินใจ เกณฑ์นี้สามารถปรับเปลี่ยนได้ภายหลังเพื่อแลกเปลี่ยนความแม่นยำ (precision) กับการเรียกคืน (recall) สำหรับความผิดปกติ ทำให้วิธีการนี้เหมาะสมกับการใช้งานที่ต้นทุนของผลบวกลวง (false positives) แตกต่างอย่างมากจากต้นทุนของผลลบลวง (false negatives)
ข้อผิดพลาดที่พบบ่อย
- การฝึกสอนบนข้อมูลที่มีสัดส่วนความผิดปกติที่ตรวจไม่พบเป็นจำนวนมาก ซึ่งทำให้ขอบเขตที่เรียนรู้เสียไป
- การตั้งค่า nu โดยไม่มีการอ้างอิงถึงอัตราการปนเปื้อนที่คาดหวัง ซึ่งนำไปสู่ผลบวกลวงมากเกินไป หรือพลาดความผิดปกติ
- การใช้ RBF gamma เริ่มต้นโดยไม่มีการปรับแต่ง ซึ่งอาจทำให้ขอบเขตแคบเกินไป (จุดข้อมูลใหม่ทั้งหมดเป็นความผิดปกติ) หรือหลวมเกินไป (ไม่พบความผิดปกติเลย)
- การใช้ One-class SVM กับชุดข้อมูลขนาดใหญ่มากโดยไม่ได้พิจารณาทางเลือกในการปรับขนาด เช่น การประมาณค่าโดยใช้ SGD (เช่น SGDOneClassSVM ใน sklearn)
- การรายงานเพียงแค่การระบุว่าเป็นความผิดปกติแบบทวิภาค (binary anomaly flag) โดยไม่ได้ตรวจสอบการแจกแจงคะแนนต่อเนื่องเพื่อปรับเทียบเกณฑ์
คำถามที่พบบ่อย
ความแตกต่างระหว่าง One-class SVM และ Isolation Forest สำหรับการตรวจจับความผิดปกติคืออะไร?
One-class SVM เรียนรู้ขอบเขตที่ใช้เคอร์เนลรอบข้อมูลปกติและทำงานได้ดีกับการแจกแจงที่มีมิติสูงและรูปร่างซับซ้อน แต่มีสเกลที่ไม่ดีนักเมื่อเทียบกับขนาดชุดข้อมูล ในขณะที่ Isolation Forest ใช้การแบ่งพาร์ติชันแบบสุ่มและเร็วกว่ามากสำหรับชุดข้อมูลขนาดใหญ่ แต่โดยทั่วไปแล้วมีความไวต่อรูปแบบความผิดปกติที่ไม่ชัดเจนและไม่เป็นเชิงเส้นน้อยกว่า
ฉันควรเลือกพารามิเตอร์ nu อย่างไร?
ตั้งค่า nu ให้เท่ากับสัดส่วนของข้อมูลสังเกตการณ์ฝึกสอนที่คุณคาดว่ามีการปนเปื้อนหรือไม่เป็นตัวแทน หากคุณเชื่อว่าน้อยกว่า 5% ของตัวอย่างฝึกสอนของคุณเป็นค่าผิดปกติ ให้เริ่มต้นด้วย nu=0.05 ใช้ชุดข้อมูลปกติที่ทราบซึ่งแยกไว้เพื่อประเมินความกระชับของขอบเขต แทนที่จะพึ่งพาวิธีการค้นหาแบบกริดเพียงอย่างเดียว
ฉันควรใช้เคอร์เนลอะไร?
เคอร์เนล RBF (Gaussian) เป็นจุดเริ่มต้นมาตรฐานและจัดการกับชุดข้อมูลตัวเลขต่อเนื่องส่วนใหญ่ได้ดี ไฮเปอร์พารามิเตอร์ gamma ของเคอร์เนล RBF ควบคุมรัศมีอิทธิพล ควรทำการตรวจสอบไขว้บนกริดที่จัดเรียงแบบลอการิทึม เคอร์เนลเชิงเส้นเร็วกว่าแต่จำกัดขอบเขตให้เป็นไฮเปอร์เพลน
One-class SVM สามารถจัดการกับคุณลักษณะประเภทหมวดหมู่ได้หรือไม่?
โดยตรงไม่ได้ ตัวแปรประเภทหมวดหมู่จะต้องถูกเข้ารหัสเป็นตัวเลข (เช่น การเข้ารหัสแบบไบนารีหรือแบบอันดับ) ก่อนใช้งาน ซึ่งอาจทำให้เกิดการบิดเบือนของเมตริกซ์ระยะทาง สำหรับชุดข้อมูลที่มีคุณลักษณะประเภทหมวดหมู่เป็นส่วนใหญ่ ควรพิจารณาใช้เครื่องตรวจจับแบบต้นไม้ เช่น Isolation Forest แทน
ชุดข้อมูลฝึกสอนของฉันอาจมีค่าผิดปกติอยู่บ้าง สิ่งนั้นจะทำให้แบบจำลองเสียหายหรือไม่?
ข้อมูลฝึกสอนที่ปนเปื้อนจะเลื่อนขอบเขตออกไปด้านนอก และอาจทำให้แบบจำลองเรียนรู้รูปแบบที่ผิดปกติว่าเป็นปกติ One-class SVM มีความไวต่อสิ่งนี้มากกว่า Isolation Forest หากสงสัยว่ามีการปนเปื้อน ควรพิจารณาใช้ SVDD ด้วยค่า nu ที่สูงขึ้น หรือทำความสะอาดชุดข้อมูลฝึกสอนด้วยการผ่านเบื้องต้นของเครื่องตรวจจับที่รวดเร็ว
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วTax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว