Skip to content
กลับไปยังผลการค้นหา

Semi-supervised One-class SVM

ผู้เสนอ
Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
ปี
2001–2004
ประเภท
Semi-supervised anomaly / novelty detection
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Semi-supervised One-class SVM เป็นการต่อยอดตัวตรวจจับความผิดปกติแบบ One-class SVM ดั้งเดิม โดยรวมเอาข้อมูลที่ไม่มีป้ายกำกับเข้ากับชุดตัวอย่างปกติที่ทราบจำนวนเล็กน้อย ข้อมูลที่ไม่มีป้ายกำกับช่วยให้แบบจำลองเรียนรู้ขอบเขตการตัดสินใจที่กระชับและให้ข้อมูลมากขึ้นในพื้นที่คุณลักษณะ ซึ่งช่วยลดการเกิดผลบวกลวงและปรับปรุงการเรียกคืนความผิดปกติเมื่อเทียบกับเกณฑ์พื้นฐานที่ไม่มีการควบคุมดูแลอย่างสมบูรณ์

แนวคิดเบื้องหลังวิธีการ

One-class SVM มาตรฐานจะสร้างขอบเขตรอบข้อมูลปกติที่มีป้ายกำกับในพื้นที่คุณลักษณะที่แปลงด้วยเคอร์เนล และระบุทุกสิ่งที่อยู่นอกขอบเขตนั้นว่าเป็นความผิดปกติ ปัญหาคือเมื่อมีตัวอย่างที่มีป้ายกำกับน้อย ขอบเขตจะหลวมและมีสัญญาณรบกวน Semi-supervised One-class SVM ใช้ประโยชน์จากกลุ่มตัวอย่างที่ไม่มีป้ายกำกับ ซึ่งส่วนใหญ่มีแนวโน้มที่จะเป็นปกติ เพื่อดึงขอบเขตนั้นเข้าด้านในไปยังบริเวณที่มีความหนาแน่นสูงกว่า ลองนึกภาพว่าเป็นการสอนแบบจำลองว่า 'ปกติ' อยู่ที่ใดจริง ๆ โดยการแสดงตัวอย่างให้มากขึ้น แม้ว่าตัวอย่างเหล่านั้นจะไม่มีป้ายกำกับชั้นเรียนที่ได้รับการยืนยัน ผลลัพธ์ที่ได้คือขอบเขตความผิดปกติที่กระชับและเชื่อถือได้มากขึ้นโดยมีต้นทุนการติดป้ายกำกับต่ำ

ประวัติศาสตร์

One-class SVM ได้รับการแนะนำโดย Scholkopf et al. ในปี 2001 ในฐานะวิธีการประมาณการสนับสนุนของการแจกแจงที่มีมิติสูง และกลายเป็นมาตรฐานสำหรับการตรวจจับสิ่งแปลกใหม่และความผิดปกติอย่างรวดเร็ว นักวิจัยในช่วงกลางทศวรรษ 2000 ตระหนักว่าแม้ข้อมูลเริ่มต้นปกติที่มีป้ายกำกับเพียงเล็กน้อยก็สามารถทำให้ขอบเขตการตัดสินใจกระชับขึ้นได้อย่างมาก และมีการเสนอส่วนขยายแบบกึ่งมีผู้สอนหลายรายการ โดยอาศัยงานร่วมสมัยใน transductive SVMs และการแพร่กระจายป้ายกำกับ แนวทางนี้ยังคงได้รับการศึกษาอย่างต่อเนื่องในโดเมนที่การติดป้ายกำกับความผิดปกติมีค่าใช้จ่ายสูงมาก

ควรใช้เมื่อใด

เลือกใช้ Semi-supervised One-class SVM เมื่อความผิดปกติหายาก การติดป้ายกำกับข้อมูลทั้งหมดมีค่าใช้จ่ายสูงเกินไป แต่มีข้อมูลเริ่มต้นที่ได้รับการยืนยันว่าเป็นปกติจำนวนเล็กน้อย ตัวอย่างเช่น การตรวจจับการบุกรุกเครือข่าย การควบคุมคุณภาพภาพทางการแพทย์ หรือการคัดกรองข้อบกพร่องในการผลิต วิธีนี้มีประสิทธิภาพดีกว่า OC-SVM ที่ไม่มีการควบคุมดูแลเมื่อข้อมูลเริ่มต้นที่มีป้ายกำกับสะอาด และกลุ่มข้อมูลที่ไม่มีป้ายกำกับมีขนาดใหญ่และเป็นตัวแทนของพฤติกรรมปกติ อย่าใช้วิธีนี้เมื่อข้อมูลเริ่มต้นที่มีป้ายกำกับมีสัญญาณรบกวนหรือมีอคติ เมื่ออัตราความผิดปกติในกลุ่มข้อมูลที่ไม่มีป้ายกำกับสูง (เกินประมาณ 10–20%) เมื่อคุณมีตัวอย่างความผิดปกติที่ได้รับการยืนยันจำนวนมาก (SVM แบบมีผู้สอนหรือวิธีการแบบกลุ่มจะดีกว่า) หรือเมื่อผู้ตรวจสอบต้องการความสามารถในการตีความและสัมประสิทธิ์ที่ชัดเจน

ข้อจำกัดและข้อควรพิจารณา

  • ประสิทธิภาพลดลงอย่างรวดเร็วหากข้อมูลเริ่มต้นที่มีป้ายกำกับมีขนาดเล็ก มีสัญญาณรบกวน หรือไม่เป็นตัวแทนของพฤติกรรมปกติที่แท้จริง
  • อัตราการปนเปื้อนสูงในกลุ่มข้อมูลที่ไม่มีป้ายกำกับทำให้เกิดการเลื่อนไหลของป้ายกำกับเสมือนและการเสียหายของขอบเขต
  • การเขียนโปรแกรมกำลังสองมีขนาดที่ไม่ดี: ตัวแก้ SVM มาตรฐานประสบปัญหาเมื่อมีข้อมูลเกินหลายหมื่นรายการ
  • ต้องมีการปรับแต่งพารามิเตอร์ไฮเปอร์เคอร์เนลและ nu อย่างระมัดระวัง ค่าเริ่มต้นไม่ค่อยให้ขอบเขตที่เหมาะสมที่สุด
  • การติดป้ายกำกับเสมือนแบบวนซ้ำเพิ่มความซับซ้อนในการใช้งานและต้องมีเกณฑ์การหยุดที่มีหลักการ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับจำนวนมากเพื่อปรับปรุงคุณภาพขอบเขตโดยไม่ต้องเสียค่าใช้จ่ายในการติดป้ายกำกับทั้งหมด
  • สืบทอดความยืดหยุ่นของเคอร์เนลจาก One-class SVM มาตรฐาน ซึ่งสามารถจับภาพแมนิโฟลด์ข้อมูลปกติที่ไม่เป็นเชิงเส้นได้
  • คะแนนความผิดปกติที่ปรับเทียบได้ดีกว่า OC-SVM ที่ไม่มีการควบคุมดูแลอย่างสมบูรณ์ เมื่อมีข้อมูลเริ่มต้นที่มีป้ายกำกับที่สะอาด
  • ทำงานได้ดีในพื้นที่คุณลักษณะที่มีมิติสูง ซึ่งข้อมูลปกติก่อตัวเป็นกลุ่มที่กะทัดรัด
  • ขนาดของคะแนนความผิดปกติให้การจัดอันดับความเชื่อมั่นที่เป็นธรรมชาติสำหรับการคัดแยกและจัดลำดับความสำคัญ

การประยุกต์ใช้

  • การตรวจจับการบุกรุกเครือข่ายและการโจมตีทางไซเบอร์โดยใช้ข้อมูลการจราจรปกติที่มีป้ายกำกับบวกกับบันทึกการดำเนินงานที่ไม่มีป้ายกำกับ
  • การควบคุมคุณภาพภาพทางการแพทย์ที่สามารถสแกนที่ได้รับการยืนยันว่าดีได้ แต่ความผิดปกติหายาก
  • การตรวจจับข้อบกพร่องทางอุตสาหกรรมโดยใช้การอ่านค่าเซ็นเซอร์สภาพการทำงานปกติเป็นข้อมูลเริ่มต้นที่มีป้ายกำกับ
  • การตรวจจับการฉ้อโกงในการทำธุรกรรมทางการเงินเมื่อมีการยืนยันเฉพาะตัวอย่างที่ไม่ใช่การฉ้อโกงเท่านั้น
  • การกรองความผิดปกติของข้อความหรือเอกสารโดยใช้ชุดเอกสารที่ทราบว่าสะอาดเพื่อยึดขอบเขต

วิธีการทำงาน

วิธีการทำงาน

1

แบ่งข้อมูลการฝึกอบรมออกเป็นชุดข้อมูลที่มีป้ายกำกับขนาดเล็กของอินสแตนซ์ที่ได้รับการยืนยันว่าเป็นปกติ และกลุ่มข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่กว่ามาก โดยทั่วไปแล้วกลุ่มข้อมูลที่ไม่มีป้ายกำกับจะประกอบด้วยข้อมูลการดำเนินงานจริงจากโดเมนเป้าหมายที่ยังไม่ได้รับการตรวจสอบด้วยตนเอง คุณภาพของข้อมูลเริ่มต้นที่มีป้ายกำกับมีอิทธิพลอย่างมากต่อประสิทธิภาพสุดท้าย

2

แมปการสังเกตทั้งหมดเข้าสู่ปริภูมิฮิลเบิร์ตเคอร์เนลแบบจำลองซ้ำที่มีมิติสูงโดยใช้ฟังก์ชันเคอร์เนล ซึ่งโดยทั่วไปคือ RBF kernel ในปริภูมินั้น กลุ่มข้อมูลปกติจะกลายเป็นกะทัดรัดและแยกออกจากจุดกำเนิด ซึ่งเป็นกลเม็ดทางเรขาคณิตที่เป็นรากฐานของ One-class SVM

สูตร
\phi: \mathcal{X} \rightarrow \mathcal{F}
3

ปรับ One-class SVM เริ่มต้นโดยใช้เฉพาะตัวอย่างปกติที่มีป้ายกำกับ ซึ่งจะให้ไฮเปอร์เพลนเบื้องต้นที่กำหนดโดยเวกเตอร์น้ำหนัก w, เกณฑ์ rho และตัวแปรหย่อน xi ซึ่งควบคุมโดยพารามิเตอร์ nu ที่จำกัดสัดส่วนของข้อผิดพลาดในการฝึกอบรม

สูตร
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rho
4

ใช้แบบจำลองเริ่มต้นกับกลุ่มข้อมูลที่ไม่มีป้ายกำกับและกำหนดป้ายกำกับเสมือนแบบอ่อนหรือแบบแข็ง: อินสแตนซ์ที่จัดประเภทเป็นปกติจะถูกเพิ่มเข้าในชุดข้อมูลปกติชั่วคราว ส่วนอินสแตนซ์ที่ให้คะแนนเป็นความผิดปกติอาจถูกละทิ้งหรือให้น้ำหนักน้อยลง ความน่าเชื่อถือของป้ายกำกับเสมือนสามารถปรับปรุงได้ด้วยเกณฑ์ความเชื่อมั่นหรือการแพร่กระจายป้ายกำกับผ่านกราฟความคล้ายคลึงกัน

5

ฝึก One-class SVM ซ้ำบนชุดข้อมูลที่มีป้ายกำกับที่ขยายใหญ่ขึ้น (ป้ายกำกับเดิมบวกกับป้ายกำกับเสมือนที่ยอมรับ) ทำซ้ำการติดป้ายกำกับเสมือนและการวนซ้ำการฝึกซ้ำตามจำนวนครั้งที่กำหนด หรือจนกว่าขอบเขตจะเสถียร การหยุดก่อนกำหนดจะป้องกันการเลื่อนไหลที่เกิดจากข้อผิดพลาดของป้ายกำกับเสมือนที่ต่อเนื่องกัน

6

ในการอนุมาน ให้แมปการสังเกตใหม่แต่ละรายการผ่านเคอร์เนลเดียวกันและประเมินฟังก์ชันการตัดสินใจ f(x) อินสแตนซ์ที่มี f(x) < 0 จะถูกระบุว่าเป็นความผิดปกติ ขนาดของคะแนนสะท้อนถึงระยะห่างจากขอบเขตปกติและสามารถใช้เป็นอันดับความเชื่อมั่นของความผิดปกติได้

สูตร
f(x) = \text{sign}(w^\top \phi(x) - \rho)

ข้อผิดพลาดที่พบบ่อย

  • การใช้ข้อมูลเริ่มต้นที่มีป้ายกำกับที่มาจากชุดการแจกแจงที่แตกต่างจากกลุ่มข้อมูลที่ไม่มีป้ายกำกับ ทำให้เกิดข้อผิดพลาดของป้ายกำกับเสมือนอย่างเป็นระบบ
  • การตั้งค่าพารามิเตอร์การปนเปื้อน nu โดยไม่ประมาณอัตราความผิดปกติที่แท้จริง ซึ่งนำไปสู่การตรวจจับมากเกินไปหรือน้อยเกินไป
  • การเชื่อถือป้ายกำกับเสมือนอย่างไม่มีเงื่อนไข แทนที่จะใช้เกณฑ์ความเชื่อมั่นหรือการให้น้ำหนักแบบอ่อน
  • การข้ามการประเมินบนชุดข้อมูลความผิดปกติที่มีป้ายกำกับที่แยกไว้ และอาศัยเฉพาะเมตริกคลัสเตอร์ที่ไม่มีการควบคุมดูแล
  • การสับสนวิธีนี้กับ transductive SVM (S3VM) ซึ่งแก้ปัญหาที่แตกต่างกันของการจำแนกประเภทแบบกึ่งมีผู้สอน แทนที่จะเป็นการตรวจจับแบบ One-class

คำถามที่พบบ่อย

ข้อมูลเริ่มต้นที่มีป้ายกำกับต้องมีขนาดใหญ่แค่ไหน?

ในทางปฏิบัติ แม้แต่ตัวอย่างปกติที่ได้รับการยืนยันเพียงไม่กี่สิบรายการก็สามารถเริ่มต้นขอบเขตที่เป็นประโยชน์ได้ แต่ชุดข้อมูลที่มีป้ายกำกับควรครอบคลุมโหมดหลักของพฤติกรรมปกติ หากข้อมูลเริ่มต้นมีขนาดเล็กกว่าประมาณ 20–30 รายการ ขอบเขตเริ่มต้นจะไม่น่าเชื่อถือและข้อผิดพลาดของป้ายกำกับเสมือนจะสะสม

จะเกิดอะไรขึ้นหากกลุ่มข้อมูลที่ไม่มีป้ายกำกับมีการปนเปื้อนด้วยความผิดปกติอย่างมาก?

การปนเปื้อนสูง (ความผิดปกติเกินประมาณ 10–20%) ทำให้การปรับปรุงแบบวนซ้ำค่อยๆ ดูดซับความผิดปกติเข้าสู่ชั้นเรียนปกติ ทำให้ขอบเขตเสียหาย ในกรณีเช่นนี้ ให้ใช้เกณฑ์การยอมรับป้ายกำกับเสมือนที่ต่ำลง ใช้การลงคะแนนแบบกลุ่มจากหลายๆ ครั้ง หรือกลับไปใช้ One-class SVM แบบมีผู้สอนอย่างสมบูรณ์บนข้อมูลเริ่มต้นที่มีป้ายกำกับเท่านั้น

ฉันจะเลือกเคอร์เนลและพารามิเตอร์ nu ได้อย่างไร?

RBF kernel เป็นค่าเริ่มต้นมาตรฐาน ปรับแบนด์วิดท์ (แกมมา) ควบคู่ไปกับ nu โดยใช้การตรวจสอบข้ามบนชุดข้อมูลที่มีป้ายกำกับ Nu ควบคุมขอบเขตบนของสัดส่วนข้อผิดพลาดในการฝึกอบรมและสัดส่วนของเวกเตอร์สนับสนุน กำหนดให้มีค่าประมาณอัตราความผิดปกติที่คาดไว้หากทราบ

วิธีนี้แตกต่างจาก transductive SVM (S3VM) หรือไม่?

ใช่ Transductive SVM (S3VM) ทำการจำแนกประเภทไบนารีแบบกึ่งมีผู้สอน โดยที่ทั้งสองชั้นเรียนมีป้ายกำกับบางส่วน Semi-supervised One-class SVM จัดการกับการตรวจจับความผิดปกติ: ใช้เฉพาะป้ายกำกับชั้นเรียนปกติและถือว่าการสังเกตที่ไม่มีป้ายกำกับเป็นปกติที่เป็นไปได้ ไม่ใช่เป็นชั้นเรียนที่สองที่จะจำแนก

ฉันสามารถใช้วิธีนี้ในขนาดใหญ่ได้หรือไม่?

ตัวแก้ SVM มาตรฐานมีความซับซ้อน O(n^2) ถึง O(n^3) สำหรับชุดข้อมูลที่มีการสังเกตเกินประมาณ 50,000 รายการ ให้ใช้ตัวแก้โดยประมาณ (เช่น การอัปเดตออนไลน์แบบ SGD, การประมาณเคอร์เนลผ่าน Nystrom หรือคุณลักษณะฟูริเยร์แบบสุ่ม) หรือเปลี่ยนไปใช้ทางเลือกที่ปรับขนาดได้ เช่น Isolation Forest หรือตัวตรวจจับความผิดปกติที่ใช้ deep autoencoder

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว