Skip to content
กลับไปยังผลการค้นหา

การตรวจจับความผิดปกติด้วยออโตเอ็นโค้ดเดอร์แบบกึ่งมีผู้สอน

ผู้เสนอ
Ruff, L. et al.; Zong, B. et al.
ปี
2018–2020
ประเภท
Semi-supervised deep anomaly detection
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การตรวจจับความผิดปกติด้วยออโตเอ็นโค้ดเดอร์แบบกึ่งมีผู้สอน (Semi-supervised Autoencoder Anomaly Detection) จะฝึกฝนโครงข่ายประสาทเทียมแบบออโตเอ็นโค้ดเดอร์โดยใช้ข้อมูลปกติ (ที่ไม่มีป้ายกำกับ) เป็นหลัก จากนั้นจึงใช้ชุดข้อมูลความผิดปกติที่มีป้ายกำกับจำนวนเล็กน้อยเพื่อปรับปรุงขอบเขตการตัดสินใจ โดยตรวจจับความผิดปกติในฐานะตัวอย่างที่มีข้อผิดพลาดในการสร้างใหม่สูง วิธีนี้ช่วยเชื่อมช่องว่างระหว่างออโตเอ็นโค้ดเดอร์แบบไม่มีผู้สอนโดยสมบูรณ์กับตัวจำแนกประเภทแบบมีผู้สอนเต็มรูปแบบ เมื่อป้ายกำกับมีจำกัดแต่มีตัวอย่างความผิดปกติที่ทราบอยู่บ้าง

แนวคิดเบื้องหลังวิธีการ

ออโตเอ็นโค้ดเดอร์มาตรฐานจะเรียนรู้ที่จะบีบอัดและสร้างข้อมูลปกติขึ้นมาใหม่ได้ดี ความผิดปกติที่ไม่เคยพบมาก่อนจะถูกสร้างขึ้นใหม่ได้ไม่ดี ดังนั้นข้อผิดพลาดในการสร้างใหม่จึงเป็นตัวบ่งชี้ ออโตเอ็นโค้ดเดอร์แบบไม่มีผู้สอนโดยสมบูรณ์ไม่มีจุดอ้างอิงสำหรับสิ่งที่นับว่าเป็นความผิดปกติ — พวกมันรู้เพียงว่าอะไรคือปกติ รูปแบบกึ่งมีผู้สอนใช้ชุดข้อมูลความผิดปกติที่มีป้ายกำกับจำนวนเล็กน้อยเป็นตัวอย่างเชิงลบในระหว่างการปรับแต่งอย่างละเอียด โดยดึงขอบเขตการตัดสินใจของแบบจำลองให้เข้าใกล้ความผิดปกติในโลกแห่งความเป็นจริงมากขึ้น โดยไม่จำเป็นต้องมีการสอนอย่างเต็มรูปแบบ ผลลัพธ์ที่ได้คือตัวตรวจจับที่มีประสิทธิภาพด้านข้อมูลและมีการปรับเทียบที่ดีกว่าการใช้วิธีใดวิธีหนึ่งเพียงอย่างเดียว

ประวัติศาสตร์

การตรวจจับความผิดปกติด้วยออโตเอ็นโค้ดเดอร์แบบไม่มีผู้สอนได้รับความนิยมหลังจากการเติบโตของดีปเลิร์นนิงราวปี 2014 Zong และคณะ (ICLR 2018) ได้รวมออโตเอ็นโค้ดเดอร์เข้ากับแบบจำลองส่วนผสมแบบเกาส์เซียน (Gaussian mixture models) สำหรับการให้คะแนนความผิดปกติแบบไม่มีผู้สอน Ruff และคณะ (ICLR 2020) ได้กำหนดรูปแบบกึ่งมีผู้สอนอย่างเป็นทางการ โดยแสดงให้เห็นว่าแม้เพียงไม่กี่ตัวอย่างความผิดปกติที่มีป้ายกำกับก็ช่วยปรับปรุงการตรวจจับได้อย่างมากเมื่อเทียบกับเกณฑ์มาตรฐานแบบไม่มีผู้สอนโดยสมบูรณ์ ซึ่งเป็นการวางรากฐานกรอบการทำงานที่ใช้กันอย่างแพร่หลายในปัจจุบัน

ควรใช้เมื่อใด

แนะนำเมื่อคุณมีข้อมูลที่ไม่มีป้ายกำกับจำนวนมากซึ่งส่วนใหญ่เป็นข้อมูลปกติ ควบคู่ไปกับชุดข้อมูลความผิดปกติที่ได้รับการยืนยันจำนวนเล็กน้อยแต่เชื่อถือได้ และตัวตรวจจับความผิดปกติแบบไม่มีผู้สอนสำเร็จรูปให้ผลบวกลวงมากเกินไป มีประสิทธิภาพอย่างยิ่งสำหรับข้อมูลที่มีมิติสูงหรือข้อมูลที่ไม่เป็นเชิงเส้น เช่น สัญญาณเซ็นเซอร์, การรับส่งข้อมูลเครือข่าย, หรือรูปภาพ ซึ่งวิธีการแบบดั้งเดิม (เช่น one-class SVM) ไม่สามารถปรับขนาดได้ดี อย่าใช้เมื่อไม่มีข้อมูลความผิดปกติที่มีป้ายกำกับเลย (ควรเลือกใช้ออโตเอ็นโค้ดเดอร์แบบไม่มีผู้สอน) หรือเมื่อคุณมีป้ายกำกับเพียงพอสำหรับตัวจำแนกประเภทแบบมีผู้สอนเต็มรูปแบบ หลีกเลี่ยงการใช้กับชุดข้อมูลขนาดเล็กมาก (น้อยกว่าไม่กี่ร้อยตัวอย่าง) ซึ่งโครงข่ายประสาทเทียมเชิงลึกไม่สามารถสรุปผลได้

ข้อจำกัดและข้อควรพิจารณา

  • ต้องมีการแบ่งส่วนข้อมูลอย่างระมัดระวัง: หากชุดข้อมูลที่ไม่มีป้ายกำกับมีข้อมูลผิดปกติจำนวนมาก การฝึกเบื้องต้นจะเสียหายและประสิทธิภาพจะลดลงอย่างมาก
  • ออโตเอ็นโค้ดเดอร์เชิงลึกใช้ทรัพยากรในการคำนวณสูงในการฝึกและปรับแต่ง เมื่อเทียบกับวิธีการแบบตื้น (shallow methods)
  • ความสามารถในการตีความมีจำกัด; สัญญาณข้อผิดพลาดในการสร้างใหม่ไม่ได้อธิบายว่าคุณลักษณะใดที่ทำให้เกิดความผิดปกติ
  • มีความอ่อนไหวต่อการเลือกความลึกของสถาปัตยกรรม, มิติของปริภูมิแฝง, และน้ำหนักของฟังก์ชันการสูญเสียระหว่างวัตถุประสงค์แบบไม่มีผู้สอนและมีผู้สอน
  • การเลือกเกณฑ์ไม่ใช่เรื่องง่ายและต้องได้รับการตรวจสอบความถูกต้องบนข้อมูลที่มีป้ายกำกับที่แยกไว้ต่างหาก เพื่อหลีกเลี่ยงการตัดค่าโดยพลการ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้ประโยชน์จากข้อมูลปกติที่ไม่มีป้ายกำกับปริมาณมากควบคู่ไปกับข้อมูลความผิดปกติที่มีป้ายกำกับจำนวนน้อยได้อย่างมีประสิทธิภาพ โดยเพิ่มประสิทธิภาพการใช้ข้อมูลให้สูงสุด
  • จัดการกับปริภูมิคุณลักษณะที่มีมิติสูงและไม่เป็นเชิงเส้นได้ดีกว่าวิธีการแบบเคอร์เนล (kernel-based methods) เช่น one-class SVM
  • คะแนนความผิดปกติ (ข้อผิดพลาดในการสร้างใหม่) เป็นค่าต่อเนื่อง ทำให้สามารถปรับเกณฑ์ได้อย่างละเอียดเพื่อให้ตรงตามข้อกำหนดในการปฏิบัติงาน
  • การฝึกเบื้องต้นบนข้อมูลปกติให้ค่าก่อน (prior) ที่แข็งแกร่ง ช่วยลดจำนวนความผิดปกติที่มีป้ายกำกับที่ต้องการ เมื่อเทียบกับแนวทางแบบมีผู้สอนเต็มรูปแบบ
  • สถาปัตยกรรมมีความยืดหยุ่นและสามารถรวมชั้นคอนโวลูชัน (convolutional), รีเคอร์เรนต์ (recurrent), หรือทรานส์ฟอร์มเมอร์ (transformer) สำหรับรูปภาพ, อนุกรมเวลา, หรือข้อความ

การประยุกต์ใช้

  • การตรวจจับความผิดปกติและข้อบกพร่องในภาคอุตสาหกรรมบนสตรีมเซ็นเซอร์หรือข้อมูลโทรมาตร ซึ่งเหตุการณ์ที่ผิดปกติเกิดขึ้นไม่บ่อยนักแต่ได้รับการบันทึกไว้
  • การตรวจจับความผิดปกติของการบุกรุกเครือข่ายและความปลอดภัยทางไซเบอร์ โดยใช้ลายเซ็นการโจมตีที่ทราบเป็นจุดเริ่มต้นที่มีป้ายกำกับ
  • การคัดกรองภาพทางการแพทย์หรือข้อมูลทางคลินิก ซึ่งกรณีพยาธิสภาพที่ได้รับการยืนยันมีจำนวนน้อย
  • การตรวจจับการฉ้อโกงทางการเงิน โดยรวมธุรกรรมปกติจำนวนมากเข้ากับธุรกรรมที่ฉ้อโกงที่ได้รับการยืนยันจำนวนเล็กน้อย
  • ไปป์ไลน์การบำรุงรักษาเชิงคาดการณ์ ซึ่งบันทึกความล้มเหลวในอดีตทำหน้าที่เป็นตัวอย่างความผิดปกติที่มีป้ายกำกับ

วิธีการทำงาน

วิธีการทำงาน

1

ชุดข้อมูลการฝึกจะถูกแบ่งออกเป็นชุดข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับ (สันนิษฐานว่าส่วนใหญ่เป็นข้อมูลปกติ) และชุดข้อมูลความผิดปกติที่มีป้ายกำกับที่คัดสรรมาอย่างดี การแบ่งส่วนนี้สะท้อนถึงความขาดแคลนป้ายกำกับความผิดปกติที่ได้รับการยืนยันในโลกแห่งความเป็นจริง ในขณะเดียวกันก็ยังคงใช้ประโยชน์จากสัญญาณความจริงพื้นฐานที่มีอยู่

2

เครือข่ายเข้ารหัส-ถอดรหัส (encoder-decoder network) จะได้รับการฝึกเบื้องต้นบนชุดข้อมูลที่ไม่มีป้ายกำกับ เพื่อลดข้อผิดพลาดในการสร้างใหม่ให้เหลือน้อยที่สุด โดยเรียนรู้การแสดงข้อมูลในปริภูมิแฝง (latent representation) ที่กระชับของรูปแบบปกติ ขั้นตอนนี้จะสร้างแนวคิดพื้นฐานเกี่ยวกับลักษณะของข้อมูลปกติโดยไม่ต้องใช้ป้ายกำกับใดๆ

3

ในขั้นตอนที่สอง จะมีการนำความผิดปกติที่มีป้ายกำกับมาใช้ — อาจโดยการเพิ่มส่วนหัวของการจำแนกประเภท (classification head) โดยใช้ฟังก์ชันการสูญเสียแบบเปรียบเทียบ (contrastive loss) หรือแบบทรงกลม (hypersphere loss) (เช่น ในส่วนขยายของ Deep SVDD) หรือโดยการลงโทษข้อผิดพลาดในการสร้างใหม่ที่ต่ำสำหรับความผิดปกติที่ทราบ สิ่งนี้จะดึงขอบเขตการตัดสินใจให้ห่างจากจุดที่ผิดปกติที่ได้รับการยืนยัน

4

ในเวลาที่ทำการอนุมาน (inference) ตัวอย่างแต่ละตัวจะถูกส่งผ่านออโตเอ็นโค้ดเดอร์ที่ได้รับการฝึกฝนแล้ว คะแนนความผิดปกติโดยทั่วไปคือข้อผิดพลาดในการสร้างใหม่ (ค่าเฉลี่ยของความคลาดเคลื่อนกำลังสองระหว่างอินพุตและเอาต์พุต) หรืออาจใช้ระยะห่างในปริภูมิแฝงจากจุดศูนย์กลางของคลาสปกติ

สูตร
s(x) = \|x - \hat{x}\|^2
5

จะมีการเลือกเกณฑ์ (threshold) บนคะแนนความผิดปกติ — โดยใช้ชุดข้อมูลความผิดปกติที่มีป้ายกำกับ, เส้นโค้งความแม่นยำ-การเรียกคืน (precision-recall curve), หรืออัตราการเกิดผลบวกลวงที่ต้องการ — เพื่อสร้างป้ายกำกับปกติ/ความผิดปกติแบบสองค่า การเลือกเกณฑ์จะควบคุมการแลกเปลี่ยนระหว่างความแม่นยำและการเรียกคืนโดยตรง

ข้อผิดพลาดที่พบบ่อย

  • การปนเปื้อนชุดข้อมูลการฝึกเบื้องต้นที่ไม่มีป้ายกำกับด้วยความผิดปกติที่ตรวจไม่พบ ซึ่งบ่อนทำลายการแสดงข้อมูลปกติ
  • การปฏิบัติต่อข้อผิดพลาดในการสร้างใหม่เป็นความน่าจะเป็นที่ปรับเทียบแล้วโดยไม่มีการปรับเทียบเกณฑ์ที่เหมาะสมกับตัวอย่างที่มีป้ายกำกับ
  • การใช้การแบ่งชุดข้อมูลฝึก/ทดสอบเพียงครั้งเดียวโดยไม่มีการตรวจสอบไขว้ (cross-validation) ซึ่งให้การประเมินประสิทธิภาพที่มองโลกในแง่ดีเกินไปสำหรับคลาสความผิดปกติที่หายาก
  • การเลือกมิติของปริภูมิแฝงโดยไม่มีการทดลอง ไม่ว่าจะเล็กเกินไป (สูญเสียข้อมูล) หรือใหญ่เกินไป (ออโตเอ็นโค้ดเดอร์สร้างข้อมูลผิดปกติได้ดีพอๆ กับข้อมูลปกติ)
  • การละเลยความไม่สมดุลของคลาสเมื่อคำนวณเมตริกการประเมิน — ความแม่นยำไม่มีความหมายเมื่อมีความไม่สมดุลอย่างมาก; ควรใช้ AUROC และค่าเฉลี่ยความแม่นยำแทน

คำถามที่พบบ่อย

ต้องใช้ความผิดปกติที่มีป้ายกำกับจำนวนเท่าใด?

วิธีการนี้สามารถทำงานได้โดยมีตัวอย่างความผิดปกติที่ได้รับการยืนยันเพียงไม่กี่สิบตัวอย่าง แต่ประสิทธิภาพจะดีขึ้นอย่างมากเมื่อมีจำนวนถึงหลายร้อยตัวอย่าง สิ่งสำคัญคือความผิดปกติที่มีป้ายกำกับควรครอบคลุมประเภทหลักของพฤติกรรมที่ผิดปกติที่มีอยู่ในโดเมนนั้นๆ

จะเกิดอะไรขึ้นหากชุดข้อมูลที่ไม่มีป้ายกำกับของฉันมีข้อมูลผิดปกติที่ซ่อนอยู่?

การปนเปื้อนของข้อมูลที่ไม่มีป้ายกำกับเป็นโหมดความล้มเหลวที่ใหญ่ที่สุด ให้ใช้ตัวกรองแบบไม่มีผู้สอนเบื้องต้น (เช่น isolation forest) เพื่อลบค่าผิดปกติที่ชัดเจนออกจากชุดข้อมูลการฝึกเบื้องต้นก่อนทำการปรับแต่งอย่างละเอียด

ฉันจะเลือกเกณฑ์ข้อผิดพลาดในการสร้างใหม่ได้อย่างไร?

ใช้ชุดข้อมูลความผิดปกติที่มีป้ายกำกับของคุณและเส้นโค้งความแม่นยำ-การเรียกคืน (precision-recall curve) เพื่อเลือกเกณฑ์ที่ตรงกับความทนทานในการปฏิบัติงานของคุณต่อผลบวกลวงและผลลบลวง อย่าเลือกเกณฑ์จากข้อมูลชุดเดียวกับที่ใช้ฝึกแบบจำลอง

ดีกว่า one-class SVM หรือ isolation forest หรือไม่?

สำหรับข้อมูลที่มีมิติสูงหรือข้อมูลที่ไม่เป็นเชิงเส้น โดยมีข้อมูลความผิดปกติที่มีป้ายกำกับอย่างน้อยบางส่วน ออโตเอ็นโค้ดเดอร์แบบกึ่งมีผู้สอนมักจะมีประสิทธิภาพเหนือกว่า one-class SVM และ isolation forest สำหรับข้อมูลตารางที่มีมิติไม่สูงและมีตัวอย่างน้อยมาก วิธีการที่ง่ายกว่าอาจให้ประสิทธิภาพเทียบเท่าหรือดีกว่าด้วยต้นทุนที่ต่ำกว่า

ควรรายงานเมตริกการประเมินใดบ้าง?

รายงาน AUROC และค่าเฉลี่ยความแม่นยำ (พื้นที่ใต้เส้นโค้ง precision-recall) บนชุดข้อมูลทดสอบที่แยกไว้ต่างหากซึ่งรักษาความชุกของความผิดปกติที่แท้จริง ความแม่นยำและ F1 ที่เกณฑ์คงที่ควรเป็นเมตริกทุติยภูมิ โดยให้เหตุผลประกอบการเลือกเกณฑ์

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว