Skip to content
กลับไปยังผลการค้นหา

การตรวจจับความผิดปกติด้วยออโตเอ็นโค้ดเดอร์

ผู้เสนอ
Hinton, G. E. & Salakhutdinov, R. R. (autoencoders); applied to anomaly detection through multiple authors in the 2010s
ปี
2006–2014
ประเภท
Unsupervised deep learning (reconstruction-based)
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การตรวจจับความผิดปกติด้วยออโตเอ็นโค้ดเดอร์ (Autoencoder anomaly detection) เป็นการฝึกโครงข่ายประสาทเทียมเพื่อบีบอัดและสร้างข้อมูลปกติขึ้นมาใหม่ เนื่องจากแบบจำลองได้เรียนรู้เฉพาะลักษณะของข้อมูลปกติเท่านั้น ข้อมูลนำเข้าที่ผิดปกติจะทำให้เกิดข้อผิดพลาดในการสร้างใหม่ที่สูงขึ้นอย่างเห็นได้ชัด และข้อผิดพลาดเหล่านั้นจะกลายเป็นคะแนนความผิดปกติ วิธีนี้ไม่จำเป็นต้องใช้ข้อมูลความผิดปกติที่มีป้ายกำกับ และสามารถปรับขนาดได้อย่างเป็นธรรมชาติกับข้อมูลที่มีมิติสูง เช่น สตรีมเซ็นเซอร์ รูปภาพ และบันทึกข้อมูล

แนวคิดเบื้องหลังวิธีการ

ออโตเอ็นโค้ดเดอร์ถูกบังคับให้บรรยายข้อมูลด้วยตัวเลขที่น้อยลงกว่าที่เริ่มต้น จากนั้นจึงสร้างข้อมูลต้นฉบับขึ้นมาใหม่ เมื่อฝึกฝนเฉพาะตัวอย่างข้อมูลปกติ มันจะเก่งในการสร้างรูปแบบปกติขึ้นมาใหม่และทำได้ไม่ดีในการสร้างสิ่งที่ผิดปกติขึ้นมาใหม่ ดังนั้น ข้อผิดพลาดในการสร้างใหม่จึงทำหน้าที่เป็นสัญญาณเตือนโดยธรรมชาติ: ข้อผิดพลาดต่ำหมายความว่าข้อมูลนำเข้าดูคุ้นเคย ข้อผิดพลาดสูงบ่งชี้ถึงสิ่งที่แบบจำลองไม่เคยเห็นมาก่อนและไม่สามารถสร้างขึ้นใหม่ได้อย่างถูกต้อง การตั้งค่าเกณฑ์สำหรับข้อผิดพลาดนี้จะแปลงคะแนนต่อเนื่องให้เป็นตัวบ่งชี้ความผิดปกติแบบทวิภาค

ประวัติศาสตร์

ออโตเอ็นโค้ดเดอร์ในฐานะเครื่องมือลดมิติได้รับความนิยมจากบทความของ Hinton และ Salakhutdinov ในปี 2006 ใน Science เกี่ยวกับ deep belief networks การนำไปใช้กับการตรวจจับความผิดปกติเติบโตขึ้นในช่วงปี 2010 เมื่อ deep learning มีความก้าวหน้า Vincent et al. (2010) ได้แนะนำ denoising autoencoders และในช่วงกลางทศวรรษ 2010 ออโตเอ็นโค้ดเดอร์เป็นเกณฑ์มาตรฐานสำหรับการตรวจจับความผิดปกติแบบไม่มีผู้สอนในโดเมนอุตสาหกรรมและความปลอดภัยทางไซเบอร์ การสำรวจของ Chalapathy และ Chawla ในปี 2019 ได้รวบรวมแนวปฏิบัติที่ดีที่สุดของสาขานี้

ควรใช้เมื่อใด

ใช้การตรวจจับความผิดปกติด้วยออโตเอ็นโค้ดเดอร์เมื่อตัวอย่างความผิดปกติที่มีป้ายกำกับมีน้อยหรือไม่มีเลย เมื่อคลาสปกติมีตัวแทนที่ดี และเมื่อมิติข้อมูลสูงเกินไปสำหรับวิธีการแบบดั้งเดิม เช่น one-class SVM วิธีนี้จะโดดเด่นในข้อมูลอนุกรมเวลาเซ็นเซอร์ บันทึกการรับส่งข้อมูลเครือข่าย ภาพทางการแพทย์ และการควบคุมคุณภาพการผลิต หลีกเลี่ยงเมื่อการกระจายข้อมูลปกติมีความหลากหลายหรือหลายรูปแบบมาก (ออโตเอ็นโค้ดเดอร์อาจไม่สามารถหาการแสดงข้อมูลที่กะทัดรัดได้) เมื่อคุณมีชุดข้อมูลขนาดเล็กมาก (โครงข่ายเชิงลึกต้องการข้อมูลเพียงพอในการสรุปผล) หรือเมื่อเกณฑ์ตามกฎที่เรียบง่ายและตีความได้เพียงพอ หลีกเลี่ยงการนำไปใช้เมื่อมีข้อมูลความผิดปกติที่มีป้ายกำกับอยู่จริง - ตัวจำแนกประเภทแบบมีผู้สอนหรือแบบกึ่งมีผู้สอนเกือบจะเหนือกว่าเสมอในสถานการณ์นั้น

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการตัวอย่างข้อมูลปกติที่มีขนาดใหญ่และเป็นตัวแทนเพียงพอ โครงสร้างย่อยปกติที่หายากอาจถูกสร้างขึ้นใหม่ได้ไม่ดีแม้ว่าจะไม่ใช่ความผิดปกติก็ตาม
  • การเลือกเกณฑ์เป็นวิธีการเชิงประจักษ์และมีความละเอียดอ่อน: การเลือก tau ที่ไม่ดีจะนำไปสู่ผลบวกลวงมากเกินไปหรือความผิดปกติที่พลาดไป
  • การตีความต่ำ - ข้อผิดพลาดในการสร้างใหม่เผยให้เห็นว่ามีความผิดปกติอยู่ แต่ไม่ได้บอกว่าคุณสมบัติใดเป็นตัวขับเคลื่อนโดยไม่วิเคราะห์เพิ่มเติม (เช่น การแยกข้อผิดพลาดตามคุณสมบัติ)
  • การฝึกโครงข่ายเชิงลึกต้องมีการปรับแต่งสถาปัตยกรรม อัตราการเรียนรู้ และการทำให้เป็นปกติ - วิธีการนี้ไม่พร้อมใช้งานเหมือน isolation forest หรือ one-class SVM
  • หากความผิดปกติปนเปื้อนชุดข้อมูลฝึกอบรม แบบจำลองจะเรียนรู้ที่จะสร้างใหม่บางส่วน ทำให้ความไวในการตรวจจับลดลง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ไม่จำเป็นต้องใช้ตัวอย่างความผิดปกติที่มีป้ายกำกับ - ต้องการเพียงข้อมูลปกติสำหรับการฝึกอบรม
  • ปรับขนาดได้อย่างเป็นธรรมชาติกับข้อมูลนำเข้าที่มีมิติสูง เช่น รูปภาพ อนุกรมเวลา และสตรีมหลายเซ็นเซอร์
  • สร้างคะแนนความผิดปกติแบบต่อเนื่อง ทำให้สามารถแจ้งเตือนตามอันดับ แทนที่จะเป็นการแจ้งเตือนแบบทวิภาค
  • สามารถจับรูปแบบปกติที่ซับซ้อนและไม่เป็นเชิงเส้นที่วิธีการเชิงเส้น เช่น PCA ไม่สามารถแสดงได้
  • สถาปัตยกรรมมีความยืดหยุ่น: เลเยอร์คอนโวลูชันสำหรับรูปภาพ, เลเยอร์ LSTM สำหรับลำดับ, เลเยอร์ฟีดฟอร์เวิร์ดสำหรับข้อมูลตาราง

การประยุกต์ใช้

  • การบำรุงรักษาเชิงคาดการณ์ในอุตสาหกรรม: ตรวจจับความผิดปกติของเครื่องจักรจากสตรีมเซ็นเซอร์การสั่นสะเทือนและอุณหภูมิ
  • ความปลอดภัยทางไซเบอร์: ระบุการรับส่งข้อมูลเครือข่ายที่ผิดปกติหรือความพยายามในการบุกรุกจากบันทึกระดับแพ็กเก็ต
  • การถ่ายภาพทางการแพทย์: ตั้งค่าสถานะบริเวณที่เกิดพยาธิสภาพในภาพ MRI หรือ CT เมื่อข้อมูลรอยโรคที่ติดป้ายกำกับมีน้อย
  • การตรวจจับการฉ้อโกงทางการเงิน: ตรวจจับรูปแบบธุรกรรมที่ผิดปกติในข้อมูลบัตรเครดิตหรือข้อมูลธนาคาร
  • การควบคุมคุณภาพการผลิต: ตรวจจับผลิตภัณฑ์ที่บกพร่องจากภาพกล้องบนสายการผลิต
  • การดำเนินงานด้านไอที: ตรวจจับเมตริกเซิร์ฟเวอร์หรือแอปพลิเคชันที่ผิดปกติในไปป์ไลน์ AIOps

วิธีการทำงาน

วิธีการทำงาน

1

โครงข่ายออโตเอ็นโค้ดเดอร์ได้รับการฝึกฝนเฉพาะกับข้อมูลที่แสดงถึงสภาวะการทำงานปกติ วัตถุประสงค์คือเพื่อลดการสูญเสียในการสร้างใหม่ (โดยทั่วไปคือค่าเฉลี่ยของความคลาดเคลื่อนกำลังสอง) บนชุดข้อมูลฝึกอบรมที่ประกอบด้วยข้อมูลปกติเท่านั้น เพื่อให้โครงข่ายเรียนรู้การแสดงข้อมูลภายในที่กะทัดรัดของลักษณะข้อมูลปกติ ไม่จำเป็นต้องมีป้ายกำกับความผิดปกติ

2

ในการอนุมาน ข้อมูลนำเข้าแต่ละรายการ x จะถูกส่งผ่านเอ็นโค้ดเดอร์ที่บีบอัดให้เป็นเวกเตอร์แฝงที่มีมิติต่ำ จากนั้นผ่านดีโค้ดเดอร์ที่สร้างข้อมูลนำเข้ากลับไปยังปริภูมิเดิม คู่เอ็นโค้ดเดอร์-ดีโค้ดเดอร์จะถูกกำหนดพารามิเตอร์ด้วยน้ำหนักที่เรียนรู้และจับลักษณะทางเรขาคณิตของแมนิโฟลด์ข้อมูลปกติ

สูตร
\hat{x} = f_{\theta}(g_{\phi}(x))
3

คำนวณข้อผิดพลาดในการสร้างใหม่ e(x) ซึ่งเป็นผลต่างกำลังสอง (หรือค่าสัมบูรณ์) ระหว่างข้อมูลนำเข้าและการสร้างใหม่สำหรับแต่ละการสังเกต เนื่องจากออโตเอ็นโค้ดเดอร์ได้เรียนรู้เฉพาะแมนิโฟลด์ปกติ ข้อมูลนำเข้าที่ผิดปกติจะอยู่ห่างจากแมนิโฟลด์นั้น ทำให้เกิดข้อผิดพลาดสูง

สูตร
e(x) = \|x - \hat{x}\|^2
4

เลือกเกณฑ์ตัดสินใจ tau ซึ่งโดยทั่วไปมาจากค่าการกระจายของข้อผิดพลาดในการสร้างใหม่บนชุดข้อมูลตรวจสอบปกติที่แยกไว้ (เช่น เปอร์เซ็นไทล์ที่ 95 หรือ 99) เกณฑ์นี้จะแปลงคะแนนข้อผิดพลาดต่อเนื่องให้เป็นขอบเขตการตัดสินใจแบบทวิภาค การเลือก tau เป็นการแลกเปลี่ยนระหว่างผลบวกลวงกับความผิดปกติที่พลาดไป

5

การสังเกตการณ์ใดๆ ที่มีข้อผิดพลาดในการสร้างใหม่เกินกว่า tau จะถูกตั้งค่าสถานะว่าเป็นความผิดปกติ ขนาดของส่วนที่เกินยังสามารถใช้เป็นคะแนนความเชื่อมั่นได้ ทำให้สามารถจัดลำดับความสำคัญของการแจ้งเตือนตามอันดับ แทนที่จะเป็นการตัดสินใจแบบทวิภาคอย่างเคร่งครัด

สูตร
\text{anomaly if } e(x) > \tau

ข้อผิดพลาดที่พบบ่อย

  • การฝึกอบรมบนชุดข้อมูลที่รวมความผิดปกติโดยไม่ทำความสะอาดก่อน ดังนั้นแบบจำลองจึงเรียนรู้ที่จะสร้างรูปแบบที่ควรจะถูกตั้งค่าสถานะ
  • การตั้งค่าเกณฑ์บนชุดข้อมูลฝึกอบรมเอง แทนที่จะเป็นชุดข้อมูลตรวจสอบที่แยกไว้ ทำให้ได้เกณฑ์ที่มองโลกในแง่ดีซึ่งล้มเหลวในการใช้งาน
  • การเปรียบเทียบข้อผิดพลาดในการสร้างใหม่ระหว่างมาตราส่วนคุณสมบัติต่างๆ โดยไม่ปรับข้อมูลนำเข้าให้เป็นมาตรฐาน ทำให้ข้อผิดพลาดถูกครอบงำโดยคุณสมบัติที่มีความแปรปรวนสูง
  • การใช้คอขวดที่ใหญ่เกินไป ทำให้ autoencoder เรียนรู้การแมปเกือบเหมือนเดิมที่สร้างทุกอย่าง รวมถึงความผิดปกติได้อย่างถูกต้อง
  • การรายงานเฉพาะเมตริกการจำแนกประเภทแบบทวิภาค (ความแม่นยำ) แทนที่จะเป็น precision-recall และ AUROC ซึ่งให้ข้อมูลมากกว่าสำหรับงานตรวจจับความผิดปกติที่ไม่สมดุล

คำถามที่พบบ่อย

ฉันจะเลือกขนาดคอขวดได้อย่างไร?

คอขวดต้องมีขนาดเล็กพอที่จะบังคับให้บีบอัดรูปแบบปกติ แต่ใหญ่พอที่จะไม่สูญเสียโครงสร้างที่จำเป็น แนวทางปฏิบัติทั่วไปคือการเริ่มต้นที่ประมาณ 10–30% ของมิติข้อมูลนำเข้าและปรับแต่งโดยการตรวจสอบคุณภาพการสร้างใหม่บนข้อมูลปกติที่แยกไว้

จะเกิดอะไรขึ้นหากข้อมูลปกติของฉันมีหลายโหมด (เช่น สถานะการทำงานของเครื่องจักรที่แตกต่างกัน)?

ออโตเอ็นโค้ดเดอร์เดียวอาจไม่สามารถเรียนรู้ทุกโหมดได้ดีเท่ากัน ทำให้เกิดการแจ้งเตือนผิดพลาดในสถานะปกติที่แสดงน้อยเกินไป ตัวเลือก ได้แก่ การฝึกออโตเอ็นโค้ดเดอร์แยกกันสำหรับแต่ละโหมด การใช้วิธีการผสมผสานออโตเอ็นโค้ดเดอร์ หรือการกำหนดเงื่อนไขตามป้ายกำกับโหมดที่ทราบหากมี

ฉันควรกำหนดเกณฑ์ความผิดปกติอย่างไร?

คำนวณข้อผิดพลาดในการสร้างใหม่บนชุดข้อมูลตรวจสอบปกติที่สะอาดและแยกไว้ และตั้งค่า tau ที่เปอร์เซ็นไทล์สูง (95 หรือ 99 ขึ้นอยู่กับอัตราผลบวกลวงที่ยอมรับได้) หากมีข้อมูลความผิดปกติที่มีป้ายกำกับอยู่บ้าง ให้ปรับแต่ง tau เพื่อเพิ่ม F1 หรือการแลกเปลี่ยน precision-recall ที่ต้องการ

สิ่งนี้เปรียบเทียบกับ isolation forest หรือ one-class SVM อย่างไร?

Isolation forest และ one-class SVM โดยทั่วไปจะปรับแต่งได้ง่ายกว่าและตีความได้มากกว่าบนข้อมูลตารางที่มีมิติปานกลางถึงต่ำ ออโตเอ็นโค้ดเดอร์จะมีประโยชน์เมื่อมิติสูงมาก เมื่อโครงสร้างตามเวลาหรือตามพื้นที่มีความสำคัญ หรือเมื่อพิกเซลดิบหรือรูปคลื่นเป็นข้อมูลนำเข้า

ฉันสามารถใช้ variational autoencoder (VAE) แทนได้หรือไม่?

ใช่ VAE เรียนรู้ปริภูมิแฝงเชิงความน่าจะเป็นและอนุญาตให้คะแนนความผิดปกติผ่านความน่าจะเป็นในการสร้างใหม่ แทนที่จะเป็น MSE ดิบ ซึ่งมักจะปรับปรุงการสอบเทียบ เป็นส่วนขยายตามธรรมชาติเมื่อการกระจายข้อมูลปกติมีความซับซ้อน หรือเมื่อคุณต้องการการประมาณค่าความไม่แน่นอนที่สอบเทียบอย่างดี

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Chalapathy, R. & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Hinton, G. E. & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว