การตรวจจับความผิดปกติด้วยออโตเอ็นโค้ดเดอร์
- ผู้เสนอ
- Hinton, G. E. & Salakhutdinov, R. R. (autoencoders); applied to anomaly detection through multiple authors in the 2010s
- ปี
- 2006–2014
- ประเภท
- Unsupervised deep learning (reconstruction-based)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การตรวจจับความผิดปกติด้วยออโตเอ็นโค้ดเดอร์ (Autoencoder anomaly detection) เป็นการฝึกโครงข่ายประสาทเทียมเพื่อบีบอัดและสร้างข้อมูลปกติขึ้นมาใหม่ เนื่องจากแบบจำลองได้เรียนรู้เฉพาะลักษณะของข้อมูลปกติเท่านั้น ข้อมูลนำเข้าที่ผิดปกติจะทำให้เกิดข้อผิดพลาดในการสร้างใหม่ที่สูงขึ้นอย่างเห็นได้ชัด และข้อผิดพลาดเหล่านั้นจะกลายเป็นคะแนนความผิดปกติ วิธีนี้ไม่จำเป็นต้องใช้ข้อมูลความผิดปกติที่มีป้ายกำกับ และสามารถปรับขนาดได้อย่างเป็นธรรมชาติกับข้อมูลที่มีมิติสูง เช่น สตรีมเซ็นเซอร์ รูปภาพ และบันทึกข้อมูล
แนวคิดเบื้องหลังวิธีการ
ออโตเอ็นโค้ดเดอร์ถูกบังคับให้บรรยายข้อมูลด้วยตัวเลขที่น้อยลงกว่าที่เริ่มต้น จากนั้นจึงสร้างข้อมูลต้นฉบับขึ้นมาใหม่ เมื่อฝึกฝนเฉพาะตัวอย่างข้อมูลปกติ มันจะเก่งในการสร้างรูปแบบปกติขึ้นมาใหม่และทำได้ไม่ดีในการสร้างสิ่งที่ผิดปกติขึ้นมาใหม่ ดังนั้น ข้อผิดพลาดในการสร้างใหม่จึงทำหน้าที่เป็นสัญญาณเตือนโดยธรรมชาติ: ข้อผิดพลาดต่ำหมายความว่าข้อมูลนำเข้าดูคุ้นเคย ข้อผิดพลาดสูงบ่งชี้ถึงสิ่งที่แบบจำลองไม่เคยเห็นมาก่อนและไม่สามารถสร้างขึ้นใหม่ได้อย่างถูกต้อง การตั้งค่าเกณฑ์สำหรับข้อผิดพลาดนี้จะแปลงคะแนนต่อเนื่องให้เป็นตัวบ่งชี้ความผิดปกติแบบทวิภาค
ประวัติศาสตร์
ออโตเอ็นโค้ดเดอร์ในฐานะเครื่องมือลดมิติได้รับความนิยมจากบทความของ Hinton และ Salakhutdinov ในปี 2006 ใน Science เกี่ยวกับ deep belief networks การนำไปใช้กับการตรวจจับความผิดปกติเติบโตขึ้นในช่วงปี 2010 เมื่อ deep learning มีความก้าวหน้า Vincent et al. (2010) ได้แนะนำ denoising autoencoders และในช่วงกลางทศวรรษ 2010 ออโตเอ็นโค้ดเดอร์เป็นเกณฑ์มาตรฐานสำหรับการตรวจจับความผิดปกติแบบไม่มีผู้สอนในโดเมนอุตสาหกรรมและความปลอดภัยทางไซเบอร์ การสำรวจของ Chalapathy และ Chawla ในปี 2019 ได้รวบรวมแนวปฏิบัติที่ดีที่สุดของสาขานี้
ควรใช้เมื่อใด
ใช้การตรวจจับความผิดปกติด้วยออโตเอ็นโค้ดเดอร์เมื่อตัวอย่างความผิดปกติที่มีป้ายกำกับมีน้อยหรือไม่มีเลย เมื่อคลาสปกติมีตัวแทนที่ดี และเมื่อมิติข้อมูลสูงเกินไปสำหรับวิธีการแบบดั้งเดิม เช่น one-class SVM วิธีนี้จะโดดเด่นในข้อมูลอนุกรมเวลาเซ็นเซอร์ บันทึกการรับส่งข้อมูลเครือข่าย ภาพทางการแพทย์ และการควบคุมคุณภาพการผลิต หลีกเลี่ยงเมื่อการกระจายข้อมูลปกติมีความหลากหลายหรือหลายรูปแบบมาก (ออโตเอ็นโค้ดเดอร์อาจไม่สามารถหาการแสดงข้อมูลที่กะทัดรัดได้) เมื่อคุณมีชุดข้อมูลขนาดเล็กมาก (โครงข่ายเชิงลึกต้องการข้อมูลเพียงพอในการสรุปผล) หรือเมื่อเกณฑ์ตามกฎที่เรียบง่ายและตีความได้เพียงพอ หลีกเลี่ยงการนำไปใช้เมื่อมีข้อมูลความผิดปกติที่มีป้ายกำกับอยู่จริง - ตัวจำแนกประเภทแบบมีผู้สอนหรือแบบกึ่งมีผู้สอนเกือบจะเหนือกว่าเสมอในสถานการณ์นั้น
ข้อจำกัดและข้อควรพิจารณา
- ต้องการตัวอย่างข้อมูลปกติที่มีขนาดใหญ่และเป็นตัวแทนเพียงพอ โครงสร้างย่อยปกติที่หายากอาจถูกสร้างขึ้นใหม่ได้ไม่ดีแม้ว่าจะไม่ใช่ความผิดปกติก็ตาม
- การเลือกเกณฑ์เป็นวิธีการเชิงประจักษ์และมีความละเอียดอ่อน: การเลือก tau ที่ไม่ดีจะนำไปสู่ผลบวกลวงมากเกินไปหรือความผิดปกติที่พลาดไป
- การตีความต่ำ - ข้อผิดพลาดในการสร้างใหม่เผยให้เห็นว่ามีความผิดปกติอยู่ แต่ไม่ได้บอกว่าคุณสมบัติใดเป็นตัวขับเคลื่อนโดยไม่วิเคราะห์เพิ่มเติม (เช่น การแยกข้อผิดพลาดตามคุณสมบัติ)
- การฝึกโครงข่ายเชิงลึกต้องมีการปรับแต่งสถาปัตยกรรม อัตราการเรียนรู้ และการทำให้เป็นปกติ - วิธีการนี้ไม่พร้อมใช้งานเหมือน isolation forest หรือ one-class SVM
- หากความผิดปกติปนเปื้อนชุดข้อมูลฝึกอบรม แบบจำลองจะเรียนรู้ที่จะสร้างใหม่บางส่วน ทำให้ความไวในการตรวจจับลดลง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ไม่จำเป็นต้องใช้ตัวอย่างความผิดปกติที่มีป้ายกำกับ - ต้องการเพียงข้อมูลปกติสำหรับการฝึกอบรม
- ปรับขนาดได้อย่างเป็นธรรมชาติกับข้อมูลนำเข้าที่มีมิติสูง เช่น รูปภาพ อนุกรมเวลา และสตรีมหลายเซ็นเซอร์
- สร้างคะแนนความผิดปกติแบบต่อเนื่อง ทำให้สามารถแจ้งเตือนตามอันดับ แทนที่จะเป็นการแจ้งเตือนแบบทวิภาค
- สามารถจับรูปแบบปกติที่ซับซ้อนและไม่เป็นเชิงเส้นที่วิธีการเชิงเส้น เช่น PCA ไม่สามารถแสดงได้
- สถาปัตยกรรมมีความยืดหยุ่น: เลเยอร์คอนโวลูชันสำหรับรูปภาพ, เลเยอร์ LSTM สำหรับลำดับ, เลเยอร์ฟีดฟอร์เวิร์ดสำหรับข้อมูลตาราง
การประยุกต์ใช้
- การบำรุงรักษาเชิงคาดการณ์ในอุตสาหกรรม: ตรวจจับความผิดปกติของเครื่องจักรจากสตรีมเซ็นเซอร์การสั่นสะเทือนและอุณหภูมิ
- ความปลอดภัยทางไซเบอร์: ระบุการรับส่งข้อมูลเครือข่ายที่ผิดปกติหรือความพยายามในการบุกรุกจากบันทึกระดับแพ็กเก็ต
- การถ่ายภาพทางการแพทย์: ตั้งค่าสถานะบริเวณที่เกิดพยาธิสภาพในภาพ MRI หรือ CT เมื่อข้อมูลรอยโรคที่ติดป้ายกำกับมีน้อย
- การตรวจจับการฉ้อโกงทางการเงิน: ตรวจจับรูปแบบธุรกรรมที่ผิดปกติในข้อมูลบัตรเครดิตหรือข้อมูลธนาคาร
- การควบคุมคุณภาพการผลิต: ตรวจจับผลิตภัณฑ์ที่บกพร่องจากภาพกล้องบนสายการผลิต
- การดำเนินงานด้านไอที: ตรวจจับเมตริกเซิร์ฟเวอร์หรือแอปพลิเคชันที่ผิดปกติในไปป์ไลน์ AIOps
วิธีการทำงาน
วิธีการทำงาน
โครงข่ายออโตเอ็นโค้ดเดอร์ได้รับการฝึกฝนเฉพาะกับข้อมูลที่แสดงถึงสภาวะการทำงานปกติ วัตถุประสงค์คือเพื่อลดการสูญเสียในการสร้างใหม่ (โดยทั่วไปคือค่าเฉลี่ยของความคลาดเคลื่อนกำลังสอง) บนชุดข้อมูลฝึกอบรมที่ประกอบด้วยข้อมูลปกติเท่านั้น เพื่อให้โครงข่ายเรียนรู้การแสดงข้อมูลภายในที่กะทัดรัดของลักษณะข้อมูลปกติ ไม่จำเป็นต้องมีป้ายกำกับความผิดปกติ
ในการอนุมาน ข้อมูลนำเข้าแต่ละรายการ x จะถูกส่งผ่านเอ็นโค้ดเดอร์ที่บีบอัดให้เป็นเวกเตอร์แฝงที่มีมิติต่ำ จากนั้นผ่านดีโค้ดเดอร์ที่สร้างข้อมูลนำเข้ากลับไปยังปริภูมิเดิม คู่เอ็นโค้ดเดอร์-ดีโค้ดเดอร์จะถูกกำหนดพารามิเตอร์ด้วยน้ำหนักที่เรียนรู้และจับลักษณะทางเรขาคณิตของแมนิโฟลด์ข้อมูลปกติ
สูตร
\hat{x} = f_{\theta}(g_{\phi}(x))คำนวณข้อผิดพลาดในการสร้างใหม่ e(x) ซึ่งเป็นผลต่างกำลังสอง (หรือค่าสัมบูรณ์) ระหว่างข้อมูลนำเข้าและการสร้างใหม่สำหรับแต่ละการสังเกต เนื่องจากออโตเอ็นโค้ดเดอร์ได้เรียนรู้เฉพาะแมนิโฟลด์ปกติ ข้อมูลนำเข้าที่ผิดปกติจะอยู่ห่างจากแมนิโฟลด์นั้น ทำให้เกิดข้อผิดพลาดสูง
สูตร
e(x) = \|x - \hat{x}\|^2เลือกเกณฑ์ตัดสินใจ tau ซึ่งโดยทั่วไปมาจากค่าการกระจายของข้อผิดพลาดในการสร้างใหม่บนชุดข้อมูลตรวจสอบปกติที่แยกไว้ (เช่น เปอร์เซ็นไทล์ที่ 95 หรือ 99) เกณฑ์นี้จะแปลงคะแนนข้อผิดพลาดต่อเนื่องให้เป็นขอบเขตการตัดสินใจแบบทวิภาค การเลือก tau เป็นการแลกเปลี่ยนระหว่างผลบวกลวงกับความผิดปกติที่พลาดไป
การสังเกตการณ์ใดๆ ที่มีข้อผิดพลาดในการสร้างใหม่เกินกว่า tau จะถูกตั้งค่าสถานะว่าเป็นความผิดปกติ ขนาดของส่วนที่เกินยังสามารถใช้เป็นคะแนนความเชื่อมั่นได้ ทำให้สามารถจัดลำดับความสำคัญของการแจ้งเตือนตามอันดับ แทนที่จะเป็นการตัดสินใจแบบทวิภาคอย่างเคร่งครัด
สูตร
\text{anomaly if } e(x) > \tauข้อผิดพลาดที่พบบ่อย
- การฝึกอบรมบนชุดข้อมูลที่รวมความผิดปกติโดยไม่ทำความสะอาดก่อน ดังนั้นแบบจำลองจึงเรียนรู้ที่จะสร้างรูปแบบที่ควรจะถูกตั้งค่าสถานะ
- การตั้งค่าเกณฑ์บนชุดข้อมูลฝึกอบรมเอง แทนที่จะเป็นชุดข้อมูลตรวจสอบที่แยกไว้ ทำให้ได้เกณฑ์ที่มองโลกในแง่ดีซึ่งล้มเหลวในการใช้งาน
- การเปรียบเทียบข้อผิดพลาดในการสร้างใหม่ระหว่างมาตราส่วนคุณสมบัติต่างๆ โดยไม่ปรับข้อมูลนำเข้าให้เป็นมาตรฐาน ทำให้ข้อผิดพลาดถูกครอบงำโดยคุณสมบัติที่มีความแปรปรวนสูง
- การใช้คอขวดที่ใหญ่เกินไป ทำให้ autoencoder เรียนรู้การแมปเกือบเหมือนเดิมที่สร้างทุกอย่าง รวมถึงความผิดปกติได้อย่างถูกต้อง
- การรายงานเฉพาะเมตริกการจำแนกประเภทแบบทวิภาค (ความแม่นยำ) แทนที่จะเป็น precision-recall และ AUROC ซึ่งให้ข้อมูลมากกว่าสำหรับงานตรวจจับความผิดปกติที่ไม่สมดุล
คำถามที่พบบ่อย
ฉันจะเลือกขนาดคอขวดได้อย่างไร?
คอขวดต้องมีขนาดเล็กพอที่จะบังคับให้บีบอัดรูปแบบปกติ แต่ใหญ่พอที่จะไม่สูญเสียโครงสร้างที่จำเป็น แนวทางปฏิบัติทั่วไปคือการเริ่มต้นที่ประมาณ 10–30% ของมิติข้อมูลนำเข้าและปรับแต่งโดยการตรวจสอบคุณภาพการสร้างใหม่บนข้อมูลปกติที่แยกไว้
จะเกิดอะไรขึ้นหากข้อมูลปกติของฉันมีหลายโหมด (เช่น สถานะการทำงานของเครื่องจักรที่แตกต่างกัน)?
ออโตเอ็นโค้ดเดอร์เดียวอาจไม่สามารถเรียนรู้ทุกโหมดได้ดีเท่ากัน ทำให้เกิดการแจ้งเตือนผิดพลาดในสถานะปกติที่แสดงน้อยเกินไป ตัวเลือก ได้แก่ การฝึกออโตเอ็นโค้ดเดอร์แยกกันสำหรับแต่ละโหมด การใช้วิธีการผสมผสานออโตเอ็นโค้ดเดอร์ หรือการกำหนดเงื่อนไขตามป้ายกำกับโหมดที่ทราบหากมี
ฉันควรกำหนดเกณฑ์ความผิดปกติอย่างไร?
คำนวณข้อผิดพลาดในการสร้างใหม่บนชุดข้อมูลตรวจสอบปกติที่สะอาดและแยกไว้ และตั้งค่า tau ที่เปอร์เซ็นไทล์สูง (95 หรือ 99 ขึ้นอยู่กับอัตราผลบวกลวงที่ยอมรับได้) หากมีข้อมูลความผิดปกติที่มีป้ายกำกับอยู่บ้าง ให้ปรับแต่ง tau เพื่อเพิ่ม F1 หรือการแลกเปลี่ยน precision-recall ที่ต้องการ
สิ่งนี้เปรียบเทียบกับ isolation forest หรือ one-class SVM อย่างไร?
Isolation forest และ one-class SVM โดยทั่วไปจะปรับแต่งได้ง่ายกว่าและตีความได้มากกว่าบนข้อมูลตารางที่มีมิติปานกลางถึงต่ำ ออโตเอ็นโค้ดเดอร์จะมีประโยชน์เมื่อมิติสูงมาก เมื่อโครงสร้างตามเวลาหรือตามพื้นที่มีความสำคัญ หรือเมื่อพิกเซลดิบหรือรูปคลื่นเป็นข้อมูลนำเข้า
ฉันสามารถใช้ variational autoencoder (VAE) แทนได้หรือไม่?
ใช่ VAE เรียนรู้ปริภูมิแฝงเชิงความน่าจะเป็นและอนุญาตให้คะแนนความผิดปกติผ่านความน่าจะเป็นในการสร้างใหม่ แทนที่จะเป็น MSE ดิบ ซึ่งมักจะปรับปรุงการสอบเทียบ เป็นส่วนขยายตามธรรมชาติเมื่อการกระจายข้อมูลปกติมีความซับซ้อน หรือเมื่อคุณต้องการการประมาณค่าความไม่แน่นอนที่สอบเทียบอย่างดี
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Chalapathy, R. & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วHinton, G. E. & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว