การตรวจจับความผิดปกติด้วย Bayesian Autoencoder
- ผู้เสนอ
- Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
- ปี
- 2014–2015
- ประเภท
- Probabilistic generative model for unsupervised anomaly detection
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การตรวจจับความผิดปกติด้วย Bayesian Autoencoder ใช้ Variational Autoencoder ซึ่งเป็นแบบจำลองเชิงกำเนิดเชิงความน่าจะเป็นที่ฝึกฝนด้วยข้อมูลปกติ เพื่อระบุความผิดปกติโดยอาศัยข้อผิดพลาดในการสร้างใหม่ที่สูงหรือความน่าจะเป็นต่ำภายใต้การแจกแจงที่เรียนรู้ ด้วยการพิจารณาปริภูมิแฝงเป็นการแจกแจงความน่าจะเป็นแทนที่จะเป็นจุดคงที่ ทำให้สามารถประมาณค่าความไม่แน่นอนได้อย่างมีหลักการควบคู่ไปกับคะแนนความผิดปกติแต่ละรายการ ซึ่งมีคุณค่าอย่างยิ่งในงานตรวจจับที่มีความเสี่ยงสูง
แนวคิดเบื้องหลังวิธีการ
Autoencoder มาตรฐานเรียนรู้ที่จะบีบอัดและสร้างข้อมูลการฝึกใหม่ วัตถุที่ไม่เหมือนชุดข้อมูลการฝึกจะสร้างใหม่ได้ไม่ดีและถูกจัดว่าเป็นสิ่งผิดปกติ Bayesian version ซึ่งโดยทั่วไปจะถูกนำมาใช้ในรูปแบบ Variational Autoencoder ก้าวไปอีกขั้น: แทนที่จะเข้ารหัสอินพุตแต่ละรายการไปยังจุดเดียวในปริภูมิแฝง มันจะเข้ารหัสไปยังการแจกแจงความน่าจะเป็น ซึ่งหมายความว่าแบบจำลองไม่เพียงแต่รู้ว่าอะไรน่าจะเป็นปกติเท่านั้น แต่ยังรู้ด้วยว่ามีความมั่นใจในการประเมินนั้นมากน้อยเพียงใด คะแนนความผิดปกติคำนวณจากความน่าจะเป็นในการสร้างใหม่โดยเฉลี่ยจาก posterior แฝง ดังนั้นจึงมีความไม่แน่นอนโดยธรรมชาติ แทนที่จะเป็นการประมาณค่าแบบจุดที่ไม่ยืดหยุ่น
ประวัติศาสตร์
Variational Autoencoder ได้รับการแนะนำโดย Kingma และ Welling ในปี 2014 ในฐานะกรอบการทำงานที่มีหลักการสำหรับการสร้างแบบจำลองเชิงลึก โดยรวมความยืดหยุ่นของโครงข่ายประสาทเทียมเข้ากับการอนุมานตัวแปรแฝงแบบ Bayesian ผ่านเทคนิค reparameterisation trick การประยุกต์ใช้กับการตรวจจับความผิดปกติได้รับการทำให้เป็นทางการโดย An และ Cho ในปี 2015 ซึ่งแสดงให้เห็นว่าความน่าจะเป็นในการสร้างใหม่ — แทนที่จะเป็นข้อผิดพลาดในการสร้างใหม่ — ให้คะแนนความผิดปกติที่น่าเชื่อถือยิ่งขึ้น ตั้งแต่นั้นเป็นต้นมา Bayesian autoencoders ได้กลายเป็นเครื่องมือมาตรฐานในการวิจัยการตรวจจับความผิดปกติแบบไม่มีผู้สอน โดยมีการขยายไปยังอนุกรมเวลา ข้อมูลกราฟ และการตั้งค่าแบบรวมศูนย์
ควรใช้เมื่อใด
ใช้ Bayesian Autoencoder Anomaly Detection เมื่อคุณมีข้อมูลปกติที่ไม่ได้ติดป้ายกำกับจำนวนมาก แต่มีป้ายกำกับความผิดปกติที่ยืนยันแล้วน้อยหรือไม่มีเลย ปริภูมิอินพุตมีมิติสูง (เช่น รูปภาพ, อาร์เรย์เซ็นเซอร์, อนุกรมเวลาหลายช่องสัญญาณ, หรือข้อมูลตารางกว้าง) และคุณต้องการการประมาณค่าความไม่แน่นอนควบคู่ไปกับคะแนนความผิดปกติสำหรับการตัดสินใจขั้นปลาย (เช่น ภาพทางการแพทย์, การตรวจจับการฉ้อโกง, การควบคุมคุณภาพทางอุตสาหกรรม) วิธีนี้มีประสิทธิภาพดีกว่าวิธีการที่ง่ายกว่า เช่น Isolation Forest หรือ One-Class SVM เมื่อ manifold ของข้อมูลปกติมีความซับซ้อนและไม่เป็นเชิงเส้น อย่าใช้เมื่อชุดข้อมูลของคุณมีขนาดเล็ก (น้อยกว่าสองสามร้อยตัวอย่าง) อินพุตของคุณมีมิติต่ำและมีโครงสร้างเชิงเส้น (วิธีการทางสถิติแบบคลาสสิกนั้นง่ายกว่าและตีความได้ง่ายกว่า) คุณต้องการปริมาณงานแบบเรียลไทม์ที่เข้มงวดโดยไม่มีการเร่งความเร็วด้วย GPU หรือเมื่อมีคลาสความผิดปกติที่ชัดเจนและการจำแนกประเภทแบบมีผู้สอนสามารถทำได้
ข้อจำกัดและข้อควรพิจารณา
- ต้องใช้ข้อมูลการฝึกฝนจำนวนมากของตัวอย่างปกติ ข้อมูลคลาสปกติที่หายากหรือไม่เป็นเนื้อเดียวกันจะทำให้ประสิทธิภาพลดลง
- การฝึกฝนต้องใช้การคำนวณสูง — โดยทั่วไปจำเป็นต้องมีการเร่งความเร็วด้วย GPU สำหรับขนาดอินพุตที่ไม่เล็กน้อย
- การเลือกไฮเปอร์พารามิเตอร์ (มิติแฝง, ความลึกของสถาปัตยกรรม, การถ่วงน้ำหนักเบต้าของเทอม KL) ส่งผลกระทบอย่างมากต่อผลลัพธ์และต้องมีการปรับแต่งอย่างระมัดระวัง
- Posterior collapse — พยาธิสภาพ VAE ทั่วไปที่ตัวเข้ารหัสละเลยอินพุต — สามารถลดคุณภาพของคะแนนความผิดปกติได้อย่างเงียบๆ
- การตีความว่าทำไมตัวอย่างเฉพาะจึงถูกระบุว่าเป็นสิ่งผิดปกติยังคงเป็นเรื่องยากหากไม่มีการวิเคราะห์เพิ่มเติมหลังเกิดเหตุ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้การประมาณค่าความไม่แน่นอนที่ปรับเทียบแล้วสำหรับคะแนนความผิดปกติแต่ละรายการ ซึ่งสนับสนุนการตัดสินใจที่คำนึงถึงความเสี่ยง
- จัดการกับการแจกแจงข้อมูลที่มีมิติสูงและไม่เป็นเชิงเส้น ซึ่งวิธีการเชิงเส้นหรือเคอร์เนลไม่สามารถทำได้
- ไม่ต้องมีการกำกับดูแลโดยสิ้นเชิง: ไม่จำเป็นต้องมีป้ายกำกับความผิดปกติสำหรับการฝึกฝน
- ปริภูมิแฝงที่เรียนรู้สามารถแสดงภาพและตีความได้เพื่อทำความเข้าใจว่าแบบจำลองพิจารณาว่ารูปแบบใดเป็นปกติ
- สถาปัตยกรรมที่ยืดหยุ่นช่วยให้สามารถรวม priors เฉพาะโดเมนและปริภูมิแฝงที่มีโครงสร้างได้
- ความน่าจะเป็นในการสร้างใหม่มีหลักการมากกว่าข้อผิดพลาดกำลังสองเฉลี่ยดิบ ซึ่งช่วยลดความไวต่อการปรับขนาดตามอำเภอใจ
การประยุกต์ใช้
- การตรวจจับข้อบกพร่องทางอุตสาหกรรมในการผลิตโดยใช้ข้อมูลการตรวจสอบด้วยสายตา
- การตรวจจับความผิดปกติของภาพทางการแพทย์ (เช่น การตรวจหาพยาธิสภาพในการสแกน MRI ที่ฝึกฝนเฉพาะกับผู้ป่วยที่มีสุขภาพดี)
- การตรวจจับการบุกรุกเครือข่ายที่รูปแบบการรับส่งข้อมูลปกติมีอยู่มากมาย แต่การโจมตีนั้นหายากและหลากหลาย
- การตรวจจับการฉ้อโกงทางการเงินเมื่อไม่มีกรณีการฉ้อโกงที่ติดป้ายกำกับหรือไม่ทันสมัยอย่างรวดเร็ว
- การบำรุงรักษาเชิงคาดการณ์ผ่านการตรวจจับความผิดปกติของอาร์เรย์เซ็นเซอร์บนเครื่องจักรกลอุตสาหกรรม
- การควบคุมคุณภาพข้อมูลทางวิทยาศาสตร์ การระบุข้อสังเกตที่ผิดปกติในชุดข้อมูลการทดลอง
วิธีการทำงาน
วิธีการทำงาน
โครงข่ายประสาทเทียมตัวเข้ารหัส (encoder neural network) จะแมปอินพุต x แต่ละรายการไปยังพารามิเตอร์ (ค่าเฉลี่ยและความแปรปรวน) ของ Gaussian posterior เหนือตัวแปรแฝง z ซึ่งจับความไม่แน่นอนของแบบจำลองเกี่ยวกับการนำเสนอที่ถูกบีบอัด แทนที่จะผูกมัดกับรหัสเดียว
สูตร
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))รหัสแฝงถูกดึงออกมาโดยเทคนิค reparameterisation trick — การเพิ่มสัญญาณรบกวนที่ปรับขนาดแล้วไปยัง posterior mean — ทำให้ขั้นตอนการสุ่มสามารถหาอนุพันธ์ได้ เพื่อให้โครงข่ายทั้งหมดสามารถฝึกฝนได้ด้วย backpropagation
สูตร
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)โครงข่ายตัวถอดรหัส (decoder network) จะแมปรหัสแฝงที่สุ่มตัวอย่างกลับไปยังการแจกแจงการสร้างใหม่เหนือปริภูมิอินพุต โดยเรียนรู้กระบวนการกำเนิดของข้อมูลปกติ
สูตร
p_{\theta}(x|z)การฝึกฝนจะเพิ่ม Evidence Lower BOund (ELBO) ให้สูงสุด: ค่าคาดหวังของ reconstruction log-likelihood ลบด้วย KL divergence ที่ทำให้ posterior ใกล้เคียงกับ standard Gaussian prior ใช้เฉพาะข้อมูลปกติ (in-distribution) ในระหว่างการฝึกฝนเท่านั้น
สูตร
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))ในการอนุมาน คะแนนความผิดปกติจะถูกคำนวณเป็น negative expected log-likelihood ของอินพุตภายใต้ตัวถอดรหัส โดยเฉลี่ยจากตัวอย่าง posterior หลายรายการ คะแนนสูงบ่งชี้ถึงอินพุตที่แบบจำลองไม่สามารถสร้างใหม่ได้ดีภายใต้การแจกแจงข้อมูลปกติที่เรียนรู้
สูตร
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]ข้อผิดพลาดที่พบบ่อย
- การฝึกฝนบนชุดข้อมูลที่ปนเปื้อนซึ่งรวมความผิดปกติในคลาส 'ปกติ' ทำให้แบบจำลองเรียนรู้รูปแบบที่ผิดปกติว่าเป็นปกติ
- การเลือกเกณฑ์คะแนนความผิดปกติโดยพลการ แทนที่จะใช้ชุดข้อมูลการตรวจสอบความถูกต้องที่แยกไว้ต่างหากของตัวอย่างปกติที่ทราบ
- การละเลย posterior collapse ในระหว่างการฝึกฝน ซึ่งอาจทำให้ข้อผิดพลาดในการสร้างใหม่ไม่มีข้อมูลที่เป็นประโยชน์อย่างสม่ำเสมอ
- การเปรียบเทียบข้อผิดพลาดในการสร้างใหม่ดิบในชุดข้อมูลที่มีมาตราส่วนอินพุตต่างกันโดยไม่มีการทำให้เป็นมาตรฐาน
- การประเมินด้วยความแม่นยำเพียงอย่างเดียวในชุดทดสอบที่ไม่สมดุลอย่างมาก แทนที่จะใช้ AUROC หรือ average precision
คำถามที่พบบ่อย
วิธีนี้แตกต่างจาก autoencoder มาตรฐาน (เชิงกำหนด) สำหรับการตรวจจับความผิดปกติอย่างไร
autoencoder มาตรฐานจะแมปอินพุตไปยังรหัสแฝงคงที่และให้คะแนนความผิดปกติโดยข้อผิดพลาดในการสร้างใหม่ autoencoder แบบ Bayesian (variational) จะแมปอินพุตไปยังการแจกแจงแฝงและให้คะแนนความผิดปกติโดยความน่าจะเป็นในการสร้างใหม่โดยเฉลี่ยจากตัวอย่าง posterior การกำหนดเชิงความน่าจะเป็นให้คะแนนที่น่าเชื่อถือยิ่งขึ้นและความไม่แน่นอนที่ชัดเจน โดยมีค่าใช้จ่ายในความซับซ้อนในการฝึกฝนที่มากขึ้น
ฉันควรเลือกมิติแฝงเท่าใด
มิติแฝงควรมีขนาดใหญ่พอที่จะจับโครงสร้างของข้อมูลปกติ แต่เล็กพอที่จะป้องกันไม่ให้แบบจำลองจดจำตัวอย่างแต่ละรายการ เริ่มต้นด้วยมิติประมาณ 5–20% ของมิติอินพุต และปรับแต่งผ่านคุณภาพการสร้างใหม่บนชุดข้อมูลปกติที่แยกไว้ต่างหาก
ฉันจำเป็นต้องมีฮาร์ดแวร์ GPU เพื่อใช้วิธีนี้หรือไม่
สำหรับข้อมูลตารางที่มีความกว้างปานกลาง (น้อยกว่าสองสามร้อยคุณสมบัติ) CPU สามารถทำได้ แต่การฝึกฝนจะช้า สำหรับข้อมูลภาพหรือข้อมูลเซ็นเซอร์ที่มีมิติสูง ขอแนะนำให้ใช้ GPU อย่างยิ่ง การอนุมาน (การให้คะแนน) โดยทั่วไปจะเร็วกว่าการฝึกฝนมาก
ฉันจะตั้งค่าเกณฑ์ความผิดปกติได้อย่างไร
เกณฑ์ไม่ได้ถูกเรียนรู้ในระหว่างการฝึกฝน ใช้ชุดตัวอย่างปกติที่ยืนยันแล้วที่แยกไว้ต่างหาก และเลือกเปอร์เซ็นไทล์คะแนน (เช่น 95th หรือ 99th) ที่ให้ false-positive rate ที่ยอมรับได้ในโดเมนของคุณ หลีกเลี่ยงการเลือกเกณฑ์บนข้อมูลเดียวกันที่ใช้ในการประเมินประสิทธิภาพขั้นสุดท้าย
วิธีนี้สามารถทำงานได้หรือไม่เมื่อมีสิ่งผิดปกติบางอย่างปรากฏในชุดข้อมูลการฝึกฝน
การปนเปื้อนเล็กน้อย (สองสามเปอร์เซ็นต์) มักจะได้รับการยอมรับเนื่องจากแบบจำลองได้รับการปรับให้เหมาะสมกับคลาสส่วนใหญ่ อย่างไรก็ตาม การปนเปื้อนอย่างหนักจะเปลี่ยนสิ่งที่แบบจำลองเรียนรู้ว่าเป็น 'ปกติ' และควรลดให้น้อยที่สุดโดยการทำความสะอาดข้อมูลการฝึกฝนอย่างละเอียดที่สุดเท่าที่จะทำได้
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วAn, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว