Skip to content
กลับไปยังผลการค้นหา

การตรวจจับความผิดปกติด้วย Bayesian Autoencoder

ผู้เสนอ
Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
ปี
2014–2015
ประเภท
Probabilistic generative model for unsupervised anomaly detection
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การตรวจจับความผิดปกติด้วย Bayesian Autoencoder ใช้ Variational Autoencoder ซึ่งเป็นแบบจำลองเชิงกำเนิดเชิงความน่าจะเป็นที่ฝึกฝนด้วยข้อมูลปกติ เพื่อระบุความผิดปกติโดยอาศัยข้อผิดพลาดในการสร้างใหม่ที่สูงหรือความน่าจะเป็นต่ำภายใต้การแจกแจงที่เรียนรู้ ด้วยการพิจารณาปริภูมิแฝงเป็นการแจกแจงความน่าจะเป็นแทนที่จะเป็นจุดคงที่ ทำให้สามารถประมาณค่าความไม่แน่นอนได้อย่างมีหลักการควบคู่ไปกับคะแนนความผิดปกติแต่ละรายการ ซึ่งมีคุณค่าอย่างยิ่งในงานตรวจจับที่มีความเสี่ยงสูง

แนวคิดเบื้องหลังวิธีการ

Autoencoder มาตรฐานเรียนรู้ที่จะบีบอัดและสร้างข้อมูลการฝึกใหม่ วัตถุที่ไม่เหมือนชุดข้อมูลการฝึกจะสร้างใหม่ได้ไม่ดีและถูกจัดว่าเป็นสิ่งผิดปกติ Bayesian version ซึ่งโดยทั่วไปจะถูกนำมาใช้ในรูปแบบ Variational Autoencoder ก้าวไปอีกขั้น: แทนที่จะเข้ารหัสอินพุตแต่ละรายการไปยังจุดเดียวในปริภูมิแฝง มันจะเข้ารหัสไปยังการแจกแจงความน่าจะเป็น ซึ่งหมายความว่าแบบจำลองไม่เพียงแต่รู้ว่าอะไรน่าจะเป็นปกติเท่านั้น แต่ยังรู้ด้วยว่ามีความมั่นใจในการประเมินนั้นมากน้อยเพียงใด คะแนนความผิดปกติคำนวณจากความน่าจะเป็นในการสร้างใหม่โดยเฉลี่ยจาก posterior แฝง ดังนั้นจึงมีความไม่แน่นอนโดยธรรมชาติ แทนที่จะเป็นการประมาณค่าแบบจุดที่ไม่ยืดหยุ่น

ประวัติศาสตร์

Variational Autoencoder ได้รับการแนะนำโดย Kingma และ Welling ในปี 2014 ในฐานะกรอบการทำงานที่มีหลักการสำหรับการสร้างแบบจำลองเชิงลึก โดยรวมความยืดหยุ่นของโครงข่ายประสาทเทียมเข้ากับการอนุมานตัวแปรแฝงแบบ Bayesian ผ่านเทคนิค reparameterisation trick การประยุกต์ใช้กับการตรวจจับความผิดปกติได้รับการทำให้เป็นทางการโดย An และ Cho ในปี 2015 ซึ่งแสดงให้เห็นว่าความน่าจะเป็นในการสร้างใหม่ — แทนที่จะเป็นข้อผิดพลาดในการสร้างใหม่ — ให้คะแนนความผิดปกติที่น่าเชื่อถือยิ่งขึ้น ตั้งแต่นั้นเป็นต้นมา Bayesian autoencoders ได้กลายเป็นเครื่องมือมาตรฐานในการวิจัยการตรวจจับความผิดปกติแบบไม่มีผู้สอน โดยมีการขยายไปยังอนุกรมเวลา ข้อมูลกราฟ และการตั้งค่าแบบรวมศูนย์

ควรใช้เมื่อใด

ใช้ Bayesian Autoencoder Anomaly Detection เมื่อคุณมีข้อมูลปกติที่ไม่ได้ติดป้ายกำกับจำนวนมาก แต่มีป้ายกำกับความผิดปกติที่ยืนยันแล้วน้อยหรือไม่มีเลย ปริภูมิอินพุตมีมิติสูง (เช่น รูปภาพ, อาร์เรย์เซ็นเซอร์, อนุกรมเวลาหลายช่องสัญญาณ, หรือข้อมูลตารางกว้าง) และคุณต้องการการประมาณค่าความไม่แน่นอนควบคู่ไปกับคะแนนความผิดปกติสำหรับการตัดสินใจขั้นปลาย (เช่น ภาพทางการแพทย์, การตรวจจับการฉ้อโกง, การควบคุมคุณภาพทางอุตสาหกรรม) วิธีนี้มีประสิทธิภาพดีกว่าวิธีการที่ง่ายกว่า เช่น Isolation Forest หรือ One-Class SVM เมื่อ manifold ของข้อมูลปกติมีความซับซ้อนและไม่เป็นเชิงเส้น อย่าใช้เมื่อชุดข้อมูลของคุณมีขนาดเล็ก (น้อยกว่าสองสามร้อยตัวอย่าง) อินพุตของคุณมีมิติต่ำและมีโครงสร้างเชิงเส้น (วิธีการทางสถิติแบบคลาสสิกนั้นง่ายกว่าและตีความได้ง่ายกว่า) คุณต้องการปริมาณงานแบบเรียลไทม์ที่เข้มงวดโดยไม่มีการเร่งความเร็วด้วย GPU หรือเมื่อมีคลาสความผิดปกติที่ชัดเจนและการจำแนกประเภทแบบมีผู้สอนสามารถทำได้

ข้อจำกัดและข้อควรพิจารณา

  • ต้องใช้ข้อมูลการฝึกฝนจำนวนมากของตัวอย่างปกติ ข้อมูลคลาสปกติที่หายากหรือไม่เป็นเนื้อเดียวกันจะทำให้ประสิทธิภาพลดลง
  • การฝึกฝนต้องใช้การคำนวณสูง — โดยทั่วไปจำเป็นต้องมีการเร่งความเร็วด้วย GPU สำหรับขนาดอินพุตที่ไม่เล็กน้อย
  • การเลือกไฮเปอร์พารามิเตอร์ (มิติแฝง, ความลึกของสถาปัตยกรรม, การถ่วงน้ำหนักเบต้าของเทอม KL) ส่งผลกระทบอย่างมากต่อผลลัพธ์และต้องมีการปรับแต่งอย่างระมัดระวัง
  • Posterior collapse — พยาธิสภาพ VAE ทั่วไปที่ตัวเข้ารหัสละเลยอินพุต — สามารถลดคุณภาพของคะแนนความผิดปกติได้อย่างเงียบๆ
  • การตีความว่าทำไมตัวอย่างเฉพาะจึงถูกระบุว่าเป็นสิ่งผิดปกติยังคงเป็นเรื่องยากหากไม่มีการวิเคราะห์เพิ่มเติมหลังเกิดเหตุ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้การประมาณค่าความไม่แน่นอนที่ปรับเทียบแล้วสำหรับคะแนนความผิดปกติแต่ละรายการ ซึ่งสนับสนุนการตัดสินใจที่คำนึงถึงความเสี่ยง
  • จัดการกับการแจกแจงข้อมูลที่มีมิติสูงและไม่เป็นเชิงเส้น ซึ่งวิธีการเชิงเส้นหรือเคอร์เนลไม่สามารถทำได้
  • ไม่ต้องมีการกำกับดูแลโดยสิ้นเชิง: ไม่จำเป็นต้องมีป้ายกำกับความผิดปกติสำหรับการฝึกฝน
  • ปริภูมิแฝงที่เรียนรู้สามารถแสดงภาพและตีความได้เพื่อทำความเข้าใจว่าแบบจำลองพิจารณาว่ารูปแบบใดเป็นปกติ
  • สถาปัตยกรรมที่ยืดหยุ่นช่วยให้สามารถรวม priors เฉพาะโดเมนและปริภูมิแฝงที่มีโครงสร้างได้
  • ความน่าจะเป็นในการสร้างใหม่มีหลักการมากกว่าข้อผิดพลาดกำลังสองเฉลี่ยดิบ ซึ่งช่วยลดความไวต่อการปรับขนาดตามอำเภอใจ

การประยุกต์ใช้

  • การตรวจจับข้อบกพร่องทางอุตสาหกรรมในการผลิตโดยใช้ข้อมูลการตรวจสอบด้วยสายตา
  • การตรวจจับความผิดปกติของภาพทางการแพทย์ (เช่น การตรวจหาพยาธิสภาพในการสแกน MRI ที่ฝึกฝนเฉพาะกับผู้ป่วยที่มีสุขภาพดี)
  • การตรวจจับการบุกรุกเครือข่ายที่รูปแบบการรับส่งข้อมูลปกติมีอยู่มากมาย แต่การโจมตีนั้นหายากและหลากหลาย
  • การตรวจจับการฉ้อโกงทางการเงินเมื่อไม่มีกรณีการฉ้อโกงที่ติดป้ายกำกับหรือไม่ทันสมัยอย่างรวดเร็ว
  • การบำรุงรักษาเชิงคาดการณ์ผ่านการตรวจจับความผิดปกติของอาร์เรย์เซ็นเซอร์บนเครื่องจักรกลอุตสาหกรรม
  • การควบคุมคุณภาพข้อมูลทางวิทยาศาสตร์ การระบุข้อสังเกตที่ผิดปกติในชุดข้อมูลการทดลอง

วิธีการทำงาน

วิธีการทำงาน

1

โครงข่ายประสาทเทียมตัวเข้ารหัส (encoder neural network) จะแมปอินพุต x แต่ละรายการไปยังพารามิเตอร์ (ค่าเฉลี่ยและความแปรปรวน) ของ Gaussian posterior เหนือตัวแปรแฝง z ซึ่งจับความไม่แน่นอนของแบบจำลองเกี่ยวกับการนำเสนอที่ถูกบีบอัด แทนที่จะผูกมัดกับรหัสเดียว

สูตร
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))
2

รหัสแฝงถูกดึงออกมาโดยเทคนิค reparameterisation trick — การเพิ่มสัญญาณรบกวนที่ปรับขนาดแล้วไปยัง posterior mean — ทำให้ขั้นตอนการสุ่มสามารถหาอนุพันธ์ได้ เพื่อให้โครงข่ายทั้งหมดสามารถฝึกฝนได้ด้วย backpropagation

สูตร
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)
3

โครงข่ายตัวถอดรหัส (decoder network) จะแมปรหัสแฝงที่สุ่มตัวอย่างกลับไปยังการแจกแจงการสร้างใหม่เหนือปริภูมิอินพุต โดยเรียนรู้กระบวนการกำเนิดของข้อมูลปกติ

สูตร
p_{\theta}(x|z)
4

การฝึกฝนจะเพิ่ม Evidence Lower BOund (ELBO) ให้สูงสุด: ค่าคาดหวังของ reconstruction log-likelihood ลบด้วย KL divergence ที่ทำให้ posterior ใกล้เคียงกับ standard Gaussian prior ใช้เฉพาะข้อมูลปกติ (in-distribution) ในระหว่างการฝึกฝนเท่านั้น

สูตร
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))
5

ในการอนุมาน คะแนนความผิดปกติจะถูกคำนวณเป็น negative expected log-likelihood ของอินพุตภายใต้ตัวถอดรหัส โดยเฉลี่ยจากตัวอย่าง posterior หลายรายการ คะแนนสูงบ่งชี้ถึงอินพุตที่แบบจำลองไม่สามารถสร้างใหม่ได้ดีภายใต้การแจกแจงข้อมูลปกติที่เรียนรู้

สูตร
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]

ข้อผิดพลาดที่พบบ่อย

  • การฝึกฝนบนชุดข้อมูลที่ปนเปื้อนซึ่งรวมความผิดปกติในคลาส 'ปกติ' ทำให้แบบจำลองเรียนรู้รูปแบบที่ผิดปกติว่าเป็นปกติ
  • การเลือกเกณฑ์คะแนนความผิดปกติโดยพลการ แทนที่จะใช้ชุดข้อมูลการตรวจสอบความถูกต้องที่แยกไว้ต่างหากของตัวอย่างปกติที่ทราบ
  • การละเลย posterior collapse ในระหว่างการฝึกฝน ซึ่งอาจทำให้ข้อผิดพลาดในการสร้างใหม่ไม่มีข้อมูลที่เป็นประโยชน์อย่างสม่ำเสมอ
  • การเปรียบเทียบข้อผิดพลาดในการสร้างใหม่ดิบในชุดข้อมูลที่มีมาตราส่วนอินพุตต่างกันโดยไม่มีการทำให้เป็นมาตรฐาน
  • การประเมินด้วยความแม่นยำเพียงอย่างเดียวในชุดทดสอบที่ไม่สมดุลอย่างมาก แทนที่จะใช้ AUROC หรือ average precision

คำถามที่พบบ่อย

วิธีนี้แตกต่างจาก autoencoder มาตรฐาน (เชิงกำหนด) สำหรับการตรวจจับความผิดปกติอย่างไร

autoencoder มาตรฐานจะแมปอินพุตไปยังรหัสแฝงคงที่และให้คะแนนความผิดปกติโดยข้อผิดพลาดในการสร้างใหม่ autoencoder แบบ Bayesian (variational) จะแมปอินพุตไปยังการแจกแจงแฝงและให้คะแนนความผิดปกติโดยความน่าจะเป็นในการสร้างใหม่โดยเฉลี่ยจากตัวอย่าง posterior การกำหนดเชิงความน่าจะเป็นให้คะแนนที่น่าเชื่อถือยิ่งขึ้นและความไม่แน่นอนที่ชัดเจน โดยมีค่าใช้จ่ายในความซับซ้อนในการฝึกฝนที่มากขึ้น

ฉันควรเลือกมิติแฝงเท่าใด

มิติแฝงควรมีขนาดใหญ่พอที่จะจับโครงสร้างของข้อมูลปกติ แต่เล็กพอที่จะป้องกันไม่ให้แบบจำลองจดจำตัวอย่างแต่ละรายการ เริ่มต้นด้วยมิติประมาณ 5–20% ของมิติอินพุต และปรับแต่งผ่านคุณภาพการสร้างใหม่บนชุดข้อมูลปกติที่แยกไว้ต่างหาก

ฉันจำเป็นต้องมีฮาร์ดแวร์ GPU เพื่อใช้วิธีนี้หรือไม่

สำหรับข้อมูลตารางที่มีความกว้างปานกลาง (น้อยกว่าสองสามร้อยคุณสมบัติ) CPU สามารถทำได้ แต่การฝึกฝนจะช้า สำหรับข้อมูลภาพหรือข้อมูลเซ็นเซอร์ที่มีมิติสูง ขอแนะนำให้ใช้ GPU อย่างยิ่ง การอนุมาน (การให้คะแนน) โดยทั่วไปจะเร็วกว่าการฝึกฝนมาก

ฉันจะตั้งค่าเกณฑ์ความผิดปกติได้อย่างไร

เกณฑ์ไม่ได้ถูกเรียนรู้ในระหว่างการฝึกฝน ใช้ชุดตัวอย่างปกติที่ยืนยันแล้วที่แยกไว้ต่างหาก และเลือกเปอร์เซ็นไทล์คะแนน (เช่น 95th หรือ 99th) ที่ให้ false-positive rate ที่ยอมรับได้ในโดเมนของคุณ หลีกเลี่ยงการเลือกเกณฑ์บนข้อมูลเดียวกันที่ใช้ในการประเมินประสิทธิภาพขั้นสุดท้าย

วิธีนี้สามารถทำงานได้หรือไม่เมื่อมีสิ่งผิดปกติบางอย่างปรากฏในชุดข้อมูลการฝึกฝน

การปนเปื้อนเล็กน้อย (สองสามเปอร์เซ็นต์) มักจะได้รับการยอมรับเนื่องจากแบบจำลองได้รับการปรับให้เหมาะสมกับคลาสส่วนใหญ่ อย่างไรก็ตาม การปนเปื้อนอย่างหนักจะเปลี่ยนสิ่งที่แบบจำลองเรียนรู้ว่าเป็น 'ปกติ' และควรลดให้น้อยที่สุดโดยการทำความสะอาดข้อมูลการฝึกฝนอย่างละเอียดที่สุดเท่าที่จะทำได้

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว