Bayesian Otomatik Kodlayıcı Anomali Tespiti
- Ortaya koyan
- Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
- Yıl
- 2014–2015
- Tür
- Probabilistic generative model for unsupervised anomaly detection
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Bayesian Otomatik Kodlayıcı Anomali Tespiti, yüksek yeniden yapılandırma hatası veya öğrenilen dağılım altında düşük olasılıkları nedeniyle anomalileri işaretlemek için normal veriler üzerinde eğitilmiş olasılıksal bir üretken model olan Varyasyonel Otomatik Kodlayıcıyı kullanır.
Gizli uzayı sabit bir nokta yerine bir olasılık dağılımı olarak ele alarak, her anomali puanının yanı sıra tutarlı belirsizlik tahminleri sunar, bu da onu yüksek riskli tespit görevlerinde özellikle değerli kılar.
Yöntemin mantığı
Standart bir otomatik kodlayıcı, eğitim verilerini sıkıştırmayı ve yeniden yapılandırmayı öğrenir; eğitim setinden farklı nesneler kötü yeniden yapılandırılır ve bu nedenle anormal olarak puanlanır. Genellikle Varyasyonel Otomatik Kodlayıcı olarak uygulanan Bayesian versiyonu daha ileri gider: her girdiyi gizli uzayda tek bir noktaya kodlamak yerine, onu bir olasılık dağılımına kodlar. Bu, modelin yalnızca neyin normal olduğunu değil, aynı zamanda bu değerlendirmede ne kadar emin olduğunu da bildiği anlamına gelir. Anomali puanları, gizli sonsal üzerinden ortalanan yeniden yapılandırma olasılıkları olarak hesaplanır, bu nedenle kırılgan nokta tahminleri olmak yerine içsel belirsizlik taşırlar.
Tarih
Varyasyonel Otomatik Kodlayıcı, 2014 yılında Kingma ve Welling tarafından, sinir ağı esnekliğini yeniden parametrelendirme hilesi yoluyla Bayesian gizli değişken çıkarımıyla birleştiren derin üretken modelleme için tutarlı bir çerçeve olarak tanıtıldı. Anomali tespitine uygulanması, 2015 yılında An ve Cho tarafından biçimlendirildi ve yeniden yapılandırma hatası yerine yeniden yapılandırma olasılığının daha güvenilir bir anomali puanı sağladığını gösterdi. O zamandan beri, Bayesian otomatik kodlayıcılar denetimsiz anomali tespiti araştırmalarında standart bir araç haline geldi ve zaman serileri, grafik verileri ve federasyon ayarları için uzantılar yapıldı.
Ne zaman kullanılır?
Bol miktarda etiketsiz normal veriye sahip olduğunuz ancak az veya hiç onaylanmış anomali etiketiniz olmadığında, girdi uzayı yüksek boyutlu olduğunda (örneğin, görüntüler, sensör dizileri, çok kanallı zaman serileri veya geniş tablosal veriler) ve aşağı akış karar verme (örneğin, tıbbi görüntüleme, dolandırıcılık tespiti, endüstriyel kalite kontrol) için anomali puanlarının yanı sıra belirsizlik tahminlerine ihtiyaç duyduğunuzda Bayesian Otomatik Kodlayıcı Anomali Tespiti'ni kullanın. Normal veri manifoldunun karmaşık ve doğrusal olmayan olduğu durumlarda Isolation Forest veya One-Class SVM gibi daha basit yöntemlerden daha iyi performans gösterir. Veri kümeniz küçükse (birkaç yüz örneğin altında), girdi düşük boyutlu ve doğrusal yapıya sahipse (klasik istatistiksel yöntemler daha basit ve daha yorumlanabilirdir), GPU hızlandırması olmadan katı gerçek zamanlı verim gerektiriyorsanız veya denetimli sınıflandırmanın mümkün olduğu açık bir anomali sınıfı mevcutsa kullanmayın.
Sınırlar ve dikkat edilmesi gerekenler
- Önemli miktarda normal örnek eğitimi gerektirir; kıt veya heterojen normal sınıf verileri performansı düşürür.
- Eğitim hesaplama açısından pahalıdır — önemsiz olmayan girdi boyutları için genellikle GPU hızlandırması gerekir.
- Hiperparametre seçimleri (gizli boyut, mimari derinliği, KL teriminin beta ağırlığı) sonuçları güçlü bir şekilde etkiler ve dikkatli ayar gerektirir.
- Gizli çökme — kodlayıcının girdiyi göz ardı ettiği yaygın bir VAE patolojisi — anomali puanlarını sessizce düşürebilir.
- Belirli bir örneğin neden anormal olarak işaretlendiğini yorumlamak, ek sonradan analiz olmadan hala zordur.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Risk temelli karar vermeyi destekleyerek her anomali puanı için kalibre edilmiş belirsizlik tahminleri sağlar.
- Doğrusal veya çekirdek yöntemleri yenen yüksek boyutlu ve doğrusal olmayan veri dağılımlarını işler.
- Eğitim için anomali etiketleri gerektirmez: tamamen denetimsizdir.
- Öğrenilen gizli uzay, modelin hangi örüntüleri normal kabul ettiğini anlamak için görselleştirilebilir ve yorumlanabilir.
- Esnek mimari, alana özgü öncüllerin ve yapılandırılmış gizli uzayların dahil edilmesine olanak tanır.
- Yeniden yapılandırma olasılığı, keyfi ölçeklendirmeye duyarlılığı azaltan ham ortalama karesel hatadan daha tutarlıdır.
Uygulama alanları
- Üretimde endüstriyel kusur tespiti, görsel inceleme verileri kullanılarak.
- Tıbbi görüntüleme anomali tespiti (örneğin, yalnızca sağlıklı denekler üzerinde eğitilmiş MR taramalarında lezyonları tespit etme).
- Normal trafik örüntülerinin bol olduğu ancak saldırıların nadir ve çeşitli olduğu ağ saldırısı tespiti.
- Etiketlenmiş dolandırıcılık vakalarının mevcut olmadığı veya hızla güncelliğini yitirdiği durumlarda finansal dolandırıcılık tespiti.
- Endüstriyel makine sensör dizisi anomali tespiti yoluyla tahmine dayalı bakım.
- Bilimsel veri kalitesi kontrolü, deneysel veri kümelerindeki alışılmadık gözlemleri işaretleme.
Nasıl çalışır?
Nasıl çalışır?
Bir kodlayıcı sinir ağı, her bir x girdisini, sıkıştırılmış temsil hakkındaki modelin belirsizliğini tek bir koda bağlamak yerine yakalayan gizli değişken z üzerindeki bir Gauss sonsalının parametrelerine (ortalama ve varyans) eşler.
Formül
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))Gizli kodlar, yeniden parametrelendirme hilesiyle — ölçeklenmiş gürültüyü sonsal ortalamasına ekleyerek — çekilir, bu da örnekleme adımını türevlenebilir hale getirir, böylece tüm ağ geri yayılım ile eğitilebilir.
Formül
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)Bir kod çözücü ağı, örneklenmiş gizli kodları girdi uzayı üzerindeki yeniden yapılandırma dağılımlarına geri eşler ve normal verilerin üretken sürecini öğrenir.
Formül
p_{\theta}(x|z)Eğitim, Kanıt Alt Sınırını (ELBO) maksimize eder: sonsalın standart bir Gauss öncülüne yakın kalmasını sağlayan KL ıraksaklığını eksi beklenen yeniden yapılandırma log-olasılığı. Eğitim sırasında yalnızca normal (dağılım içi) veriler kullanılır.
Formül
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))Çıkarım sırasında, bir anomali puanı, kod çözücü altındaki girdinin beklenen negatif log-olasılığı olarak, birden çok sonsal örneği üzerinden ortalanarak hesaplanır. Yüksek puanlar, modelin normal veriler üzerindeki öğrenilmiş dağılımı altında iyi yeniden yapılandıramadığı girdileri gösterir.
Formül
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]Sık yapılan hatalar
- Modelin anormal örüntüleri normal olarak öğrenmesine neden olan, 'normal' sınıfa anomaliler dahil edilmiş kirli bir veri kümesi üzerinde eğitim.
- Nihai performansın değerlendirildiği aynı verilerde değil, bilinen normal örneklerden oluşan tutulmuş bir doğrulama seti kullanarak rastgele eşik seçmek yerine anomali puanı eşiğini rastgele seçmek.
- Eğitim sırasında gizli çökmenin göz ardı edilmesi, bu da yeniden yapılandırma hatasını tekdüze bir şekilde bilgisiz hale getirebilir.
- Normalleştirme olmadan farklı girdi ölçeklerine sahip veri kümeleri arasındaki ham yeniden yapılandırma hatalarını karşılaştırmak.
- Yüksek derecede dengesiz test kümelerinde yalnızca doğruluk ile değerlendirmek yerine AUROC veya ortalama hassasiyeti kullanmak.
Sık sorulan sorular
Bu, anomali tespiti için standart (deterministik) bir otomatik kodlayıcıdan nasıl farklıdır?
Standart bir otomatik kodlayıcı, girdileri sabit gizli kodlara eşler ve anomalileri yeniden yapılandırma hatasıyla puanlar. Bir Bayesian (varyasyonel) otomatik kodlayıcı, girdileri gizli dağılımlara eşler ve anomalileri sonsal örnekleri üzerinden ortalanan yeniden yapılandırma olasılığıyla puanlar. Olasılıksal formülasyon, daha fazla eğitim karmaşıklığı pahasına daha güvenilir puanlar ve açık belirsizlik sağlar.
Hangi gizli boyutu seçmeliyim?
Gizli boyut, normal verilerin yapısını yakalamak için yeterince büyük, ancak modelin bireysel örnekleri ezberlemesini önlemek için yeterince küçük olmalıdır. Girdi boyutunun yaklaşık %5-20'si kadar bir boyutla başlayın ve tutulmuş normal bir küme üzerindeki yeniden yapılandırma kalitesi aracılığıyla ayarlayın.
Bu yöntemi çalıştırmak için GPU donanımına ihtiyacım var mı?
Orta genişlikte (birkaç yüz özellikten az) tablosal veriler için bir CPU uygundur, ancak eğitim yavaş olacaktır. Görüntü veya yüksek boyutlu sensör verileri için bir GPU şiddetle tavsiye edilir. Çıkarım (puanlama) genellikle eğitimden çok daha hızlıdır.
Anomali eşiğini nasıl ayarlarım?
Eşik eğitim sırasında öğrenilmez. Onaylanmış normal örneklerden oluşan tutulmuş bir küme kullanın ve alanınızda kabul edilebilir bir yanlış pozitif oran veren puan yüzdelik dilimini (örneğin, %95 veya %99) seçin. Nihai performansı değerlendirmek için kullanılan verilerde eşiği seçmekten kaçının.
Eğitim setinde bazı anomaliler göründüğünde bu yöntem çalışabilir mi?
Model çoğunluk sınıfı üzerinden optimize edildiği için küçük kirlilik (birkaç yüzde) genellikle tolere edilir. Ancak, ağır kirlilik modelin 'normal' olarak ne öğrendiğini kaydırır ve eğitim verilerinin mümkün olduğunca temizlenmesiyle en aza indirilmelidir.
İlgili yöntemler
Kaynaklar
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).
Yayın kaynağını açKopyalandı.An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.
Yayın kaynağını açKopyalandı.