Otokodlayıcı Anomali Tespiti
- Ortaya koyan
- Hinton, G. E. & Salakhutdinov, R. R. (autoencoders); applied to anomaly detection through multiple authors in the 2010s
- Yıl
- 2006–2014
- Tür
- Unsupervised deep learning (reconstruction-based)
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Otokodlayıcı anomali tespiti, normal veriyi sıkıştırmak ve ardından yeniden yapılandırmak için bir sinir ağı eğitir.
Model yalnızca normalin neye benzediğini öğrendiği için, anormal girdiler fark edilir derecede daha yüksek yeniden yapılandırma hataları üretir ve bu hatalar anomali puanını oluşturur. Yöntem, etiketli anomali gerektirmez ve sensör akışları, görüntüler ve günlük kayıtları gibi yüksek boyutlu verilere doğal olarak ölçeklenir.
Yöntemin mantığı
Bir otokodlayıcı, veriyi başladığından daha az sayıda tanımlamaya zorlanır, ardından orijinalini yeniden inşa eder. Yalnızca normal örnekler üzerinde eğitildiğinde, normal örüntüleri yeniden yapılandırmada çok iyi, alışılmadık herhangi bir şeyi yeniden yapılandırmada ise kötü hale gelir. Yeniden yapılandırma hatası bu nedenle doğal bir alarm görevi görür: düşük bir hata, girdinin tanıdık göründüğü anlamına gelir; yüksek bir hata ise modelin daha önce hiç görmediği ve dolayısıyla aslına uygun biçimde yeniden üretemediği bir şeyi işaret eder. Bu hata üzerinde bir eşik belirleyerek, sürekli bir puanı ikili bir anomali işaretine dönüştürürsünüz.
Tarih
Boyut indirgeme araçları olarak otokodlayıcılar, Hinton ve Salakhutdinov'un derin inanç ağları üzerine 2006 tarihli Science makalesiyle popülerleşti. Anomali tespitine uygulamaları, derin öğrenmenin olgunlaşmasıyla 2010'lar boyunca arttı; Vincent ve diğerleri (2010) gürültü giderici otokodlayıcıları tanıttı ve 2010'ların ortalarına gelindiğinde otokodlayıcılar endüstriyel ve siber güvenlik alanlarında denetimsiz anomali tespiti için standart bir temel haline geldi. Chalapathy ve Chawla'nın 2019 tarihli araştırması, alanın en iyi uygulamalarını pekiştirdi.
Ne zaman kullanılır?
Etiketli anomali örnekleri az veya hiç olmadığında, normal sınıf iyi temsil edildiğinde ve veri boyutu tek sınıflı SVM gibi klasik yöntemler için çok yüksek olduğunda otokodlayıcı anomali tespitini kullanın. Sensör zaman serileri, ağ trafiği günlükleri, tıbbi görüntüleme ve üretim kalite kontrolünde üstündür. Normal veri dağılımı aşırı derecede çeşitli veya çok modlu olduğunda (otokodlayıcı sıkıştırılmış (kompakt) bir temsil bulamayabilir), yalnızca çok küçük bir veri kümeniz olduğunda (derin ağların genelleme yapabilmesi için yeterli veriye ihtiyacı vardır) veya basit, yorumlanabilir kural tabanlı bir eşik yeterli olduğunda bundan kaçının. Etiketli anomali verileri gerçekten mevcut olduğunda uygulamayın — denetimli veya yarı denetimli sınıflandırıcılar bu durumda neredeyse her zaman daha iyi performans gösterecektir.
Sınırlar ve dikkat edilmesi gerekenler
- Yeterince büyük ve temsili bir normal veri örneği gerektirir; nadir normal alt örüntüler, anormal olmasalar bile kötü yeniden yapılandırılabilir.
- Eşik seçimi sezgisel ve duyarlıdır: kötü seçilmiş bir tau, aşırı yanlış pozitiflere veya kaçırılan anomalilere yol açar.
- Yorumlanabilirlik düşüktür — yeniden yapılandırma hatası bir anomalinin var olduğunu gösterir, ancak ek analiz (örneğin, özellik başına hata ayrıştırması) olmadan hangi özelliklerin buna yol açtığını göstermez.
- Derin ağları eğitmek, mimariyi, öğrenme oranını ve düzenlileştirmeyi ayarlamayı gerektirir; yöntem, izolasyon ormanı veya tek sınıflı SVM kadar kullanıma hazır değildir.
- Anomaliler eğitim kümesini kirletirse, model bunları kısmen yeniden yapılandırmayı öğrenir ve tespit duyarlılığını düşürür.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Etiketli anomali örneği gerektirmez — eğitim için yalnızca normal veri gereklidir.
- Görüntüler, zaman serileri ve çoklu sensör akışları gibi yüksek boyutlu girdilere doğal olarak ölçeklenir.
- İkili bir işaret yerine sıralı uyarıya olanak tanıyan sürekli bir anomali puanı üretir.
- PCA gibi doğrusal yöntemlerin temsil edemediği karmaşık, doğrusal olmayan normal örüntüleri yakalayabilir.
- Mimari esnektir: görüntüler için evrişimsel katmanlar, diziler için LSTM katmanları, tablo verileri için ileri beslemeli katmanlar.
Uygulama alanları
- Endüstriyel kestirimci bakım: titreşim ve sıcaklık sensör akışlarından makine arızalarını tespit etme.
- Siber güvenlik: paket düzeyindeki günlüklerden anormal ağ trafiğini veya izinsiz giriş girişimlerini belirleme.
- Tıbbi görüntüleme: etiketlenmiş (anote edilmiş) lezyon verileri az olduğunda MRI veya BT taramalarındaki patolojik bölgeleri işaretleme.
- Finansal dolandırıcılık tespiti: kredi kartı veya bankacılık verilerindeki alışılmadık işlem örüntülerini tespit etme.
- Üretim kalite kontrolü: bir montaj hattındaki kamera görüntülerinden kusurlu ürünleri tespit etme.
- BT operasyonları: AIOps iş akışlarında anormal sunucu veya uygulama ölçütlerini tespit etme.
Nasıl çalışır?
Nasıl çalışır?
Bir otokodlayıcı ağı, yalnızca normal çalışma koşullarını temsil eden veriler üzerinde eğitilir. Amaç, bu yalnızca normal eğitim kümesinde yeniden yapılandırma kaybını (genellikle ortalama karesel hata) en aza indirmektir, böylece ağ normalin neye benzediğine dair sıkıştırılmış (kompakt) iç temsiller öğrenir. Anomali etiketlerine gerek yoktur.
Çıkarım sırasında, her bir x girdisi, onu düşük boyutlu bir örtük (latent) vektöre sıkıştıran bir kodlayıcıdan, ardından girdiyi orijinal uzaya yeniden yapılandıran bir kod çözücüden geçirilir. Kodlayıcı-kod çözücü çifti, öğrenilmiş ağırlıklarla parametrelendirilir ve normal veri manifoldunun geometrisini yakalar.
Formül
\hat{x} = f_{\theta}(g_{\phi}(x))Yeniden yapılandırma hatası e(x) — girdi ile yeniden yapılandırması arasındaki karesel (veya mutlak) fark — her gözlem için hesaplanır. Otokodlayıcı yalnızca normal manifoldu öğrendiği için, anormal girdiler bu manifolddan uzağa düşer ve yüksek hatalara yol açar.
Formül
e(x) = \|x - \hat{x}\|^2Bir karar eşiği tau, tipik olarak ayrılmış bir normal doğrulama kümesindeki yeniden yapılandırma hatalarının dağılımından (örneğin, %95 veya %99'luk yüzdelik) seçilir. Bu eşik, sürekli hata puanını ikili bir karar sınırına dönüştürür. Tau seçimi, yanlış pozitifler ile kaçırılan anomaliler arasında bir denge kurar.
Yeniden yapılandırma hatası tau'yu aşan herhangi bir gözlem anomali olarak işaretlenir. Fazlalığın büyüklüğü, sert bir ikili karar yerine sıralı uyarı önceliklendirmesini sağlayan bir güven puanı olarak da hizmet edebilir.
Formül
\text{anomaly if } e(x) > \tauSık yapılan hatalar
- Anomalileri önceden temizlemeden içeren bir veri kümesi üzerinde eğitim yapmak, böylece modelin işaretlemesi gereken örüntüleri yeniden yapılandırmayı öğrenmesi.
- Eşiği, ayrılmış bir doğrulama kümesi yerine eğitim kümesinin kendisinde ayarlamak, konuşlandırmada başarısız olan iyimser bir eşik üretmek.
- Girdileri normalleştirmeden farklı özellik ölçeklerindeki yeniden yapılandırma hatalarını karşılaştırmak, hatanın yüksek varyanslı özellikler tarafından baskın olmasına neden olmak.
- Çok büyük bir darboğaz kullanmak, otokodlayıcının her şeyi — anomaliler dahil — aslına uygun biçimde yeniden yapılandıran neredeyse bir özdeşlik eşlemesi öğrenmesine izin vermek.
- Dengesiz anomali tespiti görevleri için çok daha bilgilendirici olan kesinlik-duyarlılık (precision-recall) ve AUROC yerine yalnızca ikili sınıflandırma ölçütlerini (doğruluk) raporlamak.
Sık sorulan sorular
Darboğaz boyutunu nasıl seçerim?
Darboğaz, normal örüntülerin sıkıştırılmasını zorlayacak kadar küçük, ancak temel yapıyı kaybetmeyecek kadar büyük olmalıdır. Yaygın uygulama, girdi boyutunun yaklaşık %10-30'u ile başlamak ve ayrılmış normal veriler üzerindeki yeniden yapılandırma kalitesini inceleyerek ayarlamaktır.
Normal verilerimde birden fazla mod varsa (örneğin, farklı makine çalışma durumları) ne olur?
Tek bir otokodlayıcı tüm modları eşit derecede iyi öğrenemeyebilir, bu da az temsil edilen ancak normal durumlarda yanlış alarmlara neden olabilir. Seçenekler arasında her mod için ayrı bir otokodlayıcı eğitmek, otokodlayıcı karışımı yaklaşımı kullanmak veya mevcutsa bilinen bir mod etiketine göre koşullandırmak yer alır.
Anomali eşiğini nasıl ayarlamalıyım?
Temiz, ayrılmış bir normal veri doğrulama kümesi üzerinde yeniden yapılandırma hatalarını hesaplayın ve tau'yu yüksek bir yüzdelik dilimde (%95 veya %99, kabul edilebilir yanlış pozitif oranına bağlı olarak) ayarlayın. Etiketli anomaliler mevcutsa, F1'i veya istenen kesinlik-duyarlılık (precision-recall) dengesini maksimize etmek için tau'yu ayarlayın.
Bu, izolasyon ormanı veya tek sınıflı SVM ile nasıl karşılaştırılır?
İzolasyon ormanı ve tek sınıflı SVM, genellikle düşük ila orta boyutlu tablo verilerinde ayarlanması daha kolay ve daha yorumlanabilirdir. Otokodlayıcılar, boyutluluk çok yüksek olduğunda, zamansal veya uzamsal yapı önemli olduğunda veya ham pikseller veya dalga formları girdi olduğunda avantajlı hale gelir.
Varyasyonel otokodlayıcı (VAE) kullanabilir miyim?
Evet. VAE'ler olasılıksal bir gizli uzay öğrenir ve anomali puanlamasını ham MSE yerine yeniden yapılandırma olasılığı aracılığıyla yapmaya izin verir, bu da genellikle kalibrasyonu iyileştirir. Normal dağılım karmaşık olduğunda veya iyi kalibre edilmiş belirsizlik tahminleri istediğinizde doğal bir uzantıdırlar.
İlgili yöntemler
Kaynaklar
Chalapathy, R. & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407.
Yayın kaynağını açKopyalandı.Hinton, G. E. & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507.
DOI kaynağını açKopyalandı.