Yarı Denetimli Otomatik Kodlayıcı Aykırı Değer Tespiti
- Ortaya koyan
- Ruff, L. et al.; Zong, B. et al.
- Yıl
- 2018–2020
- Tür
- Semi-supervised deep anomaly detection
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Yarı Denetimli Otomatik Kodlayıcı Aykırı Değer Tespiti, öncelikli olarak normal (etiketsiz) veriler üzerinde bir yapay sinir ağı otomatik kodlayıcısı eğitir, ardından karar sınırlarını iyileştirmek için az sayıda etiketli aykırı değer örneği kullanır ve yüksek yeniden yapılandırma hatasına sahip örnekleri aykırı değer olarak tespit eder.
Etiketlerin kıt olduğu ancak bilinen bazı aykırı değerlerin mevcut olduğu durumlarda, tamamen denetimsiz otomatik kodlayıcılar ile tam denetimli sınıflandırıcılar arasındaki boşluğu doldurur.
Yöntemin mantığı
Standart bir otomatik kodlayıcı, normal veriyi iyi bir şekilde sıkıştırmayı ve yeniden yapılandırmayı öğrenir; daha önce hiç görmediği aykırı değerler kötü yeniden yapılandırılır, bu nedenle yeniden yapılandırma hatası onları işaretler. Tamamen denetimsiz otomatik kodlayıcıların neyin aykırı sayıldığına dair bir çıpası yoktur — yalnızca neyin normal olduğunu bilirler. Yarı denetimli varyant, tam denetim gerektirmeden modelin karar sınırını gerçek dünya aykırı değerlerine yaklaştırmak için, ince ayar sırasında etiketli aykırı değerlerin küçük kümesini negatif örnekler olarak kullanır. Sonuç, hem veri açısından verimli hem de her iki aşırı ucun tek başına olduğundan daha iyi kalibre edilmiş bir dedektördür.
Tarih
Denetimsiz otomatik kodlayıcı aykırı değer tespiti, derin öğrenmenin yükselişinden sonra (yaklaşık 2014) ilgi gördü. Zong ve ark. (ICLR 2018), denetimsiz aykırı değer puanlaması için otomatik kodlayıcıları Gauss karışım modelleriyle entegre etti. Ruff ve ark. (ICLR 2020), yarı denetimli varyantı biçimlendirdi ve hatta az sayıda etiketli aykırı değerin bile tamamen denetimsiz taban çizgilerine kıyasla tespiti önemli ölçüde iyileştirdiğini göstererek, günümüzde yaygın olarak kullanılan çerçeveyi oluşturdu.
Ne zaman kullanılır?
Bol miktarda, çoğunlukla normal olan etiketsiz veriye ek olarak az sayıda ancak güvenilir onaylanmış aykırı değer kümeniz olduğunda ve hazır denetimsiz aykırı değer dedektörleri çok fazla yanlış pozitif ürettiğinde önerilir. Özellikle sensör sinyalleri, ağ trafiği veya geleneksel yöntemlerin (örneğin, tek sınıf SVM) yetersiz ölçeklendiği görüntüler gibi yüksek boyutlu veya doğrusal olmayan veriler için etkilidir. Hiç etiketli aykırı değer mevcut olmadığında (denetimsiz otomatik kodlayıcıları tercih edin) veya tam denetimli bir sınıflandırıcı için yeterli etikete sahip olduğunuzda kullanmayın. Çok küçük veri kümeleriyle (birkaç yüz örneğin altında) kaçının, çünkü derin ağ genelleme yapamaz.
Sınırlar ve dikkat edilmesi gerekenler
- Bölümlendirmenin dikkatli yapılmasını gerektirir: etiketsiz havuz çok sayıda aykırı değer içeriyorsa, ön eğitim bozulur ve performans önemli ölçüde düşer.
- Derin otomatik kodlayıcılar, sığ yöntemlere kıyasla eğitmek ve ayarlamak için hesaplama açısından yoğundur.
- Yorumlanabilirlik sınırlıdır; yeniden yapılandırma hatası sinyali, aykırı değere hangi özelliklerin neden olduğunu açıklamaz.
- Mimari derinliği, gizli boyut ve denetimsiz ile denetimli hedefler arasındaki kayıp ağırlıklandırmasına duyarlıdır.
- Eşik seçimi önemsiz değildir ve keyfi kesintileri önlemek için tutulmuş etiketli veriler üzerinde doğrulanmalıdır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Bol miktarda etiketsiz veriyi, kıt etiketli aykırı değerlerle birlikte etkili bir şekilde kullanır, veri verimliliğini en üst düzeye çıkarır.
- Çekirdek tabanlı yöntemler olan tek sınıf SVM'den çok daha iyi şekilde yüksek boyutlu ve doğrusal olmayan özellik uzaylarını işler.
- Aykırı değer puanı (yeniden yapılandırma hatası) süreklidir, bu da ince ayar eşik ayarını operasyonel gereksinimlere uyacak şekilde sağlar.
- Normal veri üzerinde ön eğitim, tam denetimli bir yaklaşıma kıyasla gereken etiketli aykırı değer sayısını azaltan güçlü bir önsel sağlar.
- Mimari esnektir ve görüntüler, zaman serileri veya metinler için evrişimli, tekrarlayan veya dönüştürücü katmanları içerebilir.
Uygulama alanları
- Arızalı olayların nadir ancak belgelendiği sensör veya telemetri akışlarındaki endüstriyel arıza ve kusur tespiti.
- Etiketli tohumlar olarak bilinen saldırı imzalarına sahip ağ saldırısı ve siber güvenlik aykırı değer tespiti.
- Onaylanmış patolojik vakaların nadir olduğu tıbbi görüntüleme veya klinik veri taraması.
- Bol miktarda normal işlemle az sayıda onaylanmış sahte işlemi birleştiren finansal dolandırıcılık tespiti.
- Geçmiş arıza kayıtlarının etiketli aykırı değer örnekleri olarak hizmet ettiği tahmine dayalı bakım işlem hatları.
Nasıl çalışır?
Nasıl çalışır?
Eğitim kümesi, büyük bir etiketsiz veri havuzuna (çoğunlukla normal olduğu varsayılır) ve az sayıda, seçilmiş etiketli aykırı değer kümesine ayrılır. Bu bölümleme, mevcut herhangi bir doğru etiket sinyalinden yararlanırken, onaylanmış aykırı değer etiketlerinin gerçek dünyadaki kıtlığını yansıtır.
Bir kodlayıcı-kod çözücü ağı, yeniden yapılandırma kaybını en aza indirmek için etiketsiz havuz üzerinde önceden eğitilir ve normal örüntülerin kompakt bir gizli temsilini öğrenir. Bu aşama, herhangi bir etiket gerektirmeden normalin neye benzediğine dair temel fikri oluşturur.
İkinci aşamada, etiketli aykırı değerler dahil edilir — ister bir sınıflandırma başlığı eklenerek, ister kontrastlı veya hiperküre kaybı kullanılarak (Deep SVDD uzantılarında olduğu gibi), ister bilinen aykırı değerler için düşük yeniden yapılandırma hatası cezalandırılarak. Bu, karar sınırını onaylanmış anormal noktalardan uzaklaştırır.
Çıkarım zamanında, her örnek eğitilmiş otomatik kodlayıcıdan geçirilir. Aykırı değer puanı tipik olarak yeniden yapılandırma hatasıdır (girdi ve çıktı arasındaki ortalama karesel hata). İsteğe bağlı olarak, normal sınıf merkezinden gizli uzay mesafesi de kullanılır.
Formül
s(x) = \|x - \hat{x}\|^2Aykırı değer puanı üzerinde bir eşik seçilir — etiketli aykırı değerler, hassasiyet-duyarlılık eğrisi veya hedef yanlış pozitif oranı kullanılarak — ikili normal/aykırı etiketleri üretmek için. Eşik seçimi, hassasiyet-duyarlılık ödünleşimini doğrudan yönetir.
Sık yapılan hatalar
- Gizli aykırı değerlerle etiketsiz ön eğitim havuzunu kirletmek, normal veri temsilini baltalar.
- Yeniden yapılandırma hatasını, etiketli örneklere karşı uygun eşik kalibrasyonu olmadan kalibre edilmiş bir olasılık olarak ele almak.
- Nadir aykırı değer sınıfları için aşırı iyimser performans tahminleri üreten, çapraz doğrulama olmadan tek bir eğitim/test bölümlemesi kullanmak.
- Deney yapmadan gizli boyutu seçmek, ya çok küçük (bilgi kaybı) ya da çok büyük (otomatik kodlayıcı, normal veriler kadar aykırı değerleri de yeniden yapılandırır).
- Değerlendirme metriklerini hesaplarken sınıf dengesizliğini göz ardı etmek — aşırı dengesizlikte doğruluk anlamsızdır; bunun yerine AUROC ve ortalama hassasiyeti kullanın.
Sık sorulan sorular
Ne kadar etiketli aykırı değere ihtiyaç var?
Yöntem, en az bir düzine onaylanmış aykırı değerle çalışabilir, ancak performans yüzlercesine kadar önemli ölçüde iyileşir. Anahtar nokta, etiketli aykırı değerlerin alanda mevcut olan ana anormal davranış türlerini kapsamasıdır.
Gizli aykırı değerler içeren etiketsiz havuzum ne olursa?
Etiketsiz kirlilik en büyük hata modudur. İnce ayardan önce ön eğitim havuzundan bariz aykırı değerleri kaldırmak için önleyici bir denetimsiz filtre (örneğin, izolasyon ormanı) uygulayın.
Yeniden yapılandırma hatası eşiğini nasıl seçerim?
Yanlış pozitif ve yanlış negatiflere ilişkin operasyonel toleransınızı karşılayan bir eşik seçmek için etiketli aykırı değer kümenizi ve bir hassasiyet-duyarlılık eğrisini kullanın. Eşiği asla modelin eğitildiği veriler üzerinde seçmeyin.
Bu, tek sınıf SVM veya izolasyon ormanından daha mı iyi?
En azından bazı etiketli aykırı değerlere sahip yüksek boyutlu veya doğrusal olmayan verilerde, yarı denetimli otomatik kodlayıcılar tipik olarak tek sınıf SVM ve izolasyon ormanından daha iyi performans gösterir. Çok küçük örneklemeli düşük boyutlu tablo verilerinde, daha basit yöntemler daha düşük maliyetle performansını eşleştirebilir veya aşabilir.
Hangi değerlendirme metriklerini raporlamalıyım?
Gerçek aykırı değer prevalansını koruyan tutulmuş bir test kümesi üzerinde AUROC ve ortalama hassasiyeti (hassasiyet-duyarlılık eğrisi altındaki alan) raporlayın. Sabit bir eşikte doğruluk ve F1 ikincil metrikler olmalı, eşik gerekçesi sağlanmalıdır.
İlgili yöntemler
Kaynaklar
Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).
Yayın kaynağını açKopyalandı.Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).
Yayın kaynağını açKopyalandı.