Topluluklu Otomatik Kodlayıcı Aykırı Değer Tespiti
- Ortaya koyan
- Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
- Yıl
- 2017
- Tür
- Ensemble unsupervised anomaly detection
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Topluluklu Otomatik Kodlayıcı Aykırı Değer Tespiti, normal sınıf verileri üzerinde birden çok otomatik kodlayıcı yapay sinir ağı eğitir ve sağlam bir aykırı değer puanı üretmek için yeniden yapılandırma hatalarını toplar.
Tek bir otomatik kodlayıcıya güvenmek yerine çeşitli otomatik kodlayıcıları birleştirerek, yöntem aykırı değer sıralamalarını stabilize eder ve rastgele başlatmaya veya suboptimal mimari seçimlerine duyarlılığı azaltır.
Yöntemin mantığı
Tek bir otomatik kodlayıcı, normal gözlemleri sıkıştırmayı ve ardından yeniden yapılandırmayı öğrenir; aykırı değerler kötü sıkıştırılır ve yüksek yeniden yapılandırma hatası verir. Sorun, tek bir otomatik kodlayıcının aykırı değer puanının kırılgan olmasıdır — belirli bir rastgele başlatmaya ve mimariye bağlıdır. Bir topluluk, farklı rastgele özellik veya veri alt kümeleri üzerinde birçok otomatik kodlayıcı eğitir, ardından yeniden yapılandırma hatalarını ortalar. Her ağın bireysel tuhaflıkları iptal olur, kandırılması daha zor ve eşiklenmesi daha kolay, daha kararlı, daha güvenilir bir aykırı değer sinyali üretir.
Tarih
Otomatik kodlayıcı tabanlı aykırı değer tespiti, Hinton ve Salakhutdinov'un 2006'daki derin otomatik kodlayıcılar üzerine yaptığı çalışmanın ardından popülerleşti; burada yüksek yeniden yapılandırma hatası doğal bir aykırı değer sinyali olarak ortaya çıktı. Topluluk uzantısı, Chen, Sathe, Aggarwal ve Turaga tarafından 2017 SIAM Veri Madenciliği konferansında biçimlendirildi; özellik torbalama yoluyla otomatik kodlayıcıları çeşitlendirmenin tek bir modeli güvenilir bir şekilde geride bıraktığını gösterdiler. Yaklaşım artık ağ ihlali, tahmine dayalı bakım ve tıbbi izleme için endüstriyel aykırı değer tespiti işlem hatlarında rutin olarak yer almaktadır.
Ne zaman kullanılır?
Ağırlıklı olarak etiketlenmemiş veriye sahip olduğunuzda ve yüksek boyutlu sürekli özelliklerde nadir aykırı değerleri tespit etmek istediğinizde — örneğin, sensör akışları, işlem günlükleri veya tıbbi sinyaller — ve tek bir otomatik kodlayıcı çalıştırmalar arasında kararsızlık gösterdiğinde kullanın. Ayrıca, aykırı değer etiketlerinin mevcut olmadığı ve tek bir ağdan daha iyi kararlılığa sahip denetimsiz bir temel çizgiye ihtiyaç duyduğunuzda etkilidir. Veri kümesi çok küçükse (özellik başına birkaç yüz normal gözlemden az), otomatik kodlayıcılar anlamlı bir manifold öğrenemeyeceği için kullanmaktan kaçının. Uygun gömme ön işleme olmadan kategorik veya seyrek metin verileri için kullanmayın ve tek bir iyi ayarlanmış izolasyon ormanı veya tek sınıf SVM yeterliyse kullanmayın, çünkü topluluklar eğitim süresini ve karmaşıklığı artırır.
Sınırlar ve dikkat edilmesi gerekenler
- K otomatik kodlayıcıyı eğitmek, hesaplama ve bellek gereksinimlerini çarpar; derin ağlarda büyük topluluklar pahalıdır.
- Aykırı değerlerin yüksek yeniden yapılandırma hatası ile karakterize edildiği varsayılır — öğrenilen manifold üzerinde yer alan düşmanca veya yapısal aykırı değerler kaçırılabilir.
- Eğitim verilerindeki aykırı değerlerin oranına duyarlıdır; ağır kirlenme öğrenilen normal manifold'u bozar ve aykırı değer puanlarını bastırır.
- Hiperparametre seçimleri (model sayısı, mimari, toplama fonksiyonu) doğrulama verileri veya alan bilgisi gerektirir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Tek bir otomatik kodlayıcıya kıyasla aykırı değer puanlarındaki varyansı azaltır, rastgele tohumlar boyunca daha kararlı sıralamalar sağlar.
- Çeşitli dedektörlerin topluluğu, heterojen aykırı değer türlerinde geri çağırmayı iyileştirerek normalliğin farklı yönlerini yakalar.
- Tamamen denetimsiz — aykırı değer etiketleri gerekmez, yalnızca normal veya karışık etiketlenmemiş veriler gerekir.
- K-NN aykırı değer tespiti gibi mesafeye dayalı yöntemlerin bozulduğu yüksek boyutlu sürekli verilere ölçeklenir.
- Veri yapısına uyacak şekilde çok çeşitli otomatik kodlayıcı mimarileriyle (vanilla, varyasyonel, evrişimli) uyumludur.
- Topluluk puanının tek bir ağın puanından daha güvenilir bir şekilde eşiklenmesi daha kolaydır, bu da kalibrasyon çabasını azaltır.
Uygulama alanları
- Yüksek boyutlu paket veya akış özelliklerinden ağ ihlali tespiti.
- Çok değişkenli sensör zaman serilerinde tahmine dayalı bakım aykırı değer puanlaması.
- Etiketlenmemiş veya zayıf etiketlenmiş akışlarda finansal işlem dolandırıcılık tespiti.
- Nadir patolojik desenler için tıbbi biyosinyal izleme (EKG, EEG).
- Üretimde kalite kontrol, kusur örneklerinin az olduğu yerlerde.
- Aktif öğrenme etiketleme kampanyalarından önce temel denetimsiz aykırı değer puanlaması.
Nasıl çalışır?
Nasıl çalışır?
K otomatik kodlayıcı, (varsayılan olarak) normal eğitim verileri üzerinde, her biri farklı bir rastgele başlatma ve isteğe bağlı olarak farklı girdi özelliği alt kümeleri veya ağ mimarileri ile bağımsız olarak eğitilir. Eğitim, her ağın normal örnekler üzerindeki yeniden yapılandırma kaybını en aza indirmesini teşvik eder, böylece normal davranışın manifoldunu öğrenir.
Her test gözlemi için, her otomatik kodlayıcı onu gizli bir temsile kodlar ve geri kodlar. Orijinal girdi ile yeniden yapılandırma arasındaki karesel L2 mesafesi, ağ başına aykırı değer puanıdır: yüksek hata, gözlemin öğrenilen normal manifolddan saptığını gösterir.
Formül
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2K bireysel puan, gözlem başına tek bir aykırı değer puanında toplanır — yaygın olarak ortalama alma, maksimum alma veya sıra normalleştirilmiş bir kombinasyon uygulama yoluyla. Ortalama alma varyansı azaltır; maksimum, en az bir dedektörün bir aykırı değeri yakalamasına daha duyarlıdır.
Formül
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})Gözlemleri anormal olarak etiketlemek için toplanan puana bir eşik uygulanır. Eşik genellikle tutulan normal veriler üzerinde hedeflenen bir yanlış pozitif oranla seçilir veya yer gerçeği etiketleri mevcut olmadığında puan değerlerinin en üst %p'si anormal olarak kabul edilir.
Sık yapılan hatalar
- Eğitim kümesine farkında olmadan aykırı değerlerin dahil edilmesi — bu, öğrenilen normal manifold'u bozar ve kirlilik için aykırı değer puanlarını bastırır.
- Eşiği kalibre etmek için tutulmuş normal bir örnek olmadan yalnızca eğitim kümesi üzerinde değerlendirme yapmak, aşırı güvenli aykırı değer etiketlerine yol açar.
- Aykırı değer puanını hangi özelliklerin yönlendirdiğini gizleyerek, yalnızca yeniden yapılandırma hatasını kullanmak ve boyuta göre katkıları kontrol etmemek.
- Topluluğun ayarlama gerektirmediği şeklinde ele almak — otomatik kodlayıcı sayısı, derinlikleri ve toplama fonksiyonu performansı etkiler ve doğrulanmalıdır.
- Otomatik kodlayıcıların anlamlı bir şekilde genelleme yapamadığı ve her noktanın anormal göründüğü, özellik sayısına göre çok az gözlem içeren veri kümelerine yöntemi uygulamak.
Sık sorulan sorular
Topluluk kaç otomatik kodlayıcı içermelidir?
Araştırmalar, yaklaşık 10-20 çeşitli ağın ötesinde azalan getiriler olduğunu göstermektedir. 10 ile başlayın ve toplanan puanın çalıştırmalar boyunca stabilize olup olmadığını izleyin; hala değişiyorsa, daha fazlasını ekleyin veya özellik alt örneklemesi yoluyla çeşitliliği artırın.
Otomatik kodlayıcılar arasında çeşitliliği nasıl tanıtmalıyım?
Yaygın stratejiler arasında rastgele başlatma, girdi özelliklerinin rastgele alt kümeleri (özellik torbalama), farklı gizli boyut boyutları, bırakma oranları veya farklı mimariler (sığ ve derin) bulunur. Özellik torbalama, tablo verileri için en basit ve en etkili olanıdır.
Eğitim verilerinin aykırı değer içermemesi gerekiyor mu?
İdeal olarak evet, ancak orta düzeyde kirlenme (yaklaşık %5'in altında) tolere edilebilir. Aykırı değerlerin oranı daha yüksekse, otomatik kodlayıcı onları iyi yeniden yapılandırmayı öğrenir ve aykırı değer puanları küçülür. Otomatik kodlayıcıları eğitmeye başlamadan önce daha basit bir dedektör (izolasyon ormanı) ile ön filtreleme yapmak yardımcı olabilir.
Aykırı değer eşiğini nasıl ayarlamalıyım?
Hedeflenen bir yanlış pozitif oranınız varsa (örneğin %1), eşiği tutulmuş normal veriler üzerindeki puan dağılımının karşılık gelen yüzdelik dilimine ayarlayın. Etiketler olmadan, puanların en üst %p'sini aykırı değer olarak kabul edin ve alan uzmanları veya aşağı akış değerlendirme metrikleri ile doğrulayın.
Tek bir otomatik kodlayıcı ne zaman topluluktan daha iyidir?
Hesaplama gücünün ciddi şekilde kısıtlı olduğu, veri kümesinin küçük olduğu veya tek bir iyi ayarlanmış otomatik kodlayıcının tohumlar boyunca kararlı performans gösterdiği durumlarda. Topluluklar öncelikle bireysel model varyansının yüksek olduğu veya aykırı değer çeşitliliğinin beklendiği durumlarda değer katar.
İlgili yöntemler
Kaynaklar
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.
Yayın kaynağını açKopyalandı.Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.
ISBN: 978-3-319-47578-3Kopyalandı.