Aktif Öğrenme Otomatik Kodlayıcı Anomali Tespiti
- Ortaya koyan
- Multiple (Guo et al.; Pimentel et al.)
- Yıl
- 2014–2018
- Tür
- Active learning + unsupervised deep anomaly detection hybrid
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Aktif Öğrenme Otomatik Kodlayıcı Anomali Tespiti, bir otomatik kodlayıcının denetimsiz yeniden yapılandırma hatası puanlamasını aktif öğrenme sorgu döngüsüyle birleştirir.
Model, yüksek hata örneklerini aday anomaliler olarak işaretler, en bilgilendirici olanları etiketlemek için seçici olarak bir insan otoritesine sorar ve yinelemeli olarak yeniden eğitir — yalnızca küçük bir etiketleme bütçesiyle güçlü anomali tespiti elde eder.
Yöntemin mantığı
Düz bir otomatik kodlayıcı normal verileri yeniden yapılandırmayı öğrenir ve yüksek yeniden yapılandırma hatasını anormal olarak işaretler, ancak bu işaretlerin doğru olup olmadığına dair bir geri bildirimi yoktur. Aktif öğrenme akıllı bir sorgulama adımı ekler: etiketlenmemiş tüm örnekleri puanladıktan sonra, sistem en belirsiz veya en yüksek hataya sahip adayları seçer ve yalnızca bunları etiketlemesi için bir uzmana sorar. Her etiketlenmiş örnek, modelin gerçek bir anomali ile gürültülü bir aykırı değerin ne olduğu konusundaki anlayışını hemen iyileştirir, böylece tespit sınırı minimum ek çabayla keskinleşir.
Tarih
Otomatik kodlayıcı tabanlı anomali tespiti, 2010'larda yenilik tespiti literatüründen ortaya çıktı, Pimentel ve diğerleri (2014) tarafından kapsamlı bir şekilde gözden geçirildi. Aktif öğrenme ile entegrasyon, ağ saldırısı ve tıbbi izleme gibi alanlardaki pratik etiketleme kısıtlamaları tarafından yönlendirildi. 2010'ların sonlarına doğru, Guo, Görnitz ve diğerlerinin makaleleri, yeniden yapılandırma hatası manzaralarına uyarlanmış sorgu stratejilerini biçimlendirerek, hibritin derin anomali tespiti literatüründe tanınan bir yaklaşım olarak yerleşmesini sağladı.
Ne zaman kullanılır?
Etiketlenmiş veri havuzunuzda nadir anomaliler bulunan ve etiketlemenin pahalı olduğu veya uzman yargısı gerektirdiği ve yalnızca küçük bir etiketleme bütçesi ayırabileceğiniz durumlarda bu yöntemi kullanın. Endüstriyel hata tespiti, tıbbi anomali taraması, dolandırıcılık tespiti ve anomalilerin hem nadir hem de heterojen olduğu saldırı tespiti için uygundur. Bol miktarda etiketlenmiş veriniz varsa — denetimli yöntemler daha iyi performans gösterecektir — veya otorite mevcut değilse veya güvenilmezse bundan kaçının. Ayrıca, anomali kavramının yinelemeli yeniden eğitimin ayak uyduramayacağı kadar hızlı değiştiği durumlarda da uygun değildir.
Sınırlar ve dikkat edilmesi gerekenler
- Sorgu döngüsü insan döngü içi gecikme getirir; otorite eğitim boyunca mevcut olmalıdır.
- Performans, sorgu stratejisinin kalitesine bağlıdır — kötü bir edinme işlevi, etiketleme bütçesini gereksiz örnekler için boşa harcayabilir.
- Otomatik kodlayıcılar, iyi yeniden yapılandırılan anomalileri (örneğin, düşmanca veya dağılım içi aykırı değerler) tespit edemeyebilir.
- Derin ağların yinelemeli yeniden eğitimi, özellikle büyük modeller veya akış verileri için hesaplama açısından pahalı olabilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Uzman etiketlemesini uygun maliyetli hale getirerek yalnızca küçük bir etiketli bütçeyle güçlü tespit performansı elde eder.
- Otomatik kodlayıcı aşaması, herhangi bir sorgudan önce kullanışlı bir soğuk başlangıç sağlayarak ilk eğitim için hiç etikete ihtiyaç duymaz.
- Aktif sorgulama, etiketleme çabasını en bilgilendirici sınır durumlarına yoğunlaştırarak anomali eşiğinin kalibrasyonunu iyileştirir.
- Esnek mimari: otomatik kodlayıcı omurgası, farklı veri modalitelerine uyacak şekilde dönüştürücü, tekrarlayan veya varyasyonel varyantlarla değiştirilebilir.
- Derin öğrenmenin temsil gücünü aktif öğrenmenin etiket verimliliği ile birleştirir.
Uygulama alanları
- Etiketlenmiş hata örneklerinin nadir ve elde edilmesi maliyetli olduğu endüstriyel hata ve kusur tespiti.
- Yinelemeli radyolog etiketlemesi ile tıbbi görüntü anomali taraması.
- Şüpheli trafiğin güvenlik analisti tarafından etiketlenmesiyle ağ saldırısı tespiti.
- Dolandırıcılık modellerinin geliştiği ve etiketlenmiş dolandırıcılık vakalarının az olduğu finansal işlemlerde dolandırıcılık tespiti.
- Mühendis tarafından etiketlenmiş minimum arıza olaylarıyla zaman serisi sensör verileri için tahmine dayalı bakım.
Nasıl çalışır?
Nasıl çalışır?
Bir otomatik kodlayıcı öncelikle mevcut etiketlenmemiş veriler üzerinde eğitilir — tercihen çoğunlukla normal örnekler. Kodlayıcı, her girdiyi gizli bir temsile sıkıştırır ve kod çözücü onu yeniden yapılandırır. Ağ, eğitim kümesi boyunca yeniden yapılandırma hatasını en aza indirerek normal desenlerin manifoldunu öğrenir.
Eğitimden sonra, her etiketlenmemiş örnek, yeniden yapılandırma hatasına (ortalama karesel hata veya ortalama mutlak hata) eşit bir anomali puanı alır. Otomatik kodlayıcının iyi yeniden yapılandıramadığı örnekler, öğrenilen normal manifolddan sapar ve en yüksek puanı alır.
Formül
s_i = \|x_i - \hat{x}_i\|^2Aktif öğrenme edinme işlevi — en yüksek yeniden yapılandırma hatası, marj örneklemesi veya aşağı akış sınıflandırıcısından gelen belirsizlik gibi — en bilgilendirici etiketlenmemiş örnekleri seçer ve bunları etiketleme için bir insan otoritesine sunar. Her yinelemede yalnızca küçük bir sorgu bütçesi harcanır.
Yeni etiketlenmiş örnekler eğitim kümesine dahil edilir. Otomatik kodlayıcı (ve etiketlenmiş anomali/normal çiftler üzerinde eğitilmiş herhangi bir denetimli başlık) yeniden eğitilir veya ince ayarlanır. Anomali puanları yeniden hesaplanır ve etiketleme bütçesi tükenene kadar sorgu-etiket-yeniden eğitim döngüsü tekrarlanır.
Yeniden yapılandırma hatası üzerinde bir karar eşiği seçilir — genellikle etiketlenmiş alt küme üzerinde doğrulama yoluyla — ve üzerindeki tüm etiketlenmemiş örnekler anomali olarak sınıflandırılır. Aktif öğrenmeden gelen etiketli geri bildirim, bu eşik seçimini keyfi bir kantile dayanmaktan daha ilkeli hale getirir.
Sık yapılan hatalar
- Otomatik kodlayıcıyı zaten birçok anomali içeren bir veri kümesi üzerinde eğitmek, yeniden yapılandırma temelini bozar ve puanlamayı düşürür.
- Yalnızca yeniden yapılandırma hatasını sorgu işlevi olarak kullanarak çeşitliliği dikkate almamak, yoğun normal bölgelerde gereksiz sorgulara yol açar.
- Etiketlenmiş veriler üzerinde ince ayar yaparken sınıf dengesizliğini göz ardı etmek; nadir anomali etiketlerinin yukarı ağırlıklandırılması veya aşırı örneklenmesi gerekir.
- Anomali eşiğini, otorite tarafından sağlanan etiketleri kullanmadan etiketlenmemiş veriler üzerinde ayarlamak, aktif öğrenmenin amacını boşa çıkarır.
- Karar sınırı stabilize olmadan sorgu döngüsünü çok erken durdurmak ve ilk yeniden yapılandırma puanlarını nihai olarak kabul etmek.
Sık sorulan sorular
Tipik olarak kaç etiketli sorgu gereklidir?
Sonuçlar veri kümesine ve anomali nadirliğine göre değişir, ancak çalışmalar genellikle yalnızca 20-100 etiketli sorguyla anlamlı kazanımlar gösterir. Anahtar nokta, aktif öğrenme stratejisinin bu sorguları rastgele olanlar yerine en belirsiz karar sınırı örneklerine yoğunlaştırmasıdır.
Hangi sorgu stratejisini kullanmalıyım?
En yüksek yeniden yapılandırma hatası en basit başlangıç noktasıdır ve genellikle rekabetçidir. Daha gelişmiş seçenekler arasında, etiketlenmiş alt küme üzerinde eğitilmiş bir aşağı akış ikili sınıflandırıcısından gelen belirsizlik örneklemesi veya gereksiz kümeleri sorgulamaktan kaçınmak için bilgilendiriciliği çeşitlilikle dengeleyen hibrit stratejiler bulunur.
Düz bir otomatik kodlayıcı yerine varyasyonel bir otomatik kodlayıcı (VAE) kullanmam gerekir mi?
Standart bir otomatik kodlayıcı çoğu tablo ve sıralı görev için çalışır. VAE'ler, sorgu seçimi için daha iyi belirsizlik tahminleri sağlayabilen olasılıksal bir gizli alan sağlar, bu da onları görüntü verileri için veya kalibre edilmiş belirsizlik puanlarının önemli olduğu durumlar için tercih edilebilir kılar.
Verilerin çoğu etiketlenmemişken performansı nasıl değerlendiririm?
Hassasiyet, geri çağırma ve AUC-ROC'yi hesaplamak için tutulan bir doğrulama kümesi olarak otorite tarafından etiketlenmiş alt kümeyi kullanın. Etiketlenmemiş havuz için, modelin iyileştiğini doğrulamak üzere aktif öğrenme yinelemelerinden önce ve sonra yeniden yapılandırma hatası dağılımlarını rapor edin.
Bunu bir akış veya çevrimiçi ortamda kullanabilir miyim?
Evet, ancak sorgu döngüsü kayan pencere veya mini yığın rejimine uyarlanmalıdır. Otomatik kodlayıcı artımlı olarak güncellenmeli ve bütçe yönetimi kavram kaymasını hesaba katmalıdır — erken görülen anomaliler daha sonra ortaya çıkanlardan farklı olabilir.
İlgili yöntemler
Kaynaklar
Pimentel, M. A. F., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215–249.
DOI kaynağını açKopyalandı.Zhu, Y., Lukasiewicz, T. (2020). DPLAN: Discourse-level Plan-based Text Generation. Proceedings of the 28th International Conference on Computational Linguistics, 3464–3474. (See also: Guo et al. (2018). Deep Active Learning for Anomaly Detection. Neurocomputing, 290, 135–143.)
Yayın kaynağını açKopyalandı.