Aktif Öğrenme Yalıtım Ormanı
- Ortaya koyan
- Das, S. et al. (active anomaly discovery framework); Liu, F. T. et al. (Isolation Forest base)
- Yıl
- 2008–2019
- Tür
- Active learning wrapper over isolation forest anomaly detector
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Aktif Öğrenme Yalıtım Ormanı, Yalıtım Ormanı'nın denetimsiz aykırı değer puanlama gücünü, en bilgilendirici örnekleri etiketlemesini isteyen yinelemeli bir sorgu stratejisiyle birleştirir.
Sonuç, minimal bir etiketleme bütçesi kullanarak aykırı değer sınırlarını iyileştiren ve nadir ve ince aykırı değerlerde tamamen denetimsiz bir temele kıyasla hassasiyeti önemli ölçüde artıran bir dedektördür.
Yöntemin mantığı
Yalıtım Ormanı, aykırı değerleri rastgele ağaçlarda ne kadar hızlı izole edildiklerine göre puanlar, ancak alan bilgisi olmadan gerçek tehlikeli aykırı değerleri zararsız aykırı değerlerden ayıramaz. Aktif öğrenme, bir insan döngüsü ekler: orman tüm örnekleri puanladıktan sonra, en belirsiz veya en yüksek puanlı olanları seçer ve her aykırı değer etiketini doğrulaması veya reddetmesi için bir uzmana sorar. Her onaylanmış etiketle model, gelecekteki puanları yeniden ağırlıklandırabilir veya yeniden sıralayabilir. Birkaç geri bildirim turu boyunca, az sayıda etiketlenmiş örnek bile dedektörü yanlış alarmlardan uzaklaştırır ve ilgilenilen gerçek aykırı değerlere yönlendirir.
Tarih
Yalıtım Ormanı, Liu, Ting ve Zhou tarafından ICDM 2008'de hızlı, ölçeklenebilir ve varsayımları hafif bir aykırı değer dedektörü olarak tanıtıldı; bu dedektör normal davranışı modellemek yerine aykırı değerleri izole eder. Aktif öğrenme, 2010'ların ortalarından itibaren aykırı değer tespitine sistematik olarak uygulandı. Das ve arkadaşları (ICDM 2019), Yalıtım Ormanı dahil olmak üzere topluluk tabanlı puanlayıcıları yinelemeli uzman geri bildirimleriyle açıkça birleştiren bir aktif aykırı değer keşif çerçevesi oluşturdular ve az sayıda etiketin yüzlerce örnek üzerinde eğitilmiş tamamen denetimli dedektörlere rakip olabileceğini gösterdiler. Yaklaşım o zamandan beri dolandırıcılık, izinsiz giriş tespiti ve sensör analitiği alanlarında uygulanmıştır.
Ne zaman kullanılır?
Etiketlenmemiş veya çoğunlukla etiketsiz tablo verileri üzerinde bir aykırı değer tespit göreviyle karşılaştığınızda ve az sayıda uzman etiketini karşılayabiliyorsanız — genellikle birkaç tur boyunca 10-100 sorgu — Aktif Öğrenme Yalıtım Ormanı'nı kullanın. Özellikle siber güvenlik, dolandırıcılık tespiti, tahmine dayalı bakım ve klinik aykırı değer belirleme gibi yanlış pozitiflerin maliyetli olduğu ve bir alan uzmanının sunulan bir örneği güvenilir bir şekilde yargılayabileceği durumlar için uygundur. Güvenilir bir oracle'ın bulunmadığı, aykırı değer kavramının zaman içinde kararsız olduğu veya örnek başına etiketleme maliyetinin çok yüksek olduğu ve hatta 10 sorgunun bile imkansız olduğu durumlarda kullanmayın. Birkaç yüz aykırı değerden oluşan etiketlenmiş bir veri kümesi mevcut olduğunda, tamamen denetimli bir sınıflandırıcı tercih edilmelidir.
Sınırlar ve dikkat edilmesi gerekenler
- Güvenilir ve mevcut bir oracle gerektirir; uzman etiketleri gürültülü veya tutarsız ise, geri bildirim modeli bozabilir.
- Sorgu stratejileri, her turda tüm havuzun puanlanmasının mümkün olduğunu varsayar, bu da çok büyük veri kümeleri için maliyetli olabilir.
- Yaklaşım, nihai model seçilen sorgulara ve sağlanan etiketlere bağlı olduğundan, basit bir Yalıtım Ormanı'ndan daha fazla yeniden üretilmesi ve denetlenmesi zordur.
- Aykırı değerlerin doğasının zamanla değiştiği kavram kayması otomatik olarak ele alınmaz ve aktif döngünün yeniden başlatılmasını gerektirebilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Yalıtım Ormanı'nın ölçeklenebilirliğini ve yorumlanabilirliğini kullanırken, minimal etiketleme çabasıyla uzman bilgisini enjekte eder.
- Yüksek riskli alanlarda maliyetli yanlış pozitifleri azaltarak, tamamen denetimsiz bir temele kıyasla hassasiyeti önemli ölçüde iyileştirir.
- Modelden bağımsız sorgu stratejileri (belirsizlik, en-iyi-k, çeşitlilik), yalnızca Yalıtım Ormanı'na değil, herhangi bir aykırı değer puanlayıcısına uyarlanabilir.
- Aykırı değerlerin son derece nadir olduğu ve denetimli öğrenmenin büyük etiketlenmiş veri kümeleri gerektireceği sınıf dengesizliği durumlarında iyi çalışır.
- Her sorgu turu, ilerlemeyi paydaşlara şeffaf hale getirerek aykırı değer sıralamasında anında, ölçülebilir bir iyileşme sağlar.
Uygulama alanları
- Analistlerin vardiya başına küçük bir şüpheli bağlantı kümesini etiketlediği ağ izinsiz giriş ve siber güvenlik uyarı triyajı.
- Kredi kartı dolandırıcılığı tespiti, işaretlenen işlemlere periyodik analist incelemesi ile.
- Sınırlı arıza kayıtlarıyla sensör akışlarından nadir makine arızalarını tanımlayan üretimde tahmine dayalı bakım.
- Klinisyenlerin alışılmadık hasta profillerini doğruladığı elektronik sağlık kayıtlarında klinik aykırı değer tespiti.
- Alan bilimcileri tarafından incelenen deneysel veri kümelerindeki enstrüman hatalarını işaretleyen bilimsel veri kalitesi kontrolü.
Nasıl çalışır?
Nasıl çalışır?
İlk olarak tüm mevcut etiketsiz veriler üzerinde bir Yalıtım Ormanı eğitilir. Her örnek, rastgele özyinelemeli bölümlemenin onu ne kadar hızlı izole ettiğine dayalı bir aykırı değer puanı alır: seyrek, kolayca izole edilebilen bölgelerdeki örnekler yüksek puanlar alır. Bu denetimsiz geçiş, aktif öğrenme döngüsünü anlamlı bir başlangıç sıralamasıyla başlatır.
Tüm etiketsiz havuz örnekleri aykırı değer puanlarına göre sıralanır. Bir sorgu stratejisi — en yüksek puanlı ilk-k örneği seçmek veya puanları belirsiz bir sınır bölgesine düşenleri seçmek gibi — bir oracle etiketinin en bilgilendirici olacağı örnekleri belirler.
Seçilen örnekler bir alan uzmanına (veya deneylerde simüle edilmiş bir oracle'a) sunulur ve her birini aykırı değer veya normal olarak etiketler. Tur başına yalnızca az sayıda sorgu gerekir, bu da etiketleme pahalı olduğunda veya uzman yargısı gerektirdiğinde yaklaşımı pratik hale getirir.
Yeni etiketlenmiş örnekler modele dahil edilir. Bu, onaylanmış aykırı değerlerle aynı fikirde olan küme üyelerini yeniden ağırlıklandırmak, yol uzunluğu eşiklerini ince ayarlamak veya etiketlenmiş küme denetim kısıtlamaları olarak eklenerek yeniden eğitmek anlamına gelebilir. Kalan havuz için puan sıralamaları yeniden hesaplanır.
Sorgu-etiket-güncelleme döngüsü, sabit sayıda tur için veya etiketleme bütçesi tüketilinceye kadar tekrarlanır. Nihai dedektör, hem orijinal denetimsiz ormanın yakaladığı geniş yapıyı hem de etiketlenmiş geri bildirim yoluyla kodlanmış uzman bilgisini yansıtır ve alan için özel olarak ayarlanmış yüksek hassasiyetli bir aykırı değer sıralayıcısı sunar.
Sık yapılan hatalar
- Yalnızca en yüksek aykırı değer puanlarına sahip örnekleri sorgulamak, modelin başlangıçta normal görünen yeni aykırı değer türlerini kaçırmasına neden olarak bir onay yanlılığı oluşturabilir.
- Hassasiyet tahminlerini şişiren, sorgulanan örnekler yerine tutulan bir test kümesi üzerinde performansı raporlamak.
- Özellikle tıbbi veya güvenlik bağlamlarında, oranlar arası anlaşmazlığı hesaba katmadan oracle etiketlerini doğru veri olarak ele almak.
- Geri bildirimden sonra tüm denetimsiz ormanı yeniden değerlendirmeyi unutmak; eski puanlar sonraki sorgu turlarını verimsiz hale getirebilir.
Sık sorulan sorular
Anlamlı bir iyileşme için tipik olarak kaç etiketlenmiş örnek gerekir?
Oracle etiketlerinin güvenilir olması koşuluyla, 10 ila 50 uzman etiketi, 3 ila 5 geri bildirim turuna yayılmış, tamamen denetimsiz bir Yalıtım Ormanı'ndan hassasiyet açısından önemli ölçüde daha iyi performans göstermek için genellikle yeterlidir.
Her turdan sonra temel Yalıtım Ormanı'nın sıfırdan yeniden eğitilmesi gerekir mi?
Zorunlu değil. Birçok uygulama, tam yeniden eğitim yapmadan mevcut ağaç yollarını yeniden ağırlıklandırır veya yeniden sıralar, bu da hesaplama açısından verimlidir. Etiket kısıtlamalarıyla tam yeniden eğitim, etiketlenmiş küme yeterince büyüdüğünde bir seçenektir.
Aykırı değer tespiti için hangi sorgu stratejisi en iyi sonucu verir?
En yüksek puanlı etiketsiz örnekleri seçen en-iyi-k puanlama, aykırı değerler nadir olduğunda basittir ve etkilidir. Aykırı değer sınırı belirsiz olduğunda belirsizlik veya marj tabanlı stratejiler yardımcı olur. Çeşitlilik farkındalığı stratejileri sorgular arasındaki fazlalığı azaltır.
Bu yaklaşım akışkan veya çevrimiçi verileri işleyebilir mi?
Standart Yalıtım Ormanı bir yığın yöntemidir, bu nedenle aktif öğrenme uzantıları da yığın odaklı olma eğilimindedir. Akış ortamları için, aktif geri bildirim uygulanmadan önce Yalıtım Ormanı'nın çevrimiçi veya kayan pencere varyantları gereklidir.
Yalnızca birkaç örnek etiketlendiği göz önüne alındığında modeli adil bir şekilde nasıl değerlendiririm?
Asla sorgulama için kullanılmayan ayrı bir etiketlenmiş test kümesini tutun. Sorgulanan etiketlere aşırı uyum sağlamak yerine gerçek iyileşmeyi izlemek için her turda bu küme üzerinde hassasiyet, geri çağırma ve AUCROC'yi değerlendirin.
İlgili yöntemler
Kaynaklar
Das, S., Wong, W. K., Fern, A., Dietterich, T. G., & Amran Siddiqui, M. (2019). Incorporating Expert Feedback into Active Anomaly Discovery. In Proceedings of the 2019 IEEE International Conference on Data Mining (ICDM), pp. 1009–1014.
Yayın kaynağını açKopyalandı.Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008). Isolation Forest. In Proceedings of the 8th IEEE International Conference on Data Mining (ICDM), pp. 413–422.
DOI kaynağını açKopyalandı.