Yarı denetimli Isolation Forest
- Ortaya koyan
- Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
- Yıl
- 2013–2020
- Tür
- Ensemble anomaly detection (semi-supervised extension)
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Yarı denetimli Isolation Forest, klasik Isolation Forest aykırı değer tespit edicisini, büyük bir etiketsiz veri kümesinin yanı sıra küçük bir etiketli aykırı değer (ve muhtemelen normal) örneği kümesi dahil ederek genişletir.
Bu etiket rehberliği, bilinen aykırı değerlerin daha güvenilir bir şekilde ayrılmasını sağlamak için modelin aykırı değer puanlarını ayarlar ve tam denetimsiz ile tam denetimli tespit arasındaki boşluğu doldurur.
Yöntemin mantığı
Standart Isolation Forest, bir noktanın rastgele bir ağaç tarafından ne kadar hızlı izole edildiğine göre aykırı değerleri puanlar — aykırı değerler daha az bölme ile izole edilir. Ancak herhangi bir etiket olmadan modelin alanınızda gerçekte neyin aykırı sayıldığına dair bir geri bildirimi olmaz. Yarı denetimli Isolation Forest, az sayıda doğrulanmış örnek (bilinen aykırı değerler veya bilinen normal değerler veya her ikisi) sunar ve bunları puanlama sürecini kalibre etmek veya yeniden ağırlıklandırmak için kullanır. Sonuç, ormanın içsel ayrım gücünün gerçekte önemli olan aykırı değer örüntülerine doğru yönlendirilmesi, tam etiketli bir eğitim kümesine ihtiyaç duymadan yanlış alarmları ve kaçırılan tespitleri önemli ölçüde azaltmasıdır.
Tarih
Isolation Forest, 2008 yılında Liu, Ting ve Zhou tarafından rastgele özyinelemeli bölümlemeye dayanan tamamen denetimsiz bir aykırı değer tespit edici olarak tanıtıldı. Birkaç etiketin bile tespiti dramatik şekilde iyileştirebileceğini fark eden araştırmacılar, yaklaşık 2013'ten itibaren puanlama veya ağaç ağırlıklandırma sürecine etiket rehberliğini dahil eden yarı denetimli uzantılar geliştirdiler. Denetimli aykırı değer tespiti üzerine ilgili teorik zemin Görnitz ve ark. (2013) tarafından atıldı ve dolandırıcılık tespiti ve ağ saldırılarını ele alan uygulamalı yayınlarda 2010'ların sonlarına doğru pratik SSIF varyantları ortaya çıktı.
Ne zaman kullanılır?
Büyük bir etiketsiz veri havuzunuz olduğunda, tam etiketlemenin maliyetinin engelleyici olduğu, ancak en azından doğrulanmış aykırı değerlerin küçük bir kümesi (ve isteğe bağlı olarak bazı doğrulanmış normal değerler) için etiket elde edebildiğinizde Yarı denetimli Isolation Forest'ı kullanın. Özellikle siber güvenlik, dolandırıcılık, tahmine dayalı bakım ve tıbbi izleme alanlarında nadir olay tespiti için değerlidir, çünkü alan uzmanları az sayıda bilinen olayı etiketleyebilir. Hiç etiketli aykırı değer olmadığında (standart Isolation Forest veya One-Class SVM tercih edin), veri ön işleme olmadan yüksek boyutlu ve seyrek olduğunda veya büyük, tam etiketli bir küme zaten mevcut olduğunda (tam denetimli bir sınıflandırıcı daha iyi performans gösterecektir) kullanmayın.
Sınırlar ve dikkat edilmesi gerekenler
- Etiketli aykırı değerler, etiketsiz verilerdeki aykırı değer dağılımını temsil etmiyorsa performans düşer.
- Etiket entegrasyonu için en uygun mekanizma uygulamalar arasında değişir; henüz evrensel olarak baskın tek bir varyant yoktur.
- Standart iForest gibi, veri merkezinin yakınında kümelenmiş aykırı değerlerle veya belirli çok modlu dağılımlarla mücadele edebilir.
- Değerlendirme yaparken etiket sızıntısından kaçınmak için dikkat gerektirir: etiketli küme test kümesiyle çakışmamalıdır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Tam denetimsiz iForest'ten daha yüksek hassasiyet ve geri çağırma elde eder, puanları gerçek etiketli aykırı değerlere sabitleyerek.
- Yalnızca az sayıda etikete ihtiyaç duyar, bu da etiketlemenin pahalı olduğu durumlarda pratik hale getirir.
- iForest'in alt-doğrusal eğitim süresini ve düşük bellek ayak izini miras alır, büyük veri kümelerine ölçeklenir.
- Mesafe veya yoğunluk varsayımları olmadan yüksek boyutlu tablo verilerini işler.
- Keyfi eşik seçimini azaltır: etiketli alt küme, ilkeli bir kalibrasyon temeli sağlar.
Uygulama alanları
- Normal trafikle birlikte az sayıda doğrulanmış saldırı örneğini kullanan ağ saldırı tespiti.
- Etiketleme için yalnızca az sayıda doğrulanmış sahte işlem örneğinin mevcut olduğu finansal dolandırıcılık tespiti.
- Tahmine dayalı bakım: sensör akışlarındaki aykırı değer puanlarını kalibre etmek için doğrulanmış arıza olaylarını kullanmak.
- Tıbbi izleme: elektronik sağlık kayıtlarından doğrulanmış patolojik vakalarla aykırı değer puanlamasını yönlendirmek.
- Bağımsız olarak doğrulanmış kusurlu birimlerin yalnızca bir alt kümesinin bulunduğu üretimde kalite kontrol.
Nasıl çalışır?
Nasıl çalışır?
Mevcut veriler, küçük bir etiketli alt küme — doğrulanmış aykırı değerler, doğrulanmış normal değerler veya her ikisini içeren — ve büyük bir etiketsiz havuz olarak ayrılır. Etiketli alt küme tasarım gereği küçüktür; tam etiketler elde etmek genellikle maliyetli veya pratik değildir, bu da yöntemin hedeflendiği senaryodur.
Tam veri kümesinin (etiketli artı etiketsiz) rastgele alt örnekleri üzerinde, standart iForest prosedürünü izleyerek bir izolasyon ağaçları topluluğu oluşturulur: her iç düğümde, rastgele bir özellik ve o özelliğin aralığı içindeki rastgele bir bölme değeri, her nokta izole edilene kadar verileri özyinelemeli olarak bölmek için seçilir.
Her gözlem, tüm ağaçlardaki ortalama yol uzunluğundan türetilen bir aykırı değer puanı alır. Daha kısa ortalama yollar — yani daha kolay izolasyon — daha yüksek aykırı değer puanlarına yol açar. Normalleştirilmiş puan s(x, n), (0, 1] aralığına haritalanır, 1'e yakın değerler güçlü aykırı değer adaylarını gösterir.
Formül
s(x, n) = 2^{-E[h(x)] / c(n)}Etiketli örnekler modeli ayarlamak için kullanılır: modele bağlı olarak, bu, bilinen aykırı değerleri normal değerlerden doğru şekilde ayıran ağaçların veya bölmelerin yeniden ağırlıklandırılmasını, puan toplama işlemine denetimli bir kayıp terimi eklenmesini veya denetimsiz puanların üzerine bir karar sınırı öğrenmek için etiketli kümenin kullanılmasını içerebilir. Bu adım, standart iForest'ten tanımlayıcı farktır.
İkili aykırı değer / normal kararları üretmek için ayarlanan aykırı değer puanlarına bir eşik uygulanır. Etiketli alt küme, keyfi bir yüzdelik dilime güvenmek yerine, veriye dayalı eşik seçimine olanak tanır — örneğin, etiketli örnekler üzerinde F1 puanını maksimize eden kesme noktasını seçmek.
Sık yapılan hatalar
- Her ikisi de mevcut olduğunda etiketli normal örnekleri göz ardı ederek yalnızca aykırı değer etiketlerini kullanmak — doğrulanmış normal değerleri dahil etmek karar sınırını daha da keskinleştirebilir.
- Performans metriklerini şişirerek, etiketli eğitim örneklerini içeren bir test kümesi üzerinde değerlendirme yapmak.
- Aykırı değer puanı eşiğini, etiketli küme yerine kalibrasyon için kullanmak yerine sabit bir yüzdelik dilimle seçmek.
- Etiketli aykırı değerlerin yalnızca bir alt tipini kapsadığı, ancak etiketsiz havuzun çeşitli aykırı değer örüntüleri içerdiği durumlarda yöntemin sağlam olduğunu varsaymak.
- Rastgele bölme seçimini bozabilecek ön işleme yapmadan yüksek boyutlu veya karma türdeki özellikleri işlemek.
Sık sorulan sorular
Ne kadar etiketli aykırı değere ihtiyacım var?
Birkaç tane bile — bazen yalnızca 10-50 doğrulanmış aykırı değer — anlamlı bir kalibrasyon sağlayabilir. Ana gereksinim, bunların etiketsiz havuzdaki aykırı değer türlerini temsil etmeleridir. Aykırı değer alt türleri boyunca daha fazla etiket kapsamı genellikle daha büyük kazançlar sağlar.
Bu, standart Isolation Forest'tan nasıl farklıdır?
Standart Isolation Forest tamamen denetimsizdir ve herhangi bir alan geri bildirimi olmadan yalnızca yol uzunluğuna göre aykırı değerleri puanlar. Yarı denetimli Isolation Forest, puanları veya ağaç ağırlıklarını ayarlamak için küçük bir etiketli küme içerir, modeli alanınızda gerçekten ilgili olan aykırı değer örüntülerine doğru yönlendirir ve ilkeli eşik kalibrasyonunu etkinleştirir.
Etiketli normal örnekleri de aykırı değerler gibi dahil edebilir miyim?
Evet, ve genellikle faydalıdır. Etiketli normal değerler, modelin sınır durumlarını daha keskin bir şekilde ayırt etmesine yardımcı olur. Bazı varyantlar, etiketli kümeyi puanlama fonksiyonunu kalibre etmek için dengeli bir referans olarak ele alır, bu nedenle her iki sınıf da mevcut olduğunda dahil etmek karar sınırını iyileştirir.
Modeli değerlendirmek için çapraz doğrulama kullanmalı mıyım?
Evet, ancak dikkatli bir şekilde. Etiket sızıntısını önlemek için etiketli alt küme test kümesinden hariç tutulmalı veya uygun şekilde katmanlandırılmalıdır. Etiketli kısım üzerinde katmanlı bir eğitim/test bölümü, eğitim için tam etiketsiz havuzla birleştirildiğinde standart değerlendirme kurulumudur.
Etiketli aykırı değerlerim temsilci değilse ne olur?
Etiketli aykırı değerler gerçek aykırı değer dağılımının yalnızca dar bir dilimini kapsıyorsa, etiket güdümlü ayarlama ters tepebilir. Bu durumda, model hiç gösterilmediği yeni aykırı değer türlerini kaçırabilir. Üretimde dağılımsal kaymayı izlemenin yanı sıra denetimsiz aykırı değer puanlaması ile yarı denetimli tespiti tamamlamak tavsiye edilir.
İlgili yöntemler
Kaynaklar
Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.
Yayın kaynağını açKopyalandı.Isolation Forest. Wikipedia.
Yayın kaynağını açKopyalandı.