Isolation Forest
- Ortaya koyan
- Liu, F.T., Ting, K.M. & Zhou, Z.-H.
- Yıl
- 2008
- Tür
- Unsupervised ensemble (random partitioning trees)
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Isolation Forest, Liu, Ting ve Zhou tarafından 2008'de tanıtılan, verinin rastgele bölümlenmesi yoluyla aykırı değerleri izole eden denetimsiz bir makine öğrenmesi yöntemi olup, aykırı değer ve aykırı gözlem tespiti için kullanılır.
Herhangi bir etiketlenmiş aykırı değer verisi olmadan çalışır ve yüksek boyutlu veri kümelerine ölçeklenir.
Yöntemin mantığı
Temel fikir basittir: aykırı değerler az ve farklıdır, bu nedenle verinin geri kalanından kolayca ayrılabilirler. Veriyi rastgele bölmeye devam ederseniz, normal bir nokta yoğun bir bölgede bulunur ve izole edilmesi birçok kesme gerektirirken, bir aykırı değer ayrı durur ve yalnızca birkaç kesmeden sonra kesilir. Her noktayı izole etmek için kaç kesme gerektiğini saymak, bu sezgiyi bir aykırı değer puanına dönüştürür.
Tarih
Isolation Forest, 2008 yılında Fei Tony Liu, Kai Ming Ting ve Zhi-Hua Zhou tarafından IEEE Veri Madenciliği Uluslararası Konferansı'nda önerilmiştir. Aykırı değer tespiti için farklı bir felsefe sunmuştur: normal veriyi profillemek ve sapmayı ölçmek yerine, aykırı değerlerin az ve farklı olduğu gerçeğinden yararlanarak rastgele bölümlenme yoluyla doğrudan izole eder. Yaklaşım, yüksek boyutlu verilerde denetimsiz aykırı değer tespiti için yaygın olarak kullanılan, ölçeklenebilir bir araç haline gelmiştir.
Ne zaman kullanılır?
Sürekli, muhtemelen yüksek boyutlu, kesitsel veya zaman serisi verilerinde, en az yaklaşık 50 gözlemle, özellikle etiketlenmiş aykırı değerleriniz yoksa, aykırı değerleri veya aykırı gözlemleri tespit etmek için Isolation Forest'ı kullanın. Etiketlenmiş aykırı değer verisine ihtiyaç duymaz ve özellik sayısı arttıkça iyi ölçeklenir; beklenen aykırı değer oranını ifade eden bir bulaşma parametresi sağlarsınız. Yaklaşık 50 gözlemden az olduğunda, normal ve aykırı noktalar arasındaki sınır güvenilmez hale gelir ve istatistiksel aykırı değer yöntemleri veya PCA daha güvenlidir.
Sınırlar ve dikkat edilmesi gerekenler
- Küçük örneklemlerde (yaklaşık 50'nin altındaki n) normal ve aykırı noktalar arasındaki sınır belirsizdir ve yanlış pozitif oranı yüksektir.
- Yeterli gerçek aykırı değer olmadan, bulaşma parametresi anlamsız hale gelir ve istatistiksel aykırı değer yöntemleri tercih edilir.
- Yorumlanabilir katsayılar veya açık kurallar yerine aykırı değer puanları döndürür.
- Sonuçlar, alan bilgisinden ayarlanması gereken seçilen bulaşma değerine bağlıdır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Denetimsiz: aykırı değerleri işaretlemek için etiketlenmiş aykırı değer verisi gerektirmez.
- Yüksek boyutlu verilere iyi ölçeklenir.
- Tüm normal dağılımı modellemek yerine aykırı değerleri doğrudan izole eder, bu da onu verimli kılar.
- Tek bir bulaşma parametresi beklenen aykırı değer oranını ifade eder ve işaretleme eşiğini ayarlar.
Uygulama alanları
- Sürekli verilerde denetimsiz aykırı değer ve aykırı gözlem tespiti.
- Etiketlenmiş aykırı değerlerin bulunmadığı yüksek boyutlu veri kümelerinin taranması.
- Modellemeden önce kesitsel veya zaman serisi verilerindeki sıra dışı gözlemlerin işaretlenmesi.
- Veri kalitesi kontrolleri ve düzensiz kayıtların keşifsel tespiti.
Nasıl çalışır?
Nasıl çalışır?
Isolation Forest, aykırı değer tespitinin olağan mantığını tersine çevirir. Normal noktaların bir profilini oluşturup ondan sapanları işaretlemek yerine, aykırı değerlerin az ve farklı olduğu ve dolayısıyla izole edilmelerinin daha hızlı olduğu gerçeğinden doğrudan yararlanır. Etiketlenmiş aykırı değerlere ihtiyaç duymadığı için tamamen denetimsizdir ve yüksek boyutlu verilere iyi ölçeklenir.
Yöntem, birçok rastgele bölümlenme ağacı oluşturur. Her ağaçta, veri rastgele bir özellik ve rastgele bir bölme değeri seçilerek özyinelemeli olarak bölünür, uzayı giderek daha küçük bölgelere ayırarak her nokta yalnız kalana kadar devam eder. Normal bir noktayı — kalabalık bir bölgede gömülü — izole etmek bu tür birçok bölümleme gerektirirken, kendi başına duran bir aykırı değer yalnızca birkaç bölümlemeden sonra ayrılır.
Her noktanın yol uzunluğu — onu izole etmek için gereken kesme sayısı — orman boyunca ortalaması alınır ve bir aykırı değer puanına dönüştürülür: kısa ortalama yollar olası aykırı değerleri, uzun yollar olası normal noktaları ifade eder. Bir bulaşma parametresi, beklenen aykırı değer oranı, hangi noktaların nihai olarak aykırı değerler olarak işaretleneceğini belirleyen eşiği ayarlar.
Formül
s(x) = 2^{-\frac{E(h(x))}{c(n)}}Sık yapılan hatalar
- Yaklaşık 50'nin altındaki gözlemlerde çalıştırmak ve işaretlenen aykırı değerlere güvenmek.
- Yeterli gerçek aykırı değer olmadan bulaşma parametresini ayarlamak.
- Aykırı değer puanlarını kesin olasılıklar yerine göreceli bir sıralama olarak ele almak.
- Özellik ölçeklendirmesini ve ilgisiz özelliklerin rastgele bölmeler üzerindeki etkisini göz ardı etmek.
Sık sorulan sorular
Isolation Forest'ı kullanmak için etiketlenmiş aykırı değerlere ihtiyacım var mı?
Hayır. Rastgele bölümlenme yoluyla aykırı değerleri izole eden denetimsiz bir yöntemdir, bu nedenle çalışmak için etiketlenmiş aykırı değer verisine ihtiyaç duymaz.
Bulaşma parametresi ne işe yarar?
Verideki beklenen aykırı değer oranını ifade eder ve hangi noktaların nihai olarak aykırı değerler olarak işaretleneceğini belirleyen eşiği ayarlar. Veride yeterli gerçek aykırı değer olmadan, bu parametre anlamsız hale gelir.
Neden küçük örneklemlerde zorlanır?
Yaklaşık 50 gözlemden az olduğunda, normal ve aykırı noktalar arasındaki sınır belirsizdir ve yanlış pozitif oranı yüksektir. Bu durumda istatistiksel aykırı değer yöntemleri veya PCA daha güvenli alternatiflerdir.
Aykırı değerler nasıl puanlanır?
Rastgele ağaçlardaki her noktanın ortalama yol uzunluğu — onu izole etmek için kaç kesme gerektiği — bir aykırı değer puanına dönüştürülür. Kısa ortalama yollar olası aykırı değerleri; uzun yollar olası normal noktaları gösterir.
İlgili yöntemler
Kaynaklar
Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.
DOI kaynağını açKopyalandı.