İçeriğe atla
Arama sonuçlarına dön

Tek Sınıf SVM

Ortaya koyan
Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
Yıl
1999–2001
Tür
Anomaly / novelty detection (unsupervised)
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Tek sınıf SVM, çekirdek ile indüklenmiş bir özellik uzayında normal eğitim verileri etrafında sıkı bir sınır öğrenen, bu sınırın dışına düşen yeni gözlemleri aykırı değerler olarak işaretleyen denetimsiz bir anomali ve yenilik tespit algoritmasıdır.

Scholkopf ve ark. tarafından 1999-2001 yıllarında tanıtılan bu algoritma, etiketlenmiş anomali örneğinin bulunmadığı tek sınıf ayarına SVM çerçevesini genişletir.

Yöntemin mantığı

Dönüştürülmüş bir uzayda, bir çekirdek fonksiyonu tarafından tanımlanan, tüm eğitim noktalarınızı kapsayacak şekilde bir balon şişirdiğinizi hayal edin. Balon oturtulduktan sonra, dışına düşen herhangi bir yeni nokta anomali olarak ilan edilir. Nu parametresi balonun ne kadar sıkı olduğunu kontrol eder: küçük bir nu, marj içinde çok az eğitim noktasına izin verir (sıkı sınır), büyük bir nu ise daha fazla noktaya dışarıda izin verir (daha gevşek sınır). Çekirdek hilesi, sınırın orijinal girdi uzayında doğrusal olmamasını sağlar, bu nedenle Tek Sınıf SVM, basit bir eşik veya mesafe kuralının kaçıracağı normalliğin karmaşık şekillerini yakalayabilir.

Tarih

Tek sınıf SVM, 1999 tarihli bir teknik raporda Scholkopf, Platt, Smola ve Williamson tarafından tanıtılmış ve 2001'de Neural Computation'da 'Estimating the support of a high-dimensional distribution' başlığıyla yayımlanmıştır. Yakından ilişkili bir formülasyon olan Destek Vektör Veri Açıklaması (SVDD), eş zamanlı olarak Tax ve Duin (2004) tarafından geliştirilmiştir. Her iki yöntem de denetimli SVM çerçevesini denetimsiz anomali tespit ayarlarına genişletti ve yenilik tespit literatüründe temel referanslar haline geldi. Scikit-learn'in OneClassSVM uygulaması, yöntemi uygulamalı araştırmalarda yaygın olarak erişilebilir hale getirdi.

Ne zaman kullanılır?

Etiketlenmiş anomali örneklerinin bulunmadığı veya çok seyrek olduğu ve normal davranış etrafında doğrusal olmayan bir sınır istediğinizde Tek Sınıf SVM kullanın — tipik olarak dolandırıcılık tespiti, izinsiz giriş tespiti, endüstriyel arıza izleme ve sürekli sayısal özelliklere sahip tıbbi yenilik taraması. Orta büyüklükteki veri kümelerinde (yüzlerce ila on binlerce örnek) ve doğrusal veya mesafeye dayalı dedektörlerin başarısız olduğu karmaşık şekilli normal dağılımlarda en iyi sonucu verir. Kaçının: eğitim seti çok büyükse (n > ~100.000), çünkü kuadratik çözüm kötü ölçeklenir; veriler büyük ölçüde kategorikse; veya hızlı, yorumlanabilir kurallar gerekiyorsa. Bu durumlarda Isolation Forest, Local Outlier Factor veya eşik tabanlı bir istatistiksel model tercih edin.

Sınırlar ve dikkat edilmesi gerekenler

  • Kuadratik programlama çözücüsü, eğitim örneklerinde O(n^2) ila O(n^3) olarak ölçeklenir, bu da onu çok büyük veri kümeleri için pratik olmaktan çıkarır.
  • Çekirdek ve hiperparametrelerinin (örn. RBF gamma) seçimine duyarlıdır; kötü seçimler ya çok sıkı ya da çok gevşek bir sınır üretir.
  • Temiz normal eğitim verileri gerektirir — kirlenmiş eğitim setleri sınırı kaydırır ve yanlış negatif oranlarını artırır.
  • Doğal olarak kalibre edilmiş olasılık tahminleri üretmez; karar puanı bir olasılık değildir.
  • Yorumlanabilirlik sınırlıdır; belirli bir noktanın neden işaretlendiğini ek sonradan araçlar olmadan açıklamak zordur.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Etiketlenmiş anomali örneği olmadan çalışır — yalnızca normal eğitim verileri gereklidir.
  • Doğrusal olmayan çekirdek (tipik olarak RBF), mesafeye dayalı yöntemlerin kaçırdığı normalliğin karmaşık, eğimli sınırlarını yakalar.
  • Nu parametresi, beklenen aykırı değer kesri üzerinde doğrudan, yorumlanabilir kontrol sağlar.
  • Çekirdek hilesi aracılığıyla yüksek boyutlu özellik uzaylarına zarif bir şekilde ölçeklenir.
  • Sürekli karar puanı, esnek aşağı akış eşik kalibrasyonu sağlar.
  • İzinsiz giriş tespiti, arıza izleme ve tıbbi görüntüleme gibi yüksek riskli alanlarda kanıtlanmıştır.

Uygulama alanları

  • Ağ izinsiz giriş tespiti: normal çalışma sırasında görülmeyen trafik modellerini işaretleme.
  • Endüstriyel arıza izleme: makine sensörü okumalarının sağlıklı durum profillerinden saptığını tespit etme.
  • Dolandırıcılık tespiti: denetimli bir sınıflandırıcıyı eğitmek için yeterince nadir dolandırıcı örnekleri olduğunda olağandışı işlem modellerini tanımlama.
  • Tıbbi yenilik tespiti: sağlıklı deneklerin dağılımının dışındaki görüntüleme veya biyobelirteç okumalarını işaretleme.
  • Doğal dil işleme: girdi özellikleri olarak metin gömmelerini kullanarak alan dışı belge veya sorgu tespiti.

Nasıl çalışır?

Nasıl çalışır?

1

Tüm eğitim gözlemleri, radyal taban fonksiyonu (RBF) gibi bir çekirdek fonksiyonu aracılığıyla yüksek boyutlu (potansiyel olarak sonsuz boyutlu) bir özellik uzayına eşlenir. Bu uzaydaki iç çarpımlar, eşlemeyi açıkça hesaplamadan değerlendirilebilir, bu da karmaşık sınırlar için bile yaklaşımı çözülebilir hale getirir.

Formül
\phi: \mathcal{X} \to \mathcal{F}
2

Bir kuadratik program, özellik uzayında, haritalanmış eğitim verilerini orijinden maksimum marjla ayıran bir hiperdüzlem bulur. Nu parametresi (0 ile 1 arasında), aykırı değer olarak ele alınan eğitim noktalarının kesrini ve destek vektörlerinin kesrini aynı anda sınırlar, bu da uygulayıcıya model sıkılığı ve eğitim kirliliği toleransı arasındaki değiş tokuş üzerinde doğrudan kontrol sağlar.

Formül
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_i
3

Öğrenilen hiperdüzlem, işaretli bir karar fonksiyonu tanımlar. Pozitif taraftaki noktalar normal olarak sınıflandırılır; negatif taraftaki noktalar (eşik rho'nun altında) anomali veya yenilik olarak işaretlenir. Ham puan, sıralama için sürekli bir anomali puanı olarak da hizmet edebilir.

Formül
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)
4

Nu'yu seçmek temel modelleme kararıdır: eğitim setindeki beklenen kirlilik kesrine yakın bir değere ayarlamak pratik bir kuraldır. Etiketlenmemiş veriler üzerinde yalnızca ızgara aramasına dayanmak yerine, normal örneklerden oluşan ayrılmış bir küme üzerinde çapraz doğrulama veya beklenen aykırı değer oranı hakkındaki alan bilgisi seçime rehberlik etmelidir.

5

Dağıtımda, bir anomali puanı eşiği karar fonksiyonu çıktısına uygulanır. Eşik, yanlış pozitiflerin maliyetinin yanlış negatiflerin maliyetinden önemli ölçüde farklı olduğu uygulamalar için yöntemi uygun hale getiren, anomali için kesinlik ve duyarlılık arasında değiş tokuş yapmak üzere sonradan ayarlanabilir.

Sık yapılan hatalar

  • Tespit edilmemiş anomalilerin önemli bir kesrini içeren veriler üzerinde eğitim, öğrenilen sınırı bozar.
  • Beklenen kirlilik oranı referansı olmadan nu'yu ayarlamak, aşırı yanlış pozitiflere veya kaçırılan anomalilere yol açar.
  • Varsayılan RBF gamma'yı ayarlamadan kullanmak, sınırın ya çok sıkı (tüm yeni noktalar anomali) ya da çok gevşek (hiçbir anomali tespit edilmedi) olmasına neden olabilir.
  • Tek Sınıf SVM'yi, SGD tabanlı yaklaşımları (sklearn'nin SGDOneClassSVM) dikkate almadan çok büyük veri kümelerinde çalıştırmak.
  • Eşiği kalibre etmek için sürekli puan dağılımını incelemeden yalnızca ikili bir anomali işareti bildirmek.

Sık sorulan sorular

Anomali tespiti için Tek Sınıf SVM ile Isolation Forest arasındaki fark nedir?

Tek Sınıf SVM, normal veriler etrafında çekirdek tabanlı bir sınır öğrenir ve yüksek boyutlu, karmaşık şekilli dağılımlarda iyi performans gösterir, ancak veri kümesi boyutuna göre kötü ölçeklenir. Isolation Forest rastgele bölümleme kullanır ve büyük veri kümelerinde çok daha hızlıdır, ancak genellikle ince, doğrusal olmayan anomali desenlerine daha az duyarlıdır.

Nu parametresini nasıl seçmeliyim?

Nu'yu, eğitim gözlemlerinin ne kadarının kirlenmiş veya atipik olmasını beklediğiniz kesrine ayarlayın. Eğitim örneklerinizin %5'inden azının aykırı değer olduğuna inanıyorsanız, nu=0.05 ile başlayın. Yalnızca ızgara aramasına güvenmek yerine, sınır sıkılığını değerlendirmek için bilinen normal örneklerden oluşan ayrılmış bir küme kullanın.

Hangi çekirdeği kullanmalıyım?

RBF (Gauss) çekirdeği standart başlangıç noktasıdır ve çoğu sürekli sayısal veri kümesiyle iyi başa çıkar. RBF çekirdeğinin gamma hiperparametresi etki yarıçapını kontrol eder; log-aralıklı bir ızgara üzerinde çapraz doğrulama yapın. Doğrusal çekirdekler daha hızlıdır ancak sınırı bir hiperdüzlemle sınırlar.

Tek Sınıf SVM kategorik özellikleri işleyebilir mi?

Doğrudan değil. Kategorik değişkenler, mesafe metriği bozulmalarını ortaya çıkarabilecek şekilde sayısal olarak (örn. ikili veya sıralı kodlama) kullanılmadan önce kodlanmalıdır. Kategorik özelliklerin hakim olduğu veri kümeleri için bunun yerine Isolation Forest gibi ağaç tabanlı dedektörleri düşünün.

Eğitim setim bazı anomaliler içerebilir. Bu modeli bozar mı?

Kirlenmiş eğitim verileri sınırı dışarı doğru kaydırır ve modelin anormal desenleri normal olarak öğrenmesine neden olabilir. Tek Sınıf SVM, Isolation Forest'tan daha hassastır. Kirlenme şüphesi varsa, daha yüksek bir nu ile SVDD kullanmayı veya hızlı bir dedektörün ön geçişiyle eğitim setini temizlemeyi düşünün.

İlgili yöntemler

Kaynaklar

  1. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    DOI kaynağını aç
    Kopyalandı.
  2. Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.

    DOI kaynağını aç
    Kopyalandı.