İçeriğe atla
Arama sonuçlarına dön

Yarı Denetimli Tek Sınıf Destek Vektör Makinesi (One-class SVM)

Ortaya koyan
Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
Yıl
2001–2004
Tür
Semi-supervised anomaly / novelty detection
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yarı Denetimli Tek Sınıf Destek Vektör Makinesi (Semi-supervised One-class SVM), klasik Tek Sınıf Destek Vektör Makinesi (One-class SVM) anomali dedektörünü, bilinen az sayıda normal örneğin yanı sıra etiketlenmemiş gözlemleri de dahil ederek genişletir.

Etiketlenmemiş veriler, modelin özellik uzayında daha sıkı, daha bilgilendirici bir karar sınırı öğrenmesine yardımcı olarak, tamamen denetimsiz temel duruma kıyasla yanlış pozitifleri azaltır ve anomali geri çağırmayı iyileştirir.

Yöntemin mantığı

Standart bir Tek Sınıf Destek Vektör Makinesi (One-class SVM), çekirdek dönüşümlü özellik uzayında etiketlenmiş normal verilerin etrafına bir sınır çizer ve dışındaki her şeyi anomali olarak işaretler. Sorun şu ki, az sayıda etiketlenmiş örnekle sınır gevşek ve gürültülüdür. Yarı Denetimli Tek Sınıf Destek Vektör Makinesi (Semi-supervised One-class SVM), çoğu muhtemelen normal olan etiketlenmemiş örneklerden oluşan bir havuzu kullanarak bu sınırı daha yoğun bölgelere doğru çeker. Bunu, modele, onaylanmış sınıf etiketleri olmasa bile daha fazla örnek göstererek 'normal'in gerçekten nerede yaşadığını öğretmek olarak düşünebilirsiniz. Sonuç, düşük etiketleme maliyetiyle daha sıkı, daha güvenilir bir anomali sınırıdır.

Tarih

Tek Sınıf Destek Vektör Makinesi (One-class SVM), 2001 yılında Scholkopf ve arkadaşları tarafından yüksek boyutlu bir dağılımın desteğini tahmin etmek için bir yöntem olarak tanıtıldı ve hızla yenilik ve anomali tespiti için bir standart haline geldi. 2000'li yılların ortalarında araştırmacılar, küçük bir etiketli normal başlangıç kümesinin bile karar sınırını önemli ölçüde sıkılaştırabileceğini fark ettiler ve transdüktif SVM'ler ve etiket yayılımındaki çağdaş çalışmalardan yararlanarak çeşitli yarı denetimli uzantılar önerildi. Yaklaşım, anomalileri etiketlemenin aşırı derecede pahalı olduğu alanlarda aktif olarak incelenmeye devam etmektedir.

Ne zaman kullanılır?

Anomalilerin nadir olduğu, tüm verileri etiketlemenin çok maliyetli olduğu, ancak küçük bir onaylanmış-normal başlangıç kümesinin mevcut olduğu durumlarda Yarı Denetimli Tek Sınıf Destek Vektör Makinesi'ni (Semi-supervised One-class SVM) seçin — örneğin ağa sızma tespiti, tıbbi görüntüleme kalite kontrolü veya üretim hatası taraması. Etiketli başlangıç kümesi temiz ve etiketlenmemiş havuz büyük ve normal davranışı temsil ediyorsa, denetimsiz OC-SVM'den daha iyi performans gösterir. Etiketli başlangıç kümesi gürültülü veya yanlı olduğunda, etiketlenmemiş havuzdaki anomali oranı yüksek olduğunda (kabaca %10-20'nin üzerinde), birçok onaylanmış anomali örneğiniz olduğunda (denetimli SVM veya topluluk yöntemleri daha iyidir) veya yorumlanabilirlik ve açık katsayılar gözden geçirenler tarafından istendiğinde kullanmayın.

Sınırlar ve dikkat edilmesi gerekenler

  • Etiketli başlangıç kümesi küçük, gürültülü veya gerçek normal davranışı temsil etmiyorsa performans keskin bir şekilde düşer.
  • Etiketlenmemiş havuzdaki yüksek kirlilik oranları, sözde etiket kaymasına ve sınır bozulmasına neden olur.
  • Karesel programlama kötü ölçeklenir: standart SVM çözücüleri on binlerce gözlemin üzerinde zorlanır.
  • Dikkatli çekirdek ve nu hiperparametre ayarı gerektirir; varsayılanlar nadiren optimal sınırlar verir.
  • İteratif sözde etiketleme, uygulama karmaşıklığı ekler ve prensipli durdurma kriterleri gerektirir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Pahalı tam açıklama gerektirmeden sınır kalitesini iyileştirmek için bol miktarda etiketlenmemiş veriden yararlanır.
  • Standart Tek Sınıf Destek Vektör Makinesi'nin (One-class SVM) çekirdek esnekliğini miras alır, doğrusal olmayan normal veri manifoldlarını yakalar.
  • Temiz bir etiketli başlangıç kümesi mevcut olduğunda, tamamen denetimsiz OC-SVM'den daha iyi kalibre edilmiş anomali skorları.
  • Normal verilerin kompakt kümeler oluşturduğu yüksek boyutlu özellik uzaylarında iyi çalışır.
  • Anomali skoru büyüklüğü, önceliklendirme ve sıralama için doğal bir güven sıralaması sağlar.

Uygulama alanları

  • Etiketli normal trafik artı etiketlenmemiş operasyonel günlükler kullanılarak ağa sızma ve siber saldırı tespiti.
  • Onaylanmış iyi taramaların mevcut olduğu ancak anomalilerin nadir olduğu tıbbi görüntü kalite kontrolü.
  • Etiketli başlangıç kümesi olarak normal çalışma koşulu sensör okumalarıyla endüstriyel hata tespiti.
  • Yalnızca dolandırıcılık dışı örneklerin onaylandığı finansal işlemlerde dolandırıcılık tespiti.
  • Sınırı sabitlemek için bilinen temiz belge kümeleri kullanılarak metin veya belge anomali filtrelemesi.

Nasıl çalışır?

Nasıl çalışır?

1

Eğitim verilerini, onaylanmış normal örneklerden oluşan küçük bir etiketli kümeye ve çok daha büyük bir etiketlenmemiş havuza ayırın. Etiketlenmemiş havuz tipik olarak hedef alandan manuel olarak doğrulanmamış gerçek operasyonel verilerden oluşur. Etiketli başlangıç kümesinin kalitesi, nihai performansı güçlü bir şekilde etkiler.

2

Tüm gözlemleri, bir çekirdek fonksiyonu — en yaygın olarak RBF çekirdeği — kullanarak yüksek boyutlu bir yeniden üretilebilir çekirdek Hilbert uzayına eşleyin. Bu uzayda, normal veri kümeleri kompakt hale gelir ve kökenden ayrılabilir hale gelir; bu, Tek Sınıf Destek Vektör Makinesi'nin (One-class SVM) temelini oluşturan geometrik hiledir.

Formül
\phi: \mathcal{X} \rightarrow \mathcal{F}
3

Yalnızca etiketlenmiş normal örnekleri kullanarak başlangıçta bir Tek Sınıf Destek Vektör Makinesi (One-class SVM) eğitin. Bu, ağırlık vektörü w, eşik rho ve eğitim hatalarının oranını sınırlayan nu parametresi tarafından kontrol edilen gevşek değişkenler xi ile tanımlanan ön bir hiperdüzlem verir.

Formül
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rho
4

Başlangıç modelini etiketlenmemiş havuza uygulayın ve yumuşak veya sert sözde etiketler atayın: normal olarak sınıflandırılan örnekler geçici olarak normal kümeye eklenir; anomali olarak puanlananlar atılabilir veya ağırlıkları azaltılabilir. Sözde etiketlerin güvenilirliği, güven eşikleri veya benzerlik grafiği üzerinde etiket yayılımı ile iyileştirilebilir.

5

Tek Sınıf Destek Vektör Makinesi'ni (One-class SVM) genişletilmiş etiketli küme (orijinal etiketler artı kabul edilen sözde etiketler) üzerinde yeniden eğitin. Sözde etiketleme ve yeniden eğitim döngüsünü belirli sayıda iterasyon için veya sınır stabilize olana kadar tekrarlayın. Erken durdurma, basamaklı sözde etiket hatalarının neden olduğu kaymayı önler.

6

Çıkarım aşamasında, her yeni gözlemi aynı çekirdek aracılığıyla eşleyin ve karar fonksiyonu f(x)'i değerlendirin. f(x) < 0 olan örnekler anomali olarak işaretlenir; puanın büyüklüğü normal sınırdan uzaklığı yansıtır ve bir anomali güven sıralaması olarak hizmet edebilir.

Formül
f(x) = \text{sign}(w^\top \phi(x) - \rho)

Sık yapılan hatalar

  • Etiketlenmemiş havuzdan farklı bir dağılımdan çekilen etiketli bir başlangıç kümesi kullanmak, sistematik sözde etiket hatalarına neden olur.
  • Gerçek anomali oranını tahmin etmeden kirlilik parametresi nu'yu ayarlamak, aşırı veya eksik tespitle sonuçlanır.
  • Güven eşikleri veya yumuşak ağırlıklandırma uygulamak yerine sözde etiketlere koşulsuz güvenmek.
  • Tutulan etiketli anomali kümesi üzerinde değerlendirme yapmayı atlamak ve yalnızca denetimsiz küme metriklerine güvenmek.
  • Bu yöntemi, tek sınıflı tespit yerine yarı denetimli sınıflandırmanın farklı bir sorununu çözen transdüktif SVM (S3VM) ile karıştırmak.

Sık sorulan sorular

Etiketli başlangıç kümesi ne kadar büyük olmalı?

Pratikte, birkaç düzine onaylanmış-normal örnek bile faydalı bir sınır başlatabilir, ancak etiketli küme normal davranışın ana modlarını kapsamalıdır. Başlangıç kümesi yaklaşık 20-30 gözlemden küçükse, başlangıç sınırı güvenilmez olacak ve sözde etiket hataları birikecektir.

Etiketlenmemiş havuz anomalilerle yoğun bir şekilde kirlenmişse ne olur?

Yüksek kirlilik (kabaca %10-20'nin üzerinde anomali), iteratif iyileştirmenin anomalileri kademeli olarak normal sınıfa dahil etmesine ve sınırı bozmasına neden olur. Bu gibi durumlarda, daha düşük bir sözde etiket kabul eşiği kullanın, birden çok çalıştırma arasında topluluk oylaması uygulayın veya yalnızca etiketli başlangıç kümesi üzerinde tamamen denetimli Tek Sınıf Destek Vektör Makinesi'ne (One-class SVM) geri dönün.

Çekirdek ve nu parametresini nasıl seçerim?

RBF çekirdeği standart varsayılandır; bant genişliğini (gamma) nu ile birlikte etiketli küme üzerinde çapraz doğrulama kullanarak ayarlayın. Nu, eğitim hatalarının üst sınırını ve destek vektörlerinin oranını kontrol eder — biliniyorsa kabaca beklenen anomali oranına ayarlayın.

Bu, transdüktif bir SVM'den (S3VM) farklı mı?

Evet. Transdüktif SVM (S3VM), her iki sınıfın da kısmen etiketlendiği yarı denetimli ikili sınıflandırma yapar. Yarı Denetimli Tek Sınıf Destek Vektör Makinesi (Semi-supervised One-class SVM) anomali tespitini ele alır: yalnızca normal sınıf etiketlerini kullanır ve etiketlenmemiş gözlemleri potansiyel normaller olarak ele alır, sınıflandırılacak ikinci bir sınıf olarak değil.

Bu yöntemi büyük ölçekte kullanabilir miyim?

Standart SVM çözücüleri O(n^2) ila O(n^3) karmaşıklığa sahiptir. Yaklaşık 50.000 gözlemin üzerindeki veri kümeleri için, yaklaşık çözücüler (örneğin, SGD tabanlı çevrimiçi güncellemeler, Nystrom veya rastgele Fourier özellikleri aracılığıyla çekirdek yaklaşımları) kullanın veya Isolation Forest veya derin otoenkoder tabanlı anomali dedektörleri gibi ölçeklenebilir alternatiflere geçin.

İlgili yöntemler

Kaynaklar

  1. Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.

    Yayın kaynağını aç
    Kopyalandı.
  2. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    DOI kaynağını aç
    Kopyalandı.