İçeriğe atla
Arama sonuçlarına dön

Destek Vektör Makinesi (Sınıflandırma)

Ortaya koyan
Cortes, C. & Vapnik, V.
Yıl
1995
Tür
Maximum-margin classifier (kernel method)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Corinna Cortes ve Vladimir Vapnik tarafından 1995 yılında tanıtılan Destek Vektör Makinesi (Support Vector Machine - SVM), yüksek boyutlu bir uzayda sınıflar arasında en uygun ayırıcı hiperdüzlemi bulan bir sınıflandırıcıdır.

En yakın eğitim noktalarına mümkün olan en geniş marjı bırakan sınırı seçer, bu da kararlarının yeni veriler üzerinde sağlam olmasını sağlar.

Yöntemin mantığı

İki grup noktayı düz bir sınırla ayırdığınızı hayal edin. Bunu yapabilen birçok çizgi vardır, ancak SVM her sınıfın en yakın noktalarına mümkün olduğunca uzak konumlandırılmış olanı arar - aralarındaki en geniş 'sokak'. Sınırı yalnızca en yakın noktalar, yani destek vektörleri, şekillendirir; daha uzaktaki her şey önemsizdir. Sınıflar düz bir çizgiyle ayrılamadığında, bir çekirdek (kernel) uzayı yeniden şekillendirerek temiz bir ayrımın mümkün olmasını sağlar.

Tarih

Destek Vektör Makinesi, Corinna Cortes ve Vladimir Vapnik tarafından 1995 tarihli 'Support-Vector Networks' makalelerinde tanıtıldı; bu makale, doğrusal olarak ayrılamayan verileri işlemek için maksimum marj fikrini çekirdek hilesiyle birleştirdi. Kendi döneminin en etkili sınıflandırma yöntemlerinden biri ve yüksek boyutlu denetimli öğrenme için standart bir kıyaslama haline geldi.

Ne zaman kullanılır?

Yaklaşık 50 veya daha fazla gözlemle tablo verileri üzerinde ikili veya kategorik sınıflandırma için, özellikle özellik uzayı yüksek boyutlu olduğunda ve tahmin doğruluğu açık katsayılardan daha önemli olduğunda SVM kullanın. Normal olarak dağılmış verilere gerek duymaz, ancak özellikler standartlaştırılmalı ve çekirdek ile C çapraz doğrulama ile ayarlanmalıdır. Çok küçük örneklemlerde, lojistik regresyon veya naive Bayes gibi daha basit bir sınıflandırıcı tercih edin.

Sınırlar ve dikkat edilmesi gerekenler

  • Çapraz doğrulama ile ayarlanması gereken çekirdek ve C parametresinin seçimine duyarlıdır.
  • Özelliklerin dikkatli bir şekilde standartlaştırılmasını gerektirir; ölçeklenmemiş özellikler marjı bozar.
  • Küçük örneklemlerde kararsız hale gelir, burada güvenilir bir sınır tanımlamak için yeterli destek vektörü yoktur.
  • Doğrudan yorumlanabilir katsayılar ve yerel sınıf olasılığı tahminleri sağlamaz.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Yüksek boyutlu özellik uzaylarında, özellikler sınırın karmaşıklığının ima ettiğinden daha fazla olsa bile etkilidir.
  • Maksimum marj ilkesi ve yalnızca destek vektörlerinin kullanılması, sağlam, genelleştirilebilir sınırlar sağlar.
  • Çekirdekler, yeni özellikler manuel olarak tasarlanmadan doğrusal olmayan sınıf sınırlarını yakalamasına olanak tanır.
  • Varsayıma daha az bağımlı: normal olarak dağılmış verilere gerek duymaz.

Uygulama alanları

  • Tablo verileri üzerinde ikili ve çok sınıflı sınıflandırma.
  • Özelliklerin basit bir modelin kapasitesini aştığı yüksek boyutlu sınıflandırma problemleri.
  • Sağlam, iyi ayrılmış bir karar sınırının yorumlanabilir katsayılardan daha önemli olduğu tahmin görevleri.
  • Çekirdek fonksiyonları aracılığıyla ele alınan doğrusal olmayan sınıf sınırlarına sahip problemler.

Nasıl çalışır?

Nasıl çalışır?

1

SVM, sınıfları en geniş marjla - her iki taraftaki en yakın veri noktalarına olan en büyük mesafeyle - ayıran hiperdüzlemi arar. Bu en yakın noktalar destek vektörleridir ve sınırın nerede duracağını yalnızca onlar belirler. Geniş bir marj, eğitim noktalarına yakın sıkıştırılmış bir sınıra göre görülmeyen verilere daha iyi genelleme eğilimindedir.

2

Sınıflar doğrusal olarak ayrılamadığında, bir çekirdek fonksiyonu (örneğin radyal taban fonksiyonu) özellikleri, ayırıcı bir hiperdüzlemin mevcut olduğu daha yüksek boyutlu bir uzaya örtük olarak haritalar. Bu nedenle özelliklerin önce standartlaştırılması gerekir (StandardScaler gereklidir) ve çekirdek ile C düzenlileştirme parametresinin çapraz doğrulama ile seçilmesi gerekir.

3

Sınır, yukarıdaki hedefi minimize ederek bulunur: ağırlık vektörünü küçültür (marjı genişleterek) ve yanlış tarafta veya marjın içinde kalan her nokta için bir ceza C öder (gecikme ξ). Büyük C, eğitim verilerine sıkı bir uyum gerektirir; küçük C, daha geniş, daha pürüzsüz bir marj için daha fazla ihlale tolerans gösterir. Dengesiz sınıflarda, class_weight='balanced' azınlık sınıfının göz ardı edilmesini önler.

Formül
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i

Sık yapılan hatalar

  • SVM'yi ham, ölçeklenmemiş özellikler üzerinde standartlaştırmadan önce uydurmak.
  • Varsayılan çekirdek ve C değerlerini çapraz doğrulama (örneğin, grid search) ile seçmek yerine kabul etmek.
  • Sınıf dengesizliğini class_weight='balanced' ayarlamak yerine göz ardı etmek.
  • Sınırın kararsız olduğu ve aşırı uyuma eğilimli olduğu ~50 gözlemin altındaki bir örneklemde SVM uygulamak.
  • Sadece doğruluğu bir karışıklık matrisi, kesinlik/geri çağırma/F1 ve ROC-AUC olmadan raporlamak.

Sık sorulan sorular

Neden özellikleri standartlaştırmam gerekiyor?

SVM, ayırıcı hiperdüzleme olan mesafeleri ölçer, bu nedenle daha büyük sayısal ölçeklerdeki özellikler marjı domine eder. Her özelliği standartlaştırmak (StandardScaler), onları karşılaştırılabilir ölçeklere getirir, böylece sınır, keyfi birimlerden ziyade gerçek sınıf yapısını yansıtır.

C parametresi neyi kontrol eder?

C, marj genişliği ile sınıflandırma hataları arasında bir denge kurar. Büyük C, dar bir marjla eğitim verilerine sıkı bir uyum gerektirir; küçük C, daha geniş, daha pürüzsüz bir sınır karşılığında daha fazla marj ihlaline izin verir. Doğru değer çapraz doğrulama ile bulunur.

Çekirdek ne işe yarar?

Sınıflar düz bir sınırla ayrılamadığında, bir çekirdek (radyal taban fonksiyonu gibi) verileri örtük olarak daha yüksek boyutlu bir uzaya haritalar, burada bir ayırıcı hiperdüzlem bulunur ve SVM'nin doğrusal olmayan sınırları modellemesine izin verir. Çekirdek seçimi çapraz doğrulama ile doğrulanmalıdır.

SVM'yi ne zaman kullanmamalıyım?

Çok küçük örneklemlerde - yaklaşık 50 gözlemin altında - kararlı bir sınır tanımlamak için yeterli destek vektörü yoktur ve çekirdek ile C'yi ayarlamak için yeterli veri yoktur, bu nedenle model aşırı uyuma riski taşır. Bu durumda lojistik regresyon veya naive Bayes gibi daha basit bir sınıflandırıcı tercih edilir.

İlgili yöntemler

Kaynaklar

  1. Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.

    DOI kaynağını aç
    Kopyalandı.