İçeriğe atla
Arama sonuçlarına dön

Destek Vektör Regresyonu

Ortaya koyan
Smola, A.J. & Schölkopf, B.
Yıl
2004
Tür
Kernel-based supervised model (epsilon-insensitive regression)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Destek Vektör Regresyonu (SVR), Smola ve Schölkopf'un 2004 tarihli eğitiminde açıklanan, verilerin etrafında epsilon genişliğinde bir tüp içinde kalan ve mümkün olan en az hatayı yapan bir fonksiyonu uyumlayarak sürekli bir çıktıyı tahmin eder.

Sınıflandırma için destek vektör makinesi fikrini regresyona genişletir ve doğrusal olmayan ilişkileri yakalamak için bir çekirdek kullanır.

Yöntemin mantığı

Uyumlanmış doğru çizgisinden yapılan her sapmayı cezalandırmak yerine, SVR epsilon toleransından daha küçük hataları göz ardı eder — tahmin edilen fonksiyonun etrafına epsilon genişliğinde bir tüp çizer ve yalnızca tüpün dışına düşen noktalar buna karşı sayılır. Model daha sonra çoğu noktayı tüpün içinde tutan mümkün olan en düz fonksiyonu arar. Tüp kenarlarında veya dışında kalan az sayıda nokta, tahminleri tanımlayan destek vektörleri haline gelir.

Tarih

Destek Vektör Regresyonu, orijinali bir sınıflandırma yöntemi olan destek vektör makinesini regresyon görevine genişletir. Epsilon-duyarsız formülasyonu ve çekirdekli çözümü, istatistik ve hesaplama alanındaki Smola ve Schölkopf'un 2004 tarihli eğitiminde ortaya konmuştur ve bu yöntem için standart referans haline gelmiştir.

Ne zaman kullanılır?

İlişkinin doğrusal olmayan olabileceği ve en az yaklaşık 50 gözleminiz olduğunda, özelliklerden sürekli (veya sayım) bir çıktıyı tahmin etmek için SVR kullanın. Özellikler normalleştirilmeli ve çekirdek ile C parametresi ayarlanmalıdır. 50'den az vaka ile tahmin, çok az destek vektörüne dayanır ve kararsız hale gelir, bu nedenle bir ridge veya doğrusal regresyon tercih edilir.

Sınırlar ve dikkat edilmesi gerekenler

  • En az yaklaşık 50 gözlem gerektirir; daha azı ile tahminler çok az destek vektörüne dayanır ve kararsızdır.
  • Performans, çekirdek ve C parametresinin ayarlanmasına bağlıdır, bu da yeterli çapraz doğrulama verisi gerektirir.
  • Özellikler önceden normalleştirilmelidir, aksi takdirde çekirdek mesafeleri bozulur.
  • Yorumlanabilir katsayılar sunmaz.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Epsilon-duyarsız kayıp, uyumu küçük sapmalara ve tüp içindeki aykırı değerlere karşı sağlam hale getirir.
  • Çekirdekler, SVR'nin açıkça yeni özellikler mühendisliği yapmadan doğrusal olmayan ilişkileri modellemesine olanak tanır.
  • Normal dağılımlı veri gerektirmez.
  • Nihai model yalnızca destek vektörlerine bağlıdır, bu da tahmini kompakt tutar.

Uygulama alanları

  • Özelliklerle ilişkisinin doğrusal olmayan olduğu sürekli çıktıları tahmin etmek.
  • Küçük sapmalara karşı sağlamlığın önemli olduğu tahmin ve öngörü görevleri.
  • Sağlık, sosyal, mühendislik ve işletme verilerinde sayım veya sürekli hedeflerin modellenmesi.
  • Doğrusallığın şüpheli olduğu durumlarda doğrusal veya ridge regresyonuna çekirdek tabanlı bir alternatif olarak hizmet etmek.

Nasıl çalışır?

Nasıl çalışır?

1

SVR, regresyon fonksiyonu etrafında bir tolerans marjı, yani epsilon-tüpü tanımlar: epsilon içindeki sapmalar hiç hata olarak kabul edilmez. Bu, uyumu küçük dalgalanmalara karşı duyarsız hale getirir ve modeli gerçekten bant dışına düşen gözlemlere odaklar.

Formül
|y_i - f(x_i)| \le \varepsilon
2

Model, fonksiyonun düzlüğü ile tüp dışındaki noktaların neden olduğu hata arasında bir denge kurar. Bir düzenlileştirme parametresi C, tüp dışı sapmaların ne kadar ağır cezalandırılacağını kontrol ederken, bir çekirdek (RBF çekirdeği gibi) fonksiyonun doğrusal olmayan yapıyı yakalamak için bükülmesine izin verir. Hem C hem de çekirdek ayarlanması gerektiğinden, özellikler uyumlanmadan önce normalleştirilmelidir.

Formül
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

Yeni girdiler için tahminler, destek vektörlerinin — tüp kenarlarında veya ötesinde bulunan eğitim noktalarının — bir çekirdek ağırlıklı kombinasyonu artı bir ofset olarak oluşturulur. Yalnızca bu destek vektörleri, uyumlanmış modeli kompakt yapan nihai tahmine girer.

Formül
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

Sık yapılan hatalar

  • SVR'yi, çekirdek mesafelerini bozan normalleştirilmemiş özellikler üzerinde uyumlamak.
  • Çapraz doğrulama ile ayarlanmadan varsayılan çekirdek ve C değerlerini kabul etmek.
  • SVR'yi, hiperparametre optimizasyonu için yeterli veri olmayan küçük bir örneklem üzerinde kullanmak.
  • Çekirdek tabanlı uyumu, yorumlanabilir etki büyüklükleri sağladığı varsayımıyla ele almak.

Sık sorulan sorular

Epsilon parametresi neyi kontrol eder?

Epsilon, uyumlanmış fonksiyon etrafındaki tolerans tüpünün yarı genişliğini ayarlar. Epsilon'dan küçük sapmalar sıfır hata olarak kabul edilir, bu nedenle daha büyük bir epsilon daha düz, daha basit ve daha az destek vektörlü bir model üretirken, daha küçük bir epsilon veriyi daha sıkı bir şekilde uyumlar.

Neden özellikleri normalleştirmem gerekiyor?

SVR, çekirdek aracılığıyla hesaplanan mesafelere dayanır. Özellikler çok farklı ölçeklerdeyse, daha büyük aralıklara sahip olanlar mesafelere hakim olur, bu nedenle özellikler uyumlanmadan önce standartlaştırılmalıdır.

Ne kadar küçük bir örneklem çok küçüktür?

Yaklaşık 50 gözlemden az olduğunda, uyum çok az destek vektörüne dayanır ve kararsız hale gelir ve çekirdek hiperparametrelerini ayarlamak için yeterli veri yoktur; bir ridge veya doğrusal regresyon daha güvenli bir seçimdir.

SVR, adi en küçük karelerden nasıl farklıdır?

En küçük kareler her kalıntıyı karesel olarak cezalandırırken, SVR epsilon tüpü içindeki kalıntıları göz ardı eder ve yalnızca dışındakileri cezalandırır. Bir çekirdek ile birleştirildiğinde, bu SVR'nin doğrusal olmayan ilişkileri yakalamasına ve küçük sapmalara karşı sağlam kalmasına olanak tanır.

İlgili yöntemler

Kaynaklar

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    DOI kaynağını aç
    Kopyalandı.