Skip to content
Kembali ke hasil pencarian

Support Vector Regression

Diperkenalkan oleh
Smola, A.J. & Schölkopf, B.
Tahun
2004
Jenis
Kernel-based supervised model (epsilon-insensitive regression)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Support Vector Regression (SVR), yang dijelaskan dalam tutorial Smola dan Schölkopf tahun 2004, memprediksi hasil kontinu dengan mencocokkan fungsi yang tetap berada dalam tabung berukuran epsilon di sekitar data sambil menimbulkan kesalahan sesedikit mungkin.

Metode ini memperluas ide support vector machine dari klasifikasi ke regresi, menggunakan kernel untuk menangkap hubungan nonlinier.

Intuisi di balik metode

Alih-alih menghukum setiap penyimpangan dari garis yang dicocokkan, SVR mengabaikan kesalahan yang lebih kecil dari toleransi epsilon — metode ini membuat tabung selebar epsilon di sekitar fungsi yang diprediksi dan hanya titik-titik yang berada di luar tabung yang dianggap sebagai kesalahan. Model kemudian mencari fungsi yang paling datar yang menjaga sebagian besar titik di dalam tabung. Sejumlah kecil titik di tepi atau di luar tabung menjadi support vector yang menentukan prediksi.

Sejarah

Support Vector Regression memperluas support vector machine, yang awalnya merupakan metode klasifikasi, ke tugas regresi. Formulasi epsilon-insensitive dan solusi kernelnya diuraikan dalam tutorial Smola dan Schölkopf tahun 2004 di Statistics and Computing, yang telah menjadi referensi standar untuk metode ini.

Kapan digunakan

Gunakan SVR untuk memprediksi hasil kontinu (atau hitungan) dari fitur-fitur ketika hubungannya mungkin nonlinier dan Anda memiliki setidaknya sekitar 50 observasi. Fitur-fitur harus dinormalisasi, dan kernel serta parameter C perlu disetel. Dengan kasus kurang dari 50, prediksi bergantung pada terlalu sedikit support vector dan menjadi tidak stabil, sehingga regresi ridge atau linier lebih disukai.

Batasan dan pertimbangan

  • Membutuhkan setidaknya sekitar 50 observasi; dengan jumlah yang lebih sedikit, prediksi bergantung pada terlalu sedikit support vector dan tidak stabil.
  • Kinerja bergantung pada penyetelan kernel dan parameter C, yang memerlukan data validasi silang yang cukup.
  • Fitur harus dinormalisasi terlebih dahulu atau jarak kernel terdistorsi.
  • Tidak menawarkan koefisien yang dapat diinterpretasikan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Kerugian epsilon-insensitive membuat pencocokan kuat terhadap penyimpangan kecil dan outlier di dalam tabung.
  • Kernel memungkinkan SVR memodelkan hubungan nonlinier tanpa secara eksplisit merekayasa fitur baru.
  • Tidak memerlukan data yang terdistribusi normal.
  • Model akhir hanya bergantung pada support vector, menjaga prediksi tetap ringkas.

Penerapan

  • Memprediksi hasil kontinu di mana hubungan dengan fitur bersifat nonlinier.
  • Tugas peramalan dan prediksi di mana ketahanan terhadap penyimpangan kecil penting.
  • Memodelkan target hitungan atau kontinu dalam data kesehatan, sosial, teknik, dan bisnis.
  • Berfungsi sebagai alternatif berbasis kernel untuk regresi linier atau ridge ketika nonlinieritas dicurigai.

Cara kerjanya

Cara kerjanya

1

SVR mendefinisikan margin toleransi, yaitu tabung epsilon, di sekitar fungsi regresi: penyimpangan di dalam epsilon diperlakukan sebagai tanpa kesalahan sama sekali. Hal ini membuat pencocokan tidak sensitif terhadap fluktuasi kecil dan memfokuskan model pada observasi yang benar-benar berada di luar pita.

Rumus
|y_i - f(x_i)| \le \varepsilon
2

Model menyeimbangkan kerataan fungsi dengan kesalahan yang ditimbulkan oleh titik-titik di luar tabung. Parameter regularisasi C mengontrol seberapa berat penyimpangan di luar tabung dihukum, sementara kernel (seperti kernel RBF) memungkinkan fungsi melengkung untuk menangkap struktur nonlinier. Karena baik C maupun kernel harus disetel, fitur-fitur harus dinormalisasi sebelum pencocokan.

Rumus
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

Prediksi untuk input baru dibentuk sebagai kombinasi berbobot kernel dari support vector — titik-titik pelatihan yang berada di tepi tabung atau di luarnya — ditambah offset. Hanya support vector ini yang masuk ke dalam prediksi akhir, yang membuat model yang cocok menjadi ringkas.

Rumus
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

Kesalahan umum

  • Mencocokkan SVR pada fitur yang tidak dinormalisasi, yang mendistorsi jarak kernel.
  • Menerima nilai kernel dan C default tanpa menyetelnya dengan validasi silang.
  • Menggunakan SVR pada sampel kecil di mana tidak ada cukup data untuk optimasi hyperparameter.
  • Memperlakukan pencocokan berbasis kernel seolah-olah menghasilkan ukuran efek yang dapat diinterpretasikan.

Pertanyaan yang sering diajukan

Apa yang dikontrol oleh parameter epsilon?

Epsilon mengatur setengah lebar tabung toleransi di sekitar fungsi yang cocok. Penyimpangan yang lebih kecil dari epsilon diperlakukan sebagai kesalahan nol, sehingga epsilon yang lebih besar menghasilkan model yang lebih datar dan lebih sederhana dengan lebih sedikit support vector, sementara epsilon yang lebih kecil mencocokkan data lebih ketat.

Mengapa saya harus menormalisasi fitur?

SVR bergantung pada jarak yang dihitung melalui kernel. Jika fitur berada pada skala yang sangat berbeda, fitur dengan rentang yang lebih besar mendominasi jarak, sehingga fitur harus distandarisasi sebelum pencocokan.

Seberapa kecil sampel yang terlalu kecil?

Dengan kurang dari sekitar 50 observasi, pencocokan bergantung pada terlalu sedikit support vector dan menjadi tidak stabil, dan tidak ada cukup data untuk menyetel hyperparameter kernel; regresi ridge atau linier adalah pilihan yang lebih aman.

Bagaimana SVR berbeda dari ordinary least squares?

Least squares menghukum setiap residual secara kuadratik, sedangkan SVR mengabaikan residual di dalam tabung epsilon dan hanya menghukum yang di luarnya. Dikombinasikan dengan kernel, ini memungkinkan SVR menangkap hubungan nonlinier dan tetap kuat terhadap penyimpangan kecil.

Metode terkait

Sumber

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    Buka referensi DOI
    Disalin.