Skip to content
Kembali ke hasil pencarian

Support Vector Machine (Klasifikasi)

Diperkenalkan oleh
Cortes, C. & Vapnik, V.
Tahun
1995
Jenis
Maximum-margin classifier (kernel method)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Support Vector Machine (SVM), yang diperkenalkan oleh Corinna Cortes dan Vladimir Vapnik pada tahun 1995, adalah sebuah pengklasifikasi yang menemukan hiperbidang pemisah optimal antar kelas dalam ruang berdimensi tinggi.

SVM memilih batas yang menyisakan margin terluas yang memungkinkan ke titik-titik data latih terdekat, yang membuat keputusannya menjadi robust pada data baru.

Intuisi di balik metode

Bayangkan memisahkan dua kelompok titik dengan batas lurus. Banyak garis yang bisa melakukannya, tetapi SVM mencari garis yang posisinya paling jauh dari titik-titik terdekat dari setiap kelas—'jalan' terluas di antara keduanya. Hanya titik-titik terdekat itu, yaitu vektor pendukung (support vectors), yang benar-benar membentuk batas; segala sesuatu yang lebih jauh menjadi tidak relevan. Ketika kelas-kelas tidak dapat dipisahkan oleh garis lurus, sebuah kernel akan membentuk ulang ruang sehingga pemisahan yang bersih menjadi mungkin.

Sejarah

Support Vector Machine diperkenalkan oleh Corinna Cortes dan Vladimir Vapnik dalam makalah mereka tahun 1995 berjudul 'Support-Vector Networks', yang menggabungkan ide margin maksimum dengan trik kernel untuk menangani data yang tidak dapat dipisahkan secara linear. SVM menjadi salah satu metode klasifikasi paling berpengaruh pada masanya dan tolok ukur standar untuk pembelajaran terawasi berdimensi tinggi.

Kapan digunakan

Gunakan SVM untuk klasifikasi biner atau kategorikal pada data tabular dengan sekitar 50 observasi atau lebih, terutama ketika ruang fitur berdimensi tinggi dan akurasi prediktif lebih penting daripada koefisien yang eksplisit. SVM tidak memerlukan data yang terdistribusi normal, tetapi fitur-fitur harus distandardisasi dan kernel serta parameter C harus di-tuning melalui validasi silang. Pada sampel yang sangat kecil, lebih disukai pengklasifikasi yang lebih sederhana seperti regresi logistik atau naive Bayes.

Batasan dan pertimbangan

  • Sensitif terhadap pilihan kernel dan parameter C, yang harus di-tuning melalui validasi silang.
  • Memerlukan standardisasi fitur yang cermat; fitur yang tidak diskalakan mendistorsi margin.
  • Menjadi tidak stabil pada sampel kecil, di mana terdapat terlalu sedikit vektor pendukung untuk mendefinisikan batas yang andal.
  • Tidak memberikan koefisien yang dapat diinterpretasikan secara langsung dan tidak ada estimasi probabilitas kelas bawaan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Efektif dalam ruang fitur berdimensi tinggi, bahkan ketika jumlah fitur lebih banyak daripada yang disarankan oleh kompleksitas batas.
  • Prinsip margin maksimum dan penggunaan hanya vektor pendukung menghasilkan batas yang robust dan dapat digeneralisasi.
  • Kernel memungkinkan SVM menangkap batas kelas non-linear tanpa perlu rekayasa fitur baru secara manual.
  • Asumsi ringan: tidak memerlukan data yang terdistribusi normal.

Penerapan

  • Klasifikasi biner dan multi-kelas pada data tabular.
  • Masalah klasifikasi berdimensi tinggi di mana jumlah fitur melebihi kapasitas model sederhana.
  • Tugas prediksi di mana batas keputusan yang robust dan terpisah dengan baik lebih penting daripada koefisien yang dapat diinterpretasikan.
  • Masalah dengan batas kelas non-linear, yang ditangani melalui fungsi kernel.

Cara kerjanya

Cara kerjanya

1

SVM mencari hiperbidang yang memisahkan kelas-kelas dengan margin terbesar—jarak terbesar ke titik-titik data terdekat di kedua sisi. Titik-titik terdekat itu adalah vektor pendukung, dan hanya mereka yang menentukan di mana batas berada. Margin yang lebar cenderung menggeneralisasi lebih baik ke data yang belum terlihat dibandingkan batas yang dipaksakan dekat dengan titik-titik latih.

2

Ketika kelas-kelas tidak dapat dipisahkan secara linear, sebuah fungsi kernel (misalnya, radial basis function) secara implisit memetakan fitur-fitur ke ruang berdimensi lebih tinggi di mana hiperbidang pemisah ada. Inilah sebabnya mengapa fitur-fitur harus distandardisasi terlebih dahulu (StandardScaler diperlukan), dan mengapa kernel serta parameter regularisasi C harus dipilih melalui validasi silang (cross-validation).

3

Batas ditemukan dengan meminimalkan objektif di atas: objektif ini mengecilkan vektor bobot (memperlebar margin) sambil membayar penalti C untuk setiap titik yang jatuh di sisi yang salah atau di dalam margin (slack ξ). Nilai C yang besar menuntut kecocokan yang ketat dengan data latih; nilai C yang kecil mentolerir lebih banyak pelanggaran demi margin yang lebih lebar dan lebih mulus. Dengan kelas yang tidak seimbang, class_weight='balanced' mencegah kelas minoritas diabaikan.

Rumus
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i

Kesalahan umum

  • Melakukan fitting SVM pada fitur mentah yang tidak distandardisasi alih-alih menstandardisasinya terlebih dahulu.
  • Menerima nilai kernel dan C default alih-alih memilihnya melalui validasi silang (misalnya, grid search).
  • Mengabaikan ketidakseimbangan kelas alih-alih mengatur class_weight='balanced'.
  • Menerapkan SVM pada sampel di bawah ~50 observasi, di mana batasnya tidak stabil dan rentan terhadap overfitting.
  • Melaporkan hanya akurasi tanpa matriks kebingungan (confusion matrix), presisi/recall/F1, dan ROC-AUC.

Pertanyaan yang sering diajukan

Mengapa saya harus menstandardisasi fitur?

SVM mengukur jarak ke hiperbidang pemisah, sehingga fitur pada skala numerik yang lebih besar mendominasi margin. Menstandardisasi setiap fitur (StandardScaler) menempatkannya pada skala yang sebanding sehingga batas mencerminkan struktur kelas yang sebenarnya, bukan unit arbitrer.

Apa yang dikontrol oleh parameter C?

C menyeimbangkan lebar margin terhadap kesalahan klasifikasi. Nilai C yang besar memaksa kecocokan yang ketat dengan data latih dengan margin sempit; nilai C yang kecil mengizinkan lebih banyak pelanggaran margin demi batas yang lebih lebar dan lebih mulus. Nilai yang tepat ditemukan melalui validasi silang.

Untuk apa kernel digunakan?

Ketika kelas-kelas tidak dapat dipisahkan oleh batas lurus, sebuah kernel (seperti radial basis function) secara implisit memetakan data ke ruang berdimensi lebih tinggi di mana hiperbidang pemisah ada, memungkinkan SVM memodelkan batas non-linear. Pilihan kernel harus divalidasi melalui validasi silang.

Kapan saya tidak boleh menggunakan SVM?

Pada sampel yang sangat kecil—di bawah sekitar 50 observasi—terlalu sedikit vektor pendukung untuk mendefinisikan batas yang stabil dan tidak cukup data untuk men-tuning kernel dan C, sehingga model berisiko overfitting. Dalam kasus tersebut, pengklasifikasi yang lebih sederhana seperti regresi logistik atau naive Bayes lebih disukai.

Metode terkait

Sumber

  1. Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.

    Buka referensi DOI
    Disalin.