SVM Satu Kelas
- Diperkenalkan oleh
- Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
- Tahun
- 1999–2001
- Jenis
- Anomaly / novelty detection (unsupervised)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
SVM satu kelas adalah algoritma deteksi anomali dan kebaruan tanpa pengawasan yang mempelajari batas ketat di sekitar data pelatihan normal dalam ruang fitur yang diinduksi kernel, menandai observasi baru yang jatuh di luar batas tersebut sebagai pencilan.
Diperkenalkan oleh Scholkopf dkk. pada tahun 1999–2001, algoritma ini memperluas kerangka kerja SVM ke pengaturan satu kelas di mana tidak ada anomali berlabel yang tersedia.
Intuisi di balik metode
Bayangkan mengembangkan balon untuk menampung semua titik pelatihan Anda dalam ruang yang ditransformasi yang ditentukan oleh fungsi kernel. Setelah balon terpasang, setiap titik baru yang mendarat di luarnya dinyatakan sebagai anomali. Parameter nu mengontrol seberapa ketat balon tersebut: nu kecil memungkinkan sangat sedikit titik pelatihan berada di dalam margin (batas ketat), sementara nu besar memungkinkan lebih banyak titik di luar (batas lebih longgar). Trik kernel memungkinkan batas menjadi non-linear dalam ruang masukan asli, sehingga SVM Satu Kelas dapat menangkap bentuk normalitas yang kompleks yang akan terlewatkan oleh aturan ambang batas atau jarak sederhana.
Sejarah
SVM satu kelas diperkenalkan oleh Scholkopf, Platt, Smola, dan Williamson dalam laporan teknis tahun 1999 dan diterbitkan di Neural Computation pada tahun 2001 sebagai 'Estimating the support of a high-dimensional distribution.' Formulasi yang sangat terkait, Support Vector Data Description (SVDD), dikembangkan secara bersamaan oleh Tax dan Duin (2004). Kedua metode memperluas kerangka kerja SVM yang diawasi ke pengaturan deteksi anomali tanpa pengawasan dan menjadi referensi dasar dalam literatur deteksi kebaruan. Implementasi OneClassSVM Scikit-learn membuat metode ini dapat diakses secara luas dalam penelitian terapan.
Kapan digunakan
Gunakan SVM Satu Kelas ketika contoh anomali berlabel tidak tersedia atau sangat langka dan Anda menginginkan batas non-linear di sekitar perilaku normal — tipikal dalam deteksi penipuan, deteksi intrusi, pemantauan kesalahan industri, dan penyaringan kebaruan medis dengan fitur numerik kontinu. Algoritma ini bekerja paling baik pada kumpulan data berukuran sedang (ratusan hingga puluhan ribu sampel) dan distribusi normalitas berdimensi tinggi atau berbentuk kompleks di mana detektor linier atau berbasis jarak gagal. Hindari jika: set pelatihan sangat besar (n > ~100.000), karena solusi kuadratik diskalakan dengan buruk; data sangat kategorikal; atau ketika aturan yang cepat dan dapat diinterpretasikan diperlukan. Dalam kasus tersebut, lebih pilih Isolation Forest, Local Outlier Factor, atau model statistik berbasis ambang batas.
Batasan dan pertimbangan
- Penyelesai pemrograman kuadratik diskalakan sebagai O(n^2) hingga O(n^3) dalam sampel pelatihan, membuatnya tidak praktis untuk kumpulan data yang sangat besar.
- Sensitif terhadap pilihan kernel dan hyperparameter-nya (misalnya, gamma RBF); pilihan yang buruk menghasilkan batas yang terlalu ketat atau terlalu longgar.
- Membutuhkan data pelatihan normal yang bersih — set pelatihan yang terkontaminasi menggeser batas dan meningkatkan tingkat negatif palsu.
- Tidak secara alami menghasilkan estimasi probabilitas yang terkalibrasi; skor keputusan bukanlah probabilitas.
- Interpretasi terbatas; menjelaskan mengapa titik tertentu ditandai sulit tanpa alat post-hoc tambahan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Bekerja tanpa contoh anomali berlabel — hanya data pelatihan normal yang diperlukan.
- Kernel non-linear (biasanya RBF) menangkap batas normalitas yang kompleks dan melengkung yang terlewatkan oleh metode berbasis jarak.
- Parameter nu memberikan kontrol langsung yang dapat diinterpretasikan atas fraksi pencilan yang diharapkan.
- Skala dengan baik ke ruang fitur berdimensi tinggi melalui trik kernel.
- Skor keputusan kontinu memungkinkan kalibrasi ambang batas hilir yang fleksibel.
- Terbukti dalam domain berisiko tinggi seperti deteksi intrusi, pemantauan kesalahan, dan pencitraan medis.
Penerapan
- Deteksi intrusi jaringan: menandai pola lalu lintas yang tidak terlihat selama operasi normal.
- Pemantauan kesalahan industri: mendeteksi pembacaan sensor mesin yang menyimpang dari profil keadaan sehat.
- Deteksi penipuan: mengidentifikasi pola transaksi yang tidak biasa ketika contoh penipuan terlalu langka untuk melatih pengklasifikasi yang diawasi.
- Deteksi kebaruan medis: menandai pembacaan pencitraan atau biomarker di luar distribusi subjek sehat.
- Pemrosesan bahasa alami: deteksi dokumen atau kueri di luar domain menggunakan embedding teks sebagai fitur masukan.
Cara kerjanya
Cara kerjanya
Semua observasi pelatihan dipetakan ke ruang fitur berdimensi tinggi (berpotensi berdimensi tak terhingga) melalui fungsi kernel seperti fungsi basis radial (RBF). Hasil kali titik dalam di ruang tersebut dapat dievaluasi tanpa menghitung pemetaan secara eksplisit, yang membuat pendekatan ini dapat dikelola bahkan untuk batas yang kompleks.
Rumus
\phi: \mathcal{X} \to \mathcal{F}Program kuadratik menemukan hyperplane di ruang fitur yang memisahkan data pelatihan yang dipetakan dari titik asal dengan margin maksimum. Parameter nu (antara 0 dan 1) secara bersamaan membatasi fraksi titik pelatihan yang diperlakukan sebagai pencilan dan fraksi vektor pendukung, memberikan praktisi kontrol langsung atas trade-off antara ketatnya model dan toleransi kontaminasi pelatihan.
Rumus
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_iHyperplane yang dipelajari mendefinisikan fungsi keputusan bertanda. Titik di sisi positif diklasifikasikan sebagai normal; titik di sisi negatif (di bawah ambang batas rho) ditandai sebagai anomali atau kebaruan. Skor mentah juga dapat berfungsi sebagai skor anomali kontinu untuk pemeringkatan.
Rumus
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)Memilih nu adalah keputusan pemodelan utama: menetapkannya mendekati fraksi kontaminasi yang diharapkan dalam set pelatihan adalah aturan praktis yang umum. Validasi silang pada set validasi normal yang ditahan atau pengetahuan domain tentang tingkat pencilan yang diharapkan harus memandu pilihan daripada pencarian grid hanya pada data tanpa label.
Dalam penerapan, ambang batas skor anomali diterapkan pada keluaran fungsi keputusan. Ambang batas dapat disesuaikan secara post-hoc untuk menukar presisi dengan perolehan kembali untuk anomali, membuat metode ini cocok untuk aplikasi di mana biaya positif palsu sangat berbeda dari biaya negatif palsu.
Kesalahan umum
- Pelatihan pada data yang mengandung fraksi anomali yang terdeteksi secara signifikan, yang merusak batas yang dipelajari.
- Menetapkan nu tanpa referensi ke tingkat kontaminasi yang diharapkan, yang mengarah pada positif palsu yang berlebihan atau anomali yang terlewat.
- Menggunakan gamma RBF default tanpa penyesuaian, yang dapat membuat batas menjadi terlalu ketat (semua titik baru adalah anomali) atau terlalu longgar (tidak ada anomali yang terdeteksi).
- Menerapkan SVM Satu Kelas pada kumpulan data yang sangat besar tanpa mempertimbangkan alternatif skalabilitas seperti aproksimasi berbasis SGD (SGDOneClassSVM dari sklearn).
- Melaporkan hanya bendera anomali biner tanpa memeriksa distribusi skor kontinu untuk mengkalibrasi ambang batas.
Pertanyaan yang sering diajukan
Apa perbedaan antara SVM Satu Kelas dan Isolation Forest untuk deteksi anomali?
SVM Satu Kelas mempelajari batas berbasis kernel di sekitar data normal dan berkinerja baik pada distribusi berdimensi tinggi dan berbentuk kompleks, tetapi skalanya buruk seiring bertambahnya ukuran kumpulan data. Isolation Forest menggunakan partisi acak dan jauh lebih cepat pada kumpulan data besar tetapi umumnya kurang sensitif terhadap pola anomali non-linear yang halus.
Bagaimana cara memilih parameter nu?
Tetapkan nu ke fraksi observasi pelatihan yang Anda harapkan terkontaminasi atau atipikal. Jika Anda yakin kurang dari 5% sampel pelatihan Anda adalah pencilan, mulailah dengan nu=0,05. Gunakan set contoh normal yang diketahui yang ditahan untuk mengevaluasi ketatnya batas daripada hanya mengandalkan pencarian grid.
Kernel apa yang harus saya gunakan?
Kernel RBF (Gaussian) adalah titik awal standar dan menangani sebagian besar kumpulan data numerik kontinu dengan baik. Hyperparameter gamma dari kernel RBF mengontrol radius pengaruh; validasi silang pada grid yang berjarak logaritmik. Kernel linier lebih cepat tetapi membatasi batas ke hyperplane.
Bisakah SVM Satu Kelas menangani fitur kategorikal?
Tidak secara langsung. Variabel kategorikal harus dikodekan secara numerik (misalnya, pengkodean biner atau ordinal) sebelum digunakan, yang dapat menimbulkan distorsi metrik jarak. Untuk kumpulan data yang didominasi oleh fitur kategorikal, pertimbangkan detektor berbasis pohon seperti Isolation Forest.
Set pelatihan saya mungkin mengandung beberapa anomali. Apakah itu merusak model?
Data pelatihan yang terkontaminasi menggeser batas ke luar dan dapat menyebabkan model mempelajari pola anomali sebagai normal. SVM Satu Kelas lebih sensitif terhadap hal ini daripada Isolation Forest. Jika kontaminasi dicurigai, pertimbangkan untuk menggunakan SVDD dengan nu yang lebih tinggi atau membersihkan set pelatihan dengan lintasan awal detektor cepat.
Metode terkait
Sumber
Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
Buka referensi DOIDisalin.Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.
Buka referensi DOIDisalin.