Semi-supervised One-class SVM
- Diperkenalkan oleh
- Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
- Tahun
- 2001–2004
- Jenis
- Semi-supervised anomaly / novelty detection
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Semi-supervised One-class SVM memperluas detektor anomali One-class SVM klasik dengan menggabungkan observasi tak berlabel bersama dengan sejumlah kecil contoh normal yang diketahui.
Data tak berlabel membantu model mempelajari batas keputusan yang lebih ketat dan informatif di ruang fitur, mengurangi positif palsu dan meningkatkan perolehan anomali dibandingkan dengan baseline yang sepenuhnya tanpa pengawasan. Sebuah One-class SVM standar menggambar batas di sekitar data normal berlabel di ruang fitur yang ditransformasi kernel dan menandai segala sesuatu di luar sebagai anomali. Masalahnya adalah dengan sedikit contoh berlabel, batasnya longgar dan berisik. Semi-supervised One-class SVM memanfaatkan kumpulan contoh tak berlabel — yang sebagian besar kemungkinan normal — untuk menarik batas ke dalam menuju wilayah yang lebih padat. Anggap saja seperti mengajari model di mana 'normal' sebenarnya berada dengan menunjukkannya lebih banyak contoh, bahkan ketika contoh-contoh tersebut tidak memiliki label kelas yang terkonfirmasi. Hasilnya adalah batas anomali yang lebih ketat dan lebih andal dengan biaya pelabelan yang rendah.
Intuisi di balik metode
Partisi data pelatihan menjadi kumpulan berlabel kecil yang terdiri dari instance normal yang terkonfirmasi dan kumpulan tak berlabel yang jauh lebih besar. Kumpulan tak berlabel biasanya terdiri dari data operasional nyata dari domain target yang belum diverifikasi secara manual. Kualitas benih berlabel sangat memengaruhi kinerja akhir.
Sejarah
Deteksi intrusi jaringan dan serangan siber menggunakan lalu lintas normal berlabel ditambah log operasional tak berlabel.
Kapan digunakan
Memanfaatkan data tak berlabel yang melimpah untuk meningkatkan kualitas batas tanpa anotasi penuh yang mahal.
Batasan dan pertimbangan
- Tingkat kontaminasi tinggi dalam kumpulan tak berlabel menyebabkan pergeseran label semu dan kerusakan batas.
- Pemrograman kuadratik memiliki skala yang buruk: pemecah SVM standar kesulitan di atas puluhan ribu observasi.
- Memerlukan penyetelan kernel dan parameter nu yang cermat; nilai default jarang menghasilkan batas yang optimal.
- Pelabelan semu iteratif menambah kompleksitas implementasi dan memerlukan kriteria penghentian yang berprinsip.
- Menggunakan benih berlabel yang diambil dari distribusi yang berbeda dari kumpulan tak berlabel, menyebabkan kesalahan label semu yang sistematis.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mewarisi fleksibilitas kernel One-class SVM standar, menangkap manifold data normal nonlinier.
- Skor anomali yang terkalibrasi lebih baik daripada OC-SVM tanpa pengawasan murni ketika ada benih berlabel yang bersih.
- Bekerja dengan baik di ruang fitur berdimensi tinggi di mana data normal membentuk kluster kompak.
- Besarnya skor anomali memberikan peringkat kepercayaan alami untuk triase dan prioritisasi.
- Kinerja menurun tajam jika benih berlabel kecil, berisik, atau tidak mewakili perilaku normal yang sebenarnya.
Penerapan
- Kontrol kualitas gambar medis di mana pemindaian yang baik yang terkonfirmasi tersedia tetapi anomali jarang terjadi.
- Deteksi kesalahan industri dengan pembacaan sensor kondisi operasi normal sebagai benih berlabel.
- Deteksi penipuan dalam transaksi keuangan ketika hanya contoh yang tidak curang yang dikonfirmasi.
- Penyaringan anomali teks atau dokumen menggunakan kumpulan dokumen bersih yang diketahui untuk menambatkan batas.
- Berapa ukuran benih berlabel yang dibutuhkan?
Cara kerjanya
Cara kerjanya
Petakan semua observasi ke ruang Hilbert kernel reproduksi berdimensi tinggi menggunakan fungsi kernel — yang paling umum adalah kernel RBF. Di ruang itu, kluster data normal menjadi kompak dan dapat dipisahkan dari asal, yang merupakan trik geometris yang mendasari One-class SVM.
Sesuaikan One-class SVM awal hanya menggunakan contoh normal berlabel. Ini memberikan hyperplane awal yang ditentukan oleh vektor bobot w, ambang batas rho, dan variabel slack xi, yang dikendalikan oleh parameter nu yang membatasi fraksi kesalahan pelatihan.
Rumus
\phi: \mathcal{X} \rightarrow \mathcal{F}Terapkan model awal ke kumpulan tak berlabel dan tetapkan label semu (pseudo-label) lunak atau keras: instance yang diklasifikasikan sebagai normal secara tentatif ditambahkan ke kumpulan normal; yang dinilai sebagai anomali dapat dibuang atau diberi bobot lebih rendah. Keandalan label semu dapat ditingkatkan dengan ambang batas kepercayaan atau propagasi label pada grafik kesamaan.
Rumus
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rhoLatih ulang One-class SVM pada kumpulan berlabel yang diperluas (label asli ditambah label semu yang diterima). Ulangi loop pelabelan semu dan pelatihan ulang untuk jumlah iterasi tetap atau sampai batas stabil. Penghentian dini mencegah pergeseran yang disebabkan oleh kesalahan label semu yang beruntun.
Pada inferensi, petakan setiap observasi baru melalui kernel yang sama dan evaluasi fungsi keputusan f(x). Instance dengan f(x) < 0 ditandai sebagai anomali; besarnya skor mencerminkan jarak dari batas normal dan dapat berfungsi sebagai peringkat kepercayaan anomali.
Pilih Semi-supervised One-class SVM ketika anomali jarang terjadi, melabeli semua data terlalu mahal, tetapi benih normal yang terkonfirmasi dalam jumlah kecil tersedia — misalnya deteksi intrusi jaringan, kontrol kualitas pencitraan medis, atau penyaringan cacat manufaktur. Metode ini mengungguli OC-SVM tanpa pengawasan ketika benih berlabel bersih dan kumpulan tak berlabel besar serta mewakili perilaku normal. Jangan gunakan jika benih berlabel berisik atau bias, ketika tingkat anomali dalam kumpulan tak berlabel tinggi (sekitar 10–20%), ketika Anda memiliki banyak contoh anomali yang terkonfirmasi (SVM terawasi atau metode ensemble lebih baik), atau ketika interpretasi dan koefisien eksplisit diperlukan oleh peninjau.
Rumus
f(x) = \text{sign}(w^\top \phi(x) - \rho)Kesalahan umum
- Menetapkan parameter kontaminasi nu tanpa memperkirakan tingkat anomali yang sebenarnya, yang mengarah pada deteksi berlebih atau kurang.
- Mempercayai label semu tanpa syarat alih-alih menerapkan ambang batas kepercayaan atau pembobotan lunak.
- Melewatkan evaluasi pada set anomali anotasi yang disisihkan dan hanya mengandalkan metrik kluster tanpa pengawasan.
- Mencampuradukkan metode ini dengan transductive SVM (S3VM), yang memecahkan masalah klasifikasi semi-terawasi yang berbeda daripada deteksi one-class.
- One-class SVM diperkenalkan oleh Scholkopf et al. pada tahun 2001 sebagai metode untuk memperkirakan dukungan distribusi berdimensi tinggi, dengan cepat menjadi standar untuk deteksi kebaruan dan anomali. Para peneliti pada pertengahan tahun 2000-an menyadari bahwa bahkan benih normal berlabel kecil pun dapat secara substansial memperketat batas keputusan, dan beberapa ekstensi semi-terawasi diusulkan, mengambil dari pekerjaan kontemporer dalam transductive SVM dan propagasi label. Pendekatan ini tetap dipelajari secara aktif di domain di mana pelabelan anomali sangat mahal.
Pertanyaan yang sering diajukan
Dalam praktiknya, bahkan beberapa lusin contoh normal yang terkonfirmasi dapat menginisialisasi batas yang berguna, tetapi kumpulan berlabel harus mencakup mode utama perilaku normal. Jika benih lebih kecil dari sekitar 20–30 observasi, batas awal akan tidak andal dan kesalahan label semu akan bertambah.
Bagaimana jika kumpulan tak berlabel sangat terkontaminasi oleh anomali?
Kontaminasi tinggi (di atas sekitar 10–20% anomali) menyebabkan penyempurnaan iteratif secara bertahap menyerap anomali ke dalam kelas normal, merusak batas. Dalam kasus seperti itu, gunakan ambang batas penerimaan label semu yang lebih rendah, terapkan pemungutan suara ensemble di berbagai putaran, atau kembali ke One-class SVM yang sepenuhnya terawasi hanya pada benih berlabel.
Bagaimana cara memilih kernel dan parameter nu?
Kernel RBF adalah default standar; atur bandwidthnya (gamma) bersama dengan nu menggunakan validasi silang pada kumpulan berlabel. Nu mengontrol batas atas pada fraksi kesalahan pelatihan dan fraksi vektor pendukung — atur kira-kira ke tingkat anomali yang diharapkan jika diketahui.
Apakah ini berbeda dari transductive SVM (S3VM)?
Ya. Transductive SVM (S3VM) melakukan klasifikasi biner semi-terawasi di mana kedua kelas diberi label sebagian. Semi-supervised One-class SVM menangani deteksi anomali: ia hanya menggunakan label kelas normal dan memperlakukan observasi tak berlabel sebagai calon normal, bukan sebagai kelas kedua yang akan diklasifikasikan.
Bisakah saya menggunakan metode ini dalam skala besar?
Pemecah SVM standar memiliki kompleksitas O(n^2) hingga O(n^3). Untuk dataset di atas sekitar 50.000 observasi, gunakan pemecah perkiraan (misalnya, pembaruan online berbasis SGD, perkiraan kernel melalui fitur Nystrom atau Fourier acak) atau beralih ke alternatif yang dapat diskalakan seperti Isolation Forest atau detektor anomali berbasis autoencoder dalam.
Muat contoh normal berlabel dan kumpulan tak berlabel Anda ke dalam MethodMind, konfigurasikan bandwidth kernel RBF dan nu, dan jalankan loop penyempurnaan semi-terawasi untuk mendapatkan skor anomali, visualisasi batas, dan laporan konvergensi iterasi demi iterasi.
Metode terkait
Sumber
Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.
Buka referensi publikasiDisalin.Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
Buka referensi DOIDisalin.