Skip to content
Kembali ke hasil pencarian

Pembelajaran Aktif SVM Satu Kelas

Diperkenalkan oleh
Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
Tahun
2000s
Jenis
Semi-supervised anomaly/novelty detection with iterative labeling
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Pembelajaran Aktif SVM Satu Kelas menggabungkan mesin vektor dukungan satu kelas (one-class support vector machine) — pendeteksi kebaruan berbasis kernel yang mempelajari batas data normal — dengan putaran pembelajaran aktif yang memilih instans tak berlabel yang paling informatif untuk anotasi ahli.

Hasilnya adalah pendeteksi anomali yang efisien data yang meningkatkan batas keputusannya dengan upaya pelabelan minimal.

Intuisi di balik metode

SVM Satu Kelas standar menggambar batas yang ketat di sekitar wilayah normal yang diketahui dari ruang fitur. Kesulitannya adalah kualitas batas sangat bergantung pada contoh mana yang diberi label. Pembelajaran aktif memperbaiki ini dengan meminta oracle untuk memberi label hanya contoh yang jatuh di dekat, atau tepat di luar, batas keputusan saat ini — titik-titik yang paling tidak pasti bagi model. Dengan menanyakan secara strategis daripada secara acak, model mendapatkan kumpulan data pelatihan yang lebih informatif dengan contoh berlabel jauh lebih sedikit, menghemat biaya anotasi sambil mempertajam batas antara normal dan anomali.

Sejarah

SVM Satu Kelas diperkenalkan oleh Schölkopf dan rekan-rekannya pada tahun 1999–2001 sebagai metode kernel yang berprinsip untuk memperkirakan dukungan distribusi, dan dengan cepat menjadi algoritma referensi untuk deteksi kebaruan dan anomali. Paradigma pembelajaran aktif — secara sistematis menanyakan oracle untuk label informatif — diformalkan dalam survei oleh Settles (2009). Peneliti pada tahun 2000-an dan 2010-an menggabungkan kedua ide tersebut, menerapkan strategi kueri berbasis ketidakpastian dan berbasis margin ke OCSVM di domain seperti deteksi intrusi, diagnosis kesalahan, dan penyaringan medis, di mana anomali berlabel secara inheren langka.

Kapan digunakan

Gunakan ketika anomali atau kebaruan harus dideteksi tetapi contoh berlabel mahal, langka, atau awalnya tidak tersedia — tipikal dalam deteksi penipuan, pemantauan kesalahan peralatan, deteksi intrusi keamanan siber, dan penyaringan penyakit langka medis. Metode ini sangat cocok ketika pasokan data normal tak berlabel yang masuk akal ada bersama dengan sejumlah kecil instans normal yang dikonfirmasi, dan ketika oracle (pakar manusia atau penguji otomatis) dapat memberi label pada titik yang dikueri. Hindari ketika tingkat anomali sangat rendah sehingga bahkan kueri aktif jarang mengenai anomali, ketika ruang fitur berdimensi sangat tinggi tanpa pemetaan kernel yang bermakna, atau ketika alur kerja yang sepenuhnya otomatis tanpa manusia-dalam-lingkaran diperlukan.

Batasan dan pertimbangan

  • Kinerja sensitif terhadap pilihan kernel dan hyperparameter nu; default yang buruk dapat menghasilkan batas yang terlalu ketat atau terlalu longgar.
  • Skalabilitas terbatas: biaya pelatihan OCSVM tumbuh secara kuadratik dengan jumlah vektor dukungan, membuatnya lambat pada kumpulan data besar.
  • Jika benih berlabel awal tidak mewakili wilayah normal yang sebenarnya, kueri awal dapat menyesatkan model.
  • Pembelajaran aktif mengasumsikan ketersediaan dan keandalan oracle; pelabelan yang berisik atau tidak konsisten menurunkan batas.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Secara dramatis mengurangi jumlah label ahli yang dibutuhkan untuk membangun pendeteksi anomali yang efektif.
  • Menangani data berdimensi tinggi dengan baik melalui pemetaan kernel, terutama kernel RBF.
  • Tidak memerlukan contoh anomali pada inisialisasi — ia memulai dari data normal saja.
  • Strategi kueri aktif memfokuskan upaya anotasi pada wilayah ruang yang paling relevan dengan keputusan.
  • Batas OCSVM kuat terhadap outlier dalam kumpulan pelatihan melalui hyperparameter nu.

Penerapan

  • Deteksi anomali intrusi jaringan dan keamanan siber dengan label serangan terbatas.
  • Pemantauan kesalahan peralatan industri menggunakan aliran sensor dengan peristiwa kegagalan yang jarang.
  • Deteksi penipuan dalam transaksi keuangan di mana kasus penipuan yang dikonfirmasi jarang dan mahal untuk diberi label.
  • Penyaringan penyakit langka atau peristiwa langka medis di mana waktu anotasi ahli merupakan kendala yang mengikat.
  • Deteksi kebaruan gambar atau teks ketika hanya korpus contoh normal yang awalnya tersedia.

Cara kerjanya

Cara kerjanya

1

SVM Satu Kelas awal dilatih pada sejumlah kecil contoh normal berlabel yang tersedia di awal. Kernel (biasanya RBF) dan hyperparameter nu — yang mengontrol fraksi titik pelatihan di luar batas — diatur sebelum iterasi dimulai.

2

Strategi pembelajaran aktif memberi skor setiap instans tak berlabel berdasarkan jaraknya ke batas keputusan OCSVM. Titik-titik terdekat dengan batas adalah yang paling ambigu; mereka diberi peringkat dan kandidat teratas dipilih sebagai kueri untuk oracle. Strategi umum termasuk pengambilan sampel margin dan varian berbobot kepadatan.

3

Seorang pakar domain (atau pengganti berbiaya rendah seperti platform crowdsourcing) menetapkan label — normal atau anomali — untuk setiap instans yang dikueri. Langkah ini adalah hambatan, sehingga efisiensi pemilihan kueri menentukan biaya keseluruhan.

4

Instans yang baru diberi label ditambahkan ke kumpulan pelatihan dan SVM Satu Kelas dilatih ulang. Jika label anomali tersedia, mereka dapat dimasukkan melalui penyempurnaan batas dua kelas; jika hanya label normal yang ditambahkan, batasnya akan mengencang di sekitar data normal yang dikonfirmasi.

5

Putaran berulang sampai anggaran (jumlah kueri maksimum) habis, kinerja pada set validasi mendatar, atau perubahan batas antar iterasi jatuh di bawah ambang batas. OCSVM akhir diterapkan untuk penilaian produksi.

Kesalahan umum

  • Menyetel nu pada kumpulan data pelatihan tanpa set validasi yang terpisah, yang mengarah ke batas yang terlalu optimis.
  • Memilih kueri murni berdasarkan margin tanpa memperhitungkan kepadatan, menyebabkan model mengkueri titik-titik di wilayah yang jarang dan tidak representatif.
  • Memperlakukan semua data tak berlabel sebagai normal selama inisialisasi tanpa memeriksa kontaminasi.
  • Menghentikan putaran setelah terlalu sedikit kueri dan melaporkan kinerja pada set validasi yang sangat kecil seolah-olah stabil.
  • Menggunakan kernel linier pada data di mana wilayah normalnya non-konveks — kernel harus sesuai dengan geometri kelas normal.

Pertanyaan yang sering diajukan

Apa perbedaan antara metode ini dan SVM Satu Kelas standar?

SVM Satu Kelas standar dilatih sekali pada semua data berlabel yang tersedia. Varian pembelajaran aktif berulang: ia dilatih pada benih kecil, mengkueri titik tak berlabel yang paling informatif, mengumpulkan label, dan melatih ulang. Ini membuat batas lebih akurat dengan contoh berlabel jauh lebih sedikit.

Berapa banyak contoh berlabel yang perlu saya mulai?

Bahkan segelintir contoh normal yang dikonfirmasi (sesedikit 10–50) dapat menjadi benih OCSVM pertama. Putaran aktif kemudian menumbuhkan kumpulan berlabel secara strategis. Memulai dengan terlalu sedikit contoh berisiko batas awal yang tidak stabil yang salah mengarahkan kueri awal.

Strategi kueri apa yang harus saya gunakan?

Pengambilan sampel margin — mengkueri instans terdekat dengan batas keputusan OCSVM saat ini — adalah pilihan yang paling umum. Varian berbobot kepadatan yang juga lebih memilih titik-titik di wilayah padat ruang masukan cenderung berkinerja lebih baik daripada pengambilan sampel margin murni ketika data memiliki struktur klaster.

Bagaimana cara mengevaluasi kinerja ketika label anomali langka?

Gunakan area di bawah kurva ROC (AUC-ROC) atau area di bawah kurva presisi-recall (AUC-PR) pada set validasi yang terpisah yang mencakup anomali yang dikonfirmasi. Akurasi menyesatkan ketika anomali jarang terjadi. Jika tidak ada label anomali sama sekali, gunakan inspeksi visual batas dalam proyeksi berdimensi rendah.

Kapan saya harus beralih ke pendeteksi anomali yang berbeda?

Jika kumpulan data memiliki lebih dari beberapa ribu instans, pendeteksi berbasis Isolation Forest atau Autoencoder memiliki skala yang lebih baik. Jika Anda memiliki cukup anomali berlabel untuk pelatihan terawasi, SVM biner standar atau pengklasifikasi yang ditingkatkan gradien umumnya akan berkinerja lebih baik daripada OCSVM.

Metode terkait

Sumber

  1. Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.

    Buka referensi DOI
    Disalin.
  2. Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    Buka referensi publikasi
    Disalin.