Skip to content
Kembali ke hasil pencarian

Support Vector Machine Pembelajaran Aktif

Diperkenalkan oleh
Tong, S. & Koller, D.
Tahun
2001
Jenis
Active learning + kernel classifier
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

SVM pembelajaran aktif menggabungkan batas keputusan yang kuat dari support vector machine dengan strategi kueri cerdas yang memilih instans tak berlabel yang paling informatif untuk anotasi manusia.

Diperkenalkan oleh Tong dan Koller pada tahun 2001, metode ini mencapai akurasi klasifikasi tinggi menggunakan contoh berlabel yang jauh lebih sedikit daripada pembelajaran terawasi pasif, membuatnya praktis kapan pun pelabelan mahal atau lambat.

Intuisi di balik metode

SVM standar memerlukan banyak contoh berlabel untuk menggambar batas keputusan yang andal. SVM pembelajaran aktif membalik alur kerja pelabelan: ia melatih SVM awal pada sekumpulan kecil data berlabel, kemudian melihat semua data tak berlabel dan bertanya 'contoh mana, jika diberi label, yang paling akan mempertajam batas?' Ia memilih instans yang paling dekat dengan hyperplane saat ini — di mana model paling tidak yakin — hanya memberi label pada titik itu, melatih ulang, dan mengulanginya. Karena setiap label dipilih secara strategis, sejumlah kecil anotasi yang mengejutkan dapat menghasilkan batas yang hampir sebaik pelabelan menyeluruh.

Sejarah

Formulasi seminal pembelajaran aktif untuk SVM disajikan oleh Simon Tong dan Daphne Koller di ICML 2001 dan diterbitkan di Journal of Machine Learning Research (2001). Algoritme Simple Margin mereka menetapkan pemilihan kueri berbasis margin sebagai pendekatan standar. Survei literatur tahun 2010 oleh Burr Settles menstandardisasi bidang pembelajaran aktif yang lebih luas dan memperkuat AL-SVM sebagai salah satu instansinya yang kanonik. Metode ini tetap menjadi tolok ukur dalam penelitian pembelajaran efisien anotasi dan banyak digunakan dalam klasifikasi teks, analisis gambar biomedis, dan penginderaan jauh.

Kapan digunakan

Gunakan SVM pembelajaran aktif ketika data berlabel langka atau mahal untuk diperoleh — umum dalam pencitraan medis, klasifikasi dokumen, dan tugas anotasi ilmiah — dan tersedia banyak data tak berlabel. Kinerjanya lebih baik daripada pelabelan acak ketika biaya pelabelan tinggi dan batas keputusan tidak sepele. Jangan gunakan ketika pelabelan semua data yang tersedia sudah memungkinkan; ketika ruang fitur berdimensi sangat tinggi tanpa struktur kernel yang jelas; atau ketika kumpulan tak berlabel terlalu kecil untuk mendapatkan manfaat dari kueri selektif. Hindari juga ketika ketersediaan oracle terputus-putus, karena loop iteratif memerlukan akses berulang ke manusia.

Batasan dan pertimbangan

  • Melatih ulang SVM dari awal pada setiap iterasi sangat mahal secara komputasi untuk kumpulan berlabel yang besar; pembaruan SVM inkremental mengurangi tetapi tidak menghilangkan biaya.
  • Pengambilan sampel margin dapat memilih instans yang redundan atau outlier jika kumpulan tak berlabel berisi noise atau duplikat di dekat batas.
  • Kinerja sangat bergantung pada pemilihan kernel dan hyperparameter, yang sulit untuk disetel secara andal dengan sedikit contoh berlabel.
  • Oracle diasumsikan selalu tersedia dan tidak salah; label yang berisik atau tidak konsisten dari anotator nyata menurunkan konvergensi.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mencapai akurasi klasifikasi tinggi dengan contoh berlabel yang jauh lebih sedikit daripada pembelajaran terawasi pasif.
  • Terikat erat dengan teori SVM: pemilihan kueri berbasis margin memiliki justifikasi geometris dan probabilistik yang jelas.
  • Pilihan kernel yang fleksibel (linear, RBF, polinomial) memungkinkan adaptasi ke ruang fitur teks, gambar, dan tabular.
  • Formulasi berbasis kumpulan praktis: seluruh kumpulan tak berlabel tersedia di muka, yang umum dalam aplikasi nyata.
  • Pelatihan ulang iteratif memberikan kurva pemantauan alami kinerja vs. anggaran anotasi.

Penerapan

  • Klasifikasi teks dan dokumen dengan anotasi ahli yang mahal (misalnya, catatan hukum, medis).
  • Pelabelan gambar biomedis di mana waktu ahli radiologi atau patologi merupakan kendala yang mengikat.
  • Klasifikasi citra penginderaan jauh dan satelit dengan arsip tak berlabel yang besar.
  • Deteksi spam dan intrusi di mana pelabelan memerlukan tinjauan ahli keamanan.
  • Anotasi data ilmiah dalam genomika atau ilmu material dengan biaya pelabelan tinggi per instans.

Cara kerjanya

Cara kerjanya

1

SVM dilatih pada kumpulan kecil contoh berlabel awal, membentuk hyperplane keputusan awal. Kualitas kumpulan benih ini penting: keseimbangan kelas dan keragaman representatif keduanya penting, bahkan pada beberapa contoh.

2

Algoritme memberi skor setiap instans tak berlabel berdasarkan jaraknya ke hyperplane SVM saat ini. Instans dengan nilai margin absolut terkecil — yaitu, paling dekat dengan batas, di mana model paling tidak yakin — dipilih sebagai kueri berikutnya. Strategi ini dikenal sebagai pengambilan sampel margin atau margin sederhana.

Rumus
x^* = \arg\min_{x \in U} |\mathbf{w} \cdot \phi(x) + b|
3

Instans yang dipilih disajikan kepada anotator manusia (oracle) yang menetapkan label kelas yang sebenarnya. Dalam pembelajaran aktif berbasis kumpulan, ini adalah satu instans per iterasi; varian mode batch memilih mini-batch yang beragam untuk mengurangi putaran interaksi oracle.

4

Instans yang baru diberi label ditambahkan ke kumpulan berlabel dan SVM dilatih ulang dari awal (atau diperbarui secara inkremental) pada kumpulan yang diperbesar. Pilihan kernel (linear, RBF, polinomial) dan parameter regularisasi C ditetapkan atau divalidasi silang pada kumpulan berlabel.

5

Loop berlanjut hingga anggaran yang ditentukan sebelumnya (jumlah anotasi, batas waktu, atau akurasi target pada set validasi yang ditahan) habis, atau hingga margin instans yang dikueri melintasi ambang batas keyakinan yang menunjukkan kepastian model yang cukup.

Kesalahan umum

  • Memulai dengan kumpulan benih yang tidak seimbang kelasnya, yang membiaskan hyperplane awal dan memiringkan semua kueri berikutnya ke satu wilayah.
  • Mengabaikan penskalaan fitur: margin SVM berbasis jarak, sehingga fitur yang tidak diskalakan menyebabkan model mengabaikan dimensi varians rendah sepenuhnya.
  • Memperlakukan akurasi kumpulan berlabel sebagai perkiraan kinerja yang andal tanpa set pengujian terpisah yang ditahan.
  • Memilih batch yang terlalu besar per putaran, yang memperkenalkan kembali inefisiensi pelabelan pasif dan mengurangi manfaat seleksi aktif.
  • Menggunakan kernel linear pada data yang secara inheren non-linear, kemudian mengaitkan hasil yang buruk dengan pembelajaran aktif daripada spesifikasi model yang salah.

Pertanyaan yang sering diajukan

Bagaimana SVM pembelajaran aktif berbeda dari SVM standar?

SVM standar secara pasif menggunakan data berlabel apa pun yang disediakan. SVM pembelajaran aktif secara aktif memilih instans tak berlabel mana yang akan diminta labelnya, memilih yang paling dekat dengan batas keputusan saat ini. Model klasifikasi adalah SVM yang sama; hanya strategi pengumpulan data yang berubah.

Strategi kueri mana yang harus saya gunakan?

Simple Margin (memilih satu instans tak berlabel terdekat dengan hyperplane) adalah strategi kanonik dan yang paling banyak dipelajari. Varian mode batch yang memaksimalkan keragaman dalam set yang dipilih lebih disukai ketika putaran interaksi oracle mahal, dengan mengorbankan implementasi yang sedikit lebih kompleks.

Kapan saya harus berhenti melakukan kueri?

Kriteria penghentian umum termasuk menghabiskan anggaran anotasi tetap, mencapai akurasi target pada set validasi, atau mengamati bahwa instans yang dikueri secara berurutan semuanya terletak jauh dari batas (menunjukkan kepastian model telah stabil). Hindari hanya mengandalkan kinerja set pelatihan, yang terlalu optimis.

Bisakah SVM pembelajaran aktif menangani masalah multi-kelas?

Ya, melalui dekomposisi one-vs-rest atau one-vs-one. Margin untuk pemilihan kueri multi-kelas biasanya didefinisikan sebagai perbedaan antara dua skor kelas tertinggi; instans dengan kesenjangan terkecil dipilih. Beberapa implementasi menggunakan kriteria pembelajaran aktif multi-kelas khusus.

Apakah deep learning membuat SVM pembelajaran aktif usang?

Tidak sepenuhnya. SVM pembelajaran aktif tetap kompetitif ketika data berlabel sangat langka (puluhan hingga ratusan contoh), komputasi pelatihan terbatas, atau interpretasi margin dihargai. Metode deep learning aktif menjadi lebih disukai hanya ketika sumber daya GPU tersedia dan kumpulan tak berlabel sangat besar.

Metode terkait

Sumber

  1. Tong, S., & Koller, D. (2001). Support Vector Machine Active Learning with Applications to Text Classification. Journal of Machine Learning Research, 2, 45–66.

    Buka referensi publikasi
    Disalin.
  2. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    Buka referensi publikasi
    Disalin.