Skip to content
Kembali ke hasil pencarian

Support Vector Machine Semi-Terawasi

Diperkenalkan oleh
Joachims, T.
Tahun
1999
Jenis
Semi-supervised classifier
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Support Vector Machine Semi-Terawasi (S3VM) memperluas SVM klasik dengan memasukkan sejumlah besar data tak berlabel bersama dengan set pelatihan berlabel kecil.

S3VM mencari hyperplane margin maksimum yang tidak hanya memisahkan contoh berlabel tetapi juga melewati wilayah berdensitas rendah dari distribusi data penuh, menghasilkan generalisasi yang lebih baik ketika sampel berlabel langka.

Intuisi di balik metode

SVM standar mempelajari batas semata-mata dari titik berlabel. S3VM mengamati bahwa data tak berlabel masih membawa informasi geometris tentang di mana kluster data padat dan di mana mereka menipis. Dengan mensyaratkan batas keputusan untuk menghindari wilayah berdensitas tinggi — baik titik-titik tersebut memiliki label atau tidak — model dapat memanfaatkan mayoritas tak berlabel untuk mempertajam batas yang seharusnya digambar dari segelintir contoh berlabel saja. Hasilnya adalah margin yang menghormati struktur data yang mendasarinya, bukan hanya label yang diketahui.

Sejarah

Dasar-dasar S3VM diletakkan oleh Vapnik dalam karya awalnya tentang inferensi transductive, tetapi metode ini diadopsi secara luas setelah Joachims (1999) menunjukkan efektivitasnya untuk klasifikasi teks dengan nama Transductive SVM. Perlakuan komprehensif dalam Chapelle, Scholkopf, dan Zien (2006) mengkonsolidasikan S3VM bersama dengan pendekatan semi-terawasi lainnya dan tetap menjadi referensi standar. Karya selanjutnya memperkenalkan relaksasi konveks dan pemecah yang dapat diskalakan untuk mengatasi tantangan komputasi dan optima lokal dari metode asli.

Kapan digunakan

S3VM adalah pilihan yang tepat ketika data berlabel mahal atau langka (misalnya, kurang dari beberapa ratus contoh) tetapi data tak berlabel yang melimpah tersedia — skenario umum dalam klasifikasi teks, bioinformatika, atau domain apa pun di mana anotasi mahal. Kinerjanya terbaik ketika asumsi kluster berlaku: kelas membentuk kluster yang berbeda dan batas keputusan terletak di wilayah berdensitas rendah. Hindari S3VM ketika data berlabel sudah banyak (SVM standar akan cocok atau melampauinya dengan biaya lebih rendah), ketika asumsi kluster dilanggar (kelas tumpang tindih banyak di ruang fitur), atau ketika distribusi tak berlabel bergeser dari distribusi berlabel, yang dapat mendorong batas ke arah yang salah.

Batasan dan pertimbangan

  • Optimasi bersifat non-konveks karena pseudo-label, membuatnya sensitif terhadap inisialisasi dan rentan terhadap optima lokal.
  • Biaya komputasi diskalakan dengan buruk dengan jumlah contoh tak berlabel — kumpulan data tak berlabel yang besar menjadi mahal.
  • Bergantung pada asumsi kluster; jika kelas tidak membentuk kluster yang terpisah dengan baik, data tak berlabel dapat menurunkan kinerja.
  • Memerlukan penyetelan yang cermat dari bobot kerugian berlabel C dan bobot kerugian tak berlabel C*, menambah kompleksitas pemilihan model.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Secara efektif memanfaatkan kumpulan data tak berlabel yang besar untuk meningkatkan generalisasi ketika contoh berlabel langka.
  • Mewarisi jaminan margin maksimum dan fleksibilitas kernel dari SVM standar.
  • Sangat cocok untuk data renggang berdimensi tinggi seperti teks, di mana korpus tak berlabel melimpah.
  • Perluasan probabilistik yang berprinsip (Gaussian Process S3VM) dan varian kernel ada untuk batas nonlinier.
  • Akurasi kompetitif dalam rezim data berlabel rendah dibandingkan dengan alternatif yang sepenuhnya terawasi.

Penerapan

  • Klasifikasi teks dan dokumen dengan sedikit contoh pelatihan berlabel.
  • Tugas bioinformatika seperti prediksi fungsi protein di mana anotasi eksperimental mahal.
  • Kategorisasi halaman web memanfaatkan korpus besar yang dirayapi tetapi tidak dianotasi.
  • Analisis citra medis di mana pelabelan ahli memakan waktu dan mahal.
  • Masalah klasifikasi berdimensi tinggi apa pun dengan data tak berlabel yang melimpah dan label yang langka.

Cara kerjanya

Cara kerjanya

1

SVM awal dipasang pada contoh berlabel yang tersedia, mempelajari batas keputusan dan margin awal. Ini memberikan model awal dan prediksi awal untuk kumpulan data tak berlabel, mendasarkan optimasi semi-terawasi berikutnya pada solusi terawasi.

2

SVM awal menetapkan label kelas tentatif (pseudo-label) ke semua contoh tak berlabel berdasarkan sisi mana dari batas saat ini mereka berada. Pseudo-label ini memungkinkan titik tak berlabel untuk berpartisipasi dalam maksimisasi margin meskipun kelas sebenarnya tidak diketahui.

3

Tujuan inti S3VM secara bersamaan meminimalkan kerugian engsel pada contoh berlabel dan kerugian pseudo-engsel pada contoh tak berlabel sambil memaksimalkan margin. Parameter keseimbangan C* mengontrol seberapa kuat titik tak berlabel memengaruhi batas, menyeimbangkan antara memanfaatkan struktur dalam data tak berlabel dan menyesuaikan kebenaran dasar berlabel.

Rumus
\min_{w,b,y^*} \frac{1}{2}\|w\|^2 + C\sum_{i}\xi_i + C^*\sum_{j}\xi_j^*
4

Karena pseudo-label mungkin salah, algoritma berulang: ia menetapkan ulang pseudo-label menggunakan batas yang diperbarui dan menyelesaikan kembali optimasi gabungan. Pertukaran contoh tak berlabel yang salah ditetapkan ke kelas yang berlawanan dan pengoptimalan ulang secara progresif memindahkan batas ke celah data berdensitas rendah.

5

Setelah konvergensi tercapai, contoh baru diklasifikasikan berdasarkan tanda fungsi keputusan linier yang dipelajari. Hyperplane yang dihasilkan ditempatkan di wilayah berdensitas rendah dari distribusi data penuh, memberikan generalisasi yang lebih baik pada contoh yang ditahan daripada SVM yang sepenuhnya terawasi yang dilatih pada set berlabel kecil yang sama.

Rumus
f(x) = \text{sign}(w^\top x + b)

Kesalahan umum

  • Mengasumsikan data tak berlabel selalu membantu — jika asumsi kluster dilanggar, S3VM dapat berkinerja lebih buruk daripada SVM terawasi.
  • Menggunakan C* yang sangat besar relatif terhadap C, terlalu membebani titik tak berlabel dan membiarkan batas menjauh dari sinyal berlabel.
  • Mengabaikan validasi pada set berlabel yang ditahan, membuatnya tidak mungkin untuk mendeteksi kapan data tak berlabel telah merusak kinerja.
  • Menerapkan S3VM ketika data berlabel dan tak berlabel berasal dari distribusi yang berbeda (pergeseran kovariat), yang melanggar asumsi metode.

Pertanyaan yang sering diajukan

Bagaimana S3VM berbeda dari SVM standar?

SVM standar hanya menggunakan data berlabel untuk menempatkan batas keputusannya. S3VM selanjutnya menggabungkan contoh tak berlabel dengan mensyaratkan batas melewati wilayah berdensitas rendah dari distribusi data penuh, meningkatkan generalisasi ketika data berlabel langka.

Apa itu asumsi kluster dan mengapa itu penting?

Asumsi kluster menyatakan bahwa batas keputusan terletak di wilayah densitas data rendah, yang berarti kelas membentuk kluster yang dapat dipisahkan. S3VM mengeksploitasi ini dengan mengarahkan batas menjauh dari wilayah padat. Jika kelas tumpang tindih banyak, asumsi ini gagal dan data tak berlabel dapat menyesatkan model.

Bagaimana cara memilih bobot tak berlabel C*?

C* mengontrol seberapa kuat contoh tak berlabel memengaruhi margin. Strategi umum adalah memulai dengan C* jauh lebih kecil dari C dan secara bertahap meningkatkannya sambil memantau akurasi validasi pada set tahanan berlabel kecil, berhenti sebelum kinerja menurun.

Bisakah S3VM menangani batas nonlinier?

Ya. Seperti SVM standar, S3VM mendukung fungsi kernel (RBF, polinomial, dll.) yang secara implisit memetakan data ke ruang berdimensi lebih tinggi di mana batas linier menjadi nonlinier di ruang fitur asli.

Kapan saya harus memilih self-training atau label propagation daripada S3VM?

Self-training lebih sederhana untuk diimplementasikan dan diskalakan lebih baik ke kumpulan data tak berlabel yang besar; pilih jika komputasi terbatas. Label propagation bekerja dengan baik pada data terstruktur graf. S3VM lebih disukai ketika Anda menginginkan jaminan margin maksimum dan asumsi kluster kemungkinan terpenuhi.

Metode terkait

Sumber

  1. Joachims, T. (1999). Transductive Inference for Text Classification using Support Vector Machines. Proceedings of the 16th International Conference on Machine Learning (ICML), 200–209.

    Buka referensi publikasi
    Disalin.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Disalin.