Skip to content
Kembali ke hasil pencarian

Boosting Semi-terawasi

Diperkenalkan oleh
Mallapragada, P. K.; Bennett, K. P.; and others
Tahun
1999–2009
Jenis
Semi-supervised ensemble method
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Boosting Semi-terawasi adalah paradigma pembelajaran ansambel yang memperluas algoritma boosting klasik — seperti AdaBoost — untuk memanfaatkan data berlabel dan tak berlabel.

Dengan menyebarkan informasi label melalui struktur kesamaan pada instance tak berlabel, ia melatih pengklasifikasi yang lebih kuat daripada boosting terawasi saja ketika data berlabel langka.

Intuisi di balik metode

Boosting klasik secara iteratif berfokus pada contoh berlabel yang salah diklasifikasikan. Boosting semi-terawasi menambahkan dimensi baru: ia menggunakan struktur geometris data tak berlabel untuk menyimpulkan label lunak atau menimbang ulang contoh. Secara intuitif, jika dua titik tak berlabel sangat mirip satu sama lain, mereka harus menerima label yang sama. Dengan memasukkan tekanan konsistensi ini ke dalam pembaruan bobot boosting, ansambel dapat menggeneralisasi lebih baik bahkan ketika hanya sejumlah kecil contoh berlabel yang tersedia. Hasilnya adalah model yang meminjam sinyal dari mayoritas tak berlabel sambil tetap dipandu oleh minoritas berlabel.

Sejarah

Gagasan menggabungkan boosting dengan data tak berlabel muncul pada akhir 1990-an, dengan Bennett dan Demiriz (1999) di antara yang pertama mengeksplorasi strategi ansambel semi-terawasi. Algoritma SemiBoost, yang diformalkan oleh Mallapragada et al. dalam makalah IEEE TPAMI tahun 2009, menjadi referensi kanonik untuk boosting semi-terawasi berbasis graf. Karya selanjutnya memperluas kerangka kerja ke pengaturan multi-kelas dan menghubungkannya dengan teori regularisasi manifold, menetapkan boosting semi-terawasi sebagai baseline standar dalam literatur pembelajaran semi-terawasi.

Kapan digunakan

Boosting Semi-terawasi sesuai ketika data berlabel langka dan mahal untuk diperoleh tetapi kumpulan data tak berlabel yang lebih besar tersedia — umum dalam anotasi pencitraan medis, kategorisasi teks, dan pemantauan berbasis sensor. Ini paling cocok untuk tugas klasifikasi biner atau multi-kelas di mana asumsi kluster atau manifold masuk akal (input serupa berbagi label). Hindari ketika data tak berlabel tidak mewakili distribusi pengujian, ketika asumsi kluster tidak masuk akal (misalnya, data dari proses yang secara fundamental berbeda), atau ketika kumpulan berlabel sudah cukup besar untuk menjenuhkan booster terawasi — dalam hal ini, boosting gradien biasa akan cocok atau melampaui kinerjanya dengan kompleksitas yang jauh lebih sedikit.

Batasan dan pertimbangan

  • Kinerja menurun tajam jika data tak berlabel tidak berbagi distribusi yang sama dengan data berlabel (pergeseran dataset).
  • Kebisingan label semu dapat bertambah di seluruh putaran boosting, yang menyebabkan amplifikasi kesalahan ketika prediksi awal buruk.
  • Konstruksi graf kesamaan memerlukan pemilihan bandwidth kernel atau jumlah tetangga, yang sensitif dan memerlukan validasi.
  • Biaya komputasi secara substansial lebih tinggi daripada boosting terawasi karena konstruksi graf dan penghitungan ulang label semu setiap putaran.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memanfaatkan data tak berlabel yang melimpah untuk meningkatkan akurasi melebihi apa yang dapat didukung oleh kumpulan data berlabel saja.
  • Mewarisi kinerja empiris yang kuat dan fleksibilitas kerangka kerja boosting seperti AdaBoost.
  • Struktur kesamaan berbasis graf membuat penyebaran label dapat diinterpretasikan dan disetel.
  • Bekerja dengan pembelajar dasar apa pun yang menerima bobot instance, menjaga kerangka kerja tetap modular.
  • Secara konsisten mengungguli boosting terawasi murni dalam rezim tingkat label rendah yang didokumentasikan dalam eksperimen tolok ukur.

Penerapan

  • Klasifikasi teks dan dokumen di mana korpus berlabel kecil tetapi korpus tak berlabel besar tersedia.
  • Klasifikasi gambar medis dengan gambar yang dianotasi ahli terbatas bersama dengan arsip tak berlabel yang besar.
  • Kategorisasi konten web memanfaatkan struktur graf hyperlink sebagai sumber kesamaan.
  • Deteksi kesalahan industri dengan pembacaan sensor yang melimpah tetapi sedikit peristiwa kesalahan yang diberi label secara manual.
  • Tugas bioinformatika seperti prediksi fungsi protein dengan anotasi terverifikasi yang langka.

Cara kerjanya

Cara kerjanya

1

Pengklasifikasi dasar — biasanya decision stump atau pohon dangkal — dilatih pada bagian data berlabel dari kumpulan data. Ini memberikan hipotesis awal dan menyiapkan kerangka kerja boosting. Semua instance berlabel menerima bobot seragam pada putaran pertama ini.

2

Kesamaan berpasangan atau graf dibangun di atas data berlabel dan tak berlabel gabungan, sering menggunakan kernel fungsi basis radial (RBF) atau graf k-tetangga terdekat. Ini mengkodekan asumsi bahwa titik-titik yang berdekatan dalam ruang fitur kemungkinan berbagi kelas yang sama.

3

Menggunakan model ansambel saat ini dan graf kesamaan, label semu lunak ditetapkan ke instance tak berlabel. Titik-titik yang dekat dengan contoh berlabel yang diklasifikasikan dengan percaya diri mewarisi label mereka; titik-titik di dekat batas keputusan menerima label semu dengan kepercayaan rendah dan berkontribusi lebih sedikit pada pembaruan.

4

Pembelajar lemah saat ini disesuaikan pada kumpulan data yang diperluas — contoh berlabel ditambah yang berlabel semu tak berlabel — menggunakan distribusi bobot boosting. Bobot pembelajar alpha_t dihitung dari kesalahan berbobot, persis seperti di AdaBoost, tetapi kesalahan berbobot sekarang mencerminkan kontribusi dari instance berlabel dan tak berlabel.

Rumus
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)
5

Bobot instance diperbarui sehingga contoh yang salah diklasifikasikan oleh pembelajar saat ini menerima bobot yang lebih tinggi di putaran berikutnya. Untuk instance tak berlabel, pembaruan bobot dimodulasi oleh kepercayaan label semu: label semu kepercayaan tinggi dinaikkan bobotnya seperti contoh berlabel, sementara yang kepercayaan rendah diturunkan bobotnya untuk membatasi penyebaran kebisingan.

6

Setelah T putaran boosting, prediksi akhir adalah tanda suara mayoritas berbobot dari semua pembelajar lemah. Ansambel menggabungkan sinyal dari supervisi berlabel dan informasi struktural yang disebarkan dari data tak berlabel ke dalam batas keputusan tunggal yang kuat.

Rumus
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

Kesalahan umum

  • Mengasumsikan data tak berlabel mewakili tanpa memverifikasi tumpang tindih distribusi dengan contoh berlabel.
  • Menggunakan terlalu banyak putaran boosting dengan label semu yang berisik, menyebabkan model terlalu cocok dengan penetapan lunak yang salah.
  • Mengabaikan penyetelan hyperparameter graf (bandwidth kernel, k dalam k-NN) — kualitas graf yang buruk membatalkan seluruh langkah penyebaran.
  • Melaporkan hanya akurasi tanpa metrik bertingkat (F1, AUC) ketika kumpulan data berlabel tidak seimbang kelasnya.
  • Melewatkan set pengujian berlabel yang ditahan dan mengevaluasi pada kumpulan berlabel yang sama yang digunakan untuk menanam label semu.

Pertanyaan yang sering diajukan

Kapan boosting semi-terawasi mengungguli AdaBoost biasa?

Paling andal ketika kumpulan data berlabel sangat kecil — biasanya kurang dari beberapa ratus contoh per kelas — dan data tak berlabel berlimpah dan diambil dari distribusi yang sama. Dengan kumpulan data berlabel besar, kesenjangannya menyempit dan boosting terawasi standar lebih sederhana dan lebih cepat.

Bagaimana cara membangun graf kesamaan?

Kernel fungsi basis radial (RBF) dengan bandwidth yang disetel melalui validasi silang pada kumpulan data berlabel adalah pilihan yang paling umum. Graf k-tetangga terdekat adalah alternatif yang lebih sederhana. Kriteria utamanya adalah bahwa graf harus menghubungkan contoh kelas yang sama dan memisahkan kluster kelas yang berbeda sejelas mungkin.

Pembelajar dasar apa yang paling baik?

Decision stump (pohon kedalaman-1) adalah pilihan standar, konsisten dengan AdaBoost klasik. Pohon dangkal (kedalaman 2–4) dapat meningkatkan akurasi ketika batas keputusan kompleks tetapi meningkatkan risiko terlalu bergantung pada label semu yang berisik.

Berapa banyak putaran boosting yang dibutuhkan?

Mulai dengan 100–200 putaran dan pantau kesalahan validasi berlabel. Tidak seperti boosting murni terawasi, menambahkan terlalu banyak putaran dapat memperkuat kebisingan label semu, jadi penghentian dini pada set validasi berlabel kecil sangat disarankan.

Apakah ketidakseimbangan kelas menjadi perhatian?

Ya. Ketika kumpulan data berlabel tidak seimbang kelasnya, prediksi awal bias, dan label semu akan menyebarkan bias itu ke kumpulan data tak berlabel. Timbang ulang kelas berlabel sebelum melatih atau oversample kelas minoritas untuk mengurangi ini.

Metode terkait

Sumber

  1. Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.

    Buka referensi DOI
    Disalin.
  2. Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.

    Buka referensi publikasi
    Disalin.