Skip to content
Kembali ke hasil pencarian

Semi-supervised Random Forest

Diperkenalkan oleh
Leistner, C., Saffari, A., Santner, J., & Bischof, H.
Tahun
2009
Jenis
Semi-supervised ensemble classifier
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Semi-supervised Random Forest (SSL-RF) memperluas Random Forest klasik dengan memanfaatkan contoh pelatihan berlabel maupun tidak berlabel.

Ketika pelabelan data mahal atau memakan waktu, SSL-RF menetapkan label semu (pseudo-labels) tentatif untuk observasi tak berlabel melalui hutan itu sendiri, kemudian melatih ulang pada kumpulan data yang diperkaya, secara progresif meningkatkan akurasi tanpa memerlukan anotasi manusia tambahan.

Intuisi di balik metode

Bayangkan meminta panel ahli (pohon Anda) untuk mengklasifikasikan kasus, tetapi sebagian besar berkas kasus tidak memiliki diagnosis yang dikonfirmasi. SSL-RF membiarkan panel memberikan suara pada berkas yang tidak pasti, memperlakukan suara yang yakin sebagai diagnosis sementara, menambahkan berkas tersebut ke kumpulan pelatihan, dan melatih ulang — mengulangi hingga panel konvergen. Contoh berlabel memandu hutan, sementara mayoritas tak berlabel membentuk batas keputusan di wilayah yang tidak dapat dijangkau oleh data berlabel saja, yang mengarah pada generalisasi yang lebih baik ketika label langka.

Sejarah

Pembelajaran semi-terawasi (semi-supervised learning) sebagai sebuah bidang secara sistematis disurvei oleh Xiaojin Zhu (2005), yang menetapkan motivasi teoretis untuk memanfaatkan data tak berlabel. Formulasi SSL-RF kanonik diperkenalkan oleh Leistner et al. di ICCV 2009, menggabungkan pemisahan berbasis entropi dengan regularisasi manifold di dalam kerangka kerja random forest. Metode ini mendapatkan daya tarik dalam visi komputer dan pencitraan medis di mana biaya anotasi tinggi, dan sejak itu telah diperluas dengan integrasi fitur mendalam dan varian propagasi label berbasis graf.

Kapan digunakan

Gunakan Semi-supervised Random Forest ketika Anda memiliki data tak berlabel yang melimpah tetapi pelabelan mahal, langka, atau memakan waktu — umum dalam pencitraan medis, penginderaan jauh, klasifikasi teks, dan data biologis. Cocok untuk dataset tabular, fitur turunan gambar, dan tipe campuran dengan setidaknya sebagian kecil data berlabel (sekitar 5–20% dari total data). Hindari jika hampir tidak ada label yang andal (hutan awal akan terlalu lemah untuk menghasilkan label semu yang berguna), ketika batas kelas sangat tidak mulus, atau ketika model yang sepenuhnya terawasi sudah mencapai kinerja yang memuaskan hanya pada set berlabel Anda.

Batasan dan pertimbangan

  • Kualitas label semu bergantung pada hutan terawasi awal; model awal yang lemah akan menyebarkan kesalahan melalui semua iterasi berikutnya.
  • Pemilihan ambang batas kepercayaan tidak sepele dan dapat secara signifikan memengaruhi kinerja akhir.
  • Biaya komputasi berskala dengan jumlah sampel tak berlabel dan iterasi, terutama untuk hutan besar.
  • Jika distribusi data tak berlabel berbeda dari data berlabel (pergeseran kovariat/covariate shift), label semu dapat secara sistematis bias.
  • Konvergensi tidak dijamin; pelatihan mandiri iteratif dapat memperkuat kesalahan klasifikasi awal tanpa kriteria penghentian yang cermat.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memanfaatkan data tak berlabel yang murah untuk meningkatkan akurasi melebihi apa yang dapat dicapai oleh data berlabel saja.
  • Mewarisi semua keunggulan Random Forest: ketahanan (robustness), kepentingan fitur bawaan (built-in feature importance), dan resistensi terhadap overfitting melalui bagging.
  • Ambang batas kepercayaan yang fleksibel memungkinkan Anda mengontrol seberapa agresif data tak berlabel dimasukkan.
  • Secara alami menangani tipe fitur campuran, hubungan non-linear, dan input berdimensi tinggi tanpa asumsi distribusi.
  • Estimasi di luar kantong (out-of-bag estimates) dari bagian berlabel memberikan sinyal validasi bahkan dengan set data berlabel kecil.
  • Dapat diterapkan pada tugas klasifikasi dan regresi dengan sedikit perubahan algoritma.

Penerapan

  • Klasifikasi citra medis di mana anotasi ahli mahal, seperti histopatologi dan radiologi.
  • Analisis penginderaan jauh dan citra satelit dengan label kebenaran dasar (ground-truth) terbatas.
  • Kategorisasi teks dan dokumen ketika hanya sebagian dokumen yang dapat diberi label secara manual.
  • Analisis data biologis dan genomik di mana validasi laboratorium (wet-lab) membutuhkan banyak sumber daya.
  • Kontrol kualitas industri dengan label kesalahan yang jarang tetapi pembacaan sensor tak berlabel yang melimpah.
  • Deteksi penipuan di mana kasus penipuan yang dikonfirmasi jarang dibandingkan dengan transaksi tak berlabel.

Cara kerjanya

Cara kerjanya

1

Proses dimulai dengan sejumlah kecil data berlabel dan sejumlah besar data tak berlabel. Observasi berlabel menetapkan ruang fitur awal dan distribusi kelas, memastikan bahwa setidaknya ada satu sinyal yang andal sebelum langkah pelabelan semu apa pun dicoba.

2

Random Forest standar dilatih hanya pada data berlabel. Pengambilan sampel bootstrap dan pemilihan fitur acak diterapkan persis seperti pada kasus terawasi, menghasilkan ensemble yang prediksinya mencerminkan hanya label kebenaran dasar (ground-truth) yang tersedia pada tahap ini.

3

Hutan yang terlatih memprediksi probabilitas kelas untuk setiap observasi tak berlabel. Sampel yang probabilitas prediksinya melebihi ambang batas kepercayaan — sering kali disesuaikan melalui validasi silang (cross-validation) — menerima label semu. Sampel berkepercayaan rendah dapat dibiarkan tidak berlabel atau diberi bobot lebih rendah untuk menghindari propagasi kesalahan.

4

Hutan dilatih ulang pada kumpulan gabungan dari contoh berlabel asli dan contoh yang baru diberi label semu. Pembobotan sampel opsional dapat mendiskon instans yang diberi label semu dibandingkan dengan label asli. Regularisasi manifold atau kriteria pemisahan berbasis entropi juga dapat diterapkan pada tahap ini.

5

Langkah pelabelan semu dan pelatihan ulang diulang untuk jumlah iterasi tetap atau hingga penetapan label semu stabil di antara putaran berturut-turut. Penghentian dini (early stopping) mencegah kelebihan kepercayaan dalam mengkompilasi kesalahan, terutama dalam pengaturan dengan kebisingan tinggi atau tumpang tindih tinggi.

6

Prediksi akhir diperoleh dengan mengagregasi suara dari semua pohon di hutan terakhir yang terlatih: suara mayoritas untuk klasifikasi atau rata-rata respons untuk regresi. Skor kepercayaan dari hutan juga dapat berfungsi sebagai perkiraan ketidakpastian yang terkalibrasi untuk pengambilan keputusan hilir.

Rumus
\hat{y} = \text{mode/mean of } T \text{ trees over labeled + pseudo-labeled data}

Kesalahan umum

  • Menetapkan ambang batas kepercayaan terlalu rendah dan membanjiri set pelatihan dengan label semu yang berisik.
  • Mengabaikan pergeseran kovariat antara kumpulan berlabel dan tak berlabel, yang dapat menurunkan alih-alih meningkatkan akurasi.
  • Evaluasi hanya pada estimasi di luar kantong tanpa set pengujian berlabel yang benar-benar ditahan.
  • Menjalankan terlalu banyak iterasi pelatihan mandiri tanpa penghentian dini, menyebabkan akumulasi kesalahan di seluruh putaran.
  • Memperlakukan observasi berlabel semu seandal label asli tanpa menerapkan pembobotan sampel apa pun.

Pertanyaan yang sering diajukan

Berapa banyak data berlabel yang saya perlukan untuk memulai?

Tidak ada minimum yang pasti, tetapi hutan terawasi awal harus cukup kuat untuk menghasilkan label semu yang berguna. Dalam praktiknya, setidaknya 5–10% dari total sampel yang diberi label — atau beberapa ratus observasi berlabel — cenderung memberikan prediksi awal yang andal. Dengan sangat sedikit label, pertimbangkan metode co-training atau berbasis graf sebagai gantinya.

Bagaimana cara memilih ambang batas kepercayaan untuk pelabelan semu?

Validasi silang pada set berlabel di seluruh kisi nilai ambang batas (misalnya, 0,60 hingga 0,95) dan pilih nilai yang memaksimalkan kinerja yang ditahan. Ambang batas yang lebih tinggi mengurangi kebisingan tetapi juga volume data tak berlabel yang digunakan; memulai secara konservatif di sekitar 0,80 adalah praktik umum.

Bisakah SSL-RF menangani ketidakseimbangan kelas (class imbalance)?

Ya, tetapi ketidakseimbangan kelas dalam set berlabel menyebar ke label semu. Gunakan kriteria pemisahan berbobot kelas atau oversample kelas minoritas di kumpulan berlabel sebelum langkah pelatihan pertama. Pantau presisi dan recall per kelas daripada akurasi keseluruhan.

Apakah SSL-RF sama dengan self-training dengan base learner random forest?

Self-training adalah skema algoritma yang lebih luas; SSL-RF adalah salah satu realisasinya. Implementasi SSL-RF juga dapat menggabungkan kriteria pemisahan yang diregularisasi manifold atau struktur berbasis graf, melampaui self-training iteratif naif.

Kapan saya harus memilih gradient boosting daripada SSL-RF?

Jika semua data Anda berlabel, gradient boosting biasanya memberikan akurasi yang lebih tinggi dan harus dipilih. Gunakan SSL-RF secara khusus ketika fraksi berlabel kecil dan kumpulan data tak berlabel yang besar tersedia untuk dieksploitasi.

Metode terkait

Sumber

  1. Leistner, C., Saffari, A., Santner, J., & Bischof, H. (2009). Semi-supervised random forests. In Proceedings of the IEEE 12th International Conference on Computer Vision (ICCV), pp. 506–513. IEEE.

    Buka referensi DOI
    Disalin.
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Computer Sciences Technical Report 1530, University of Wisconsin-Madison.

    Buka referensi publikasi
    Disalin.