Skip to content
Kembali ke hasil pencarian

Pembelajaran Semi-terawasi

Diperkenalkan oleh
Vapnik, V. N. and others (community of researchers, 1970s–2000s)
Tahun
1970s–2006 (formalized)
Jenis
Learning paradigm
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Pembelajaran semi-terawasi (SSL) adalah paradigma pembelajaran mesin yang melatih model menggunakan sejumlah kecil contoh berlabel bersama dengan kumpulan data tak berlabel yang jauh lebih besar.

Dengan memanfaatkan struktur yang melekat pada data tak berlabel, SSL mencapai akurasi yang lebih dekat ke model yang sepenuhnya terawasi sambil membutuhkan label manual yang jauh lebih sedikit dan mahal — menjadikannya praktis ketika pelabelan mahal, lambat, atau dibatasi sumber daya.

Intuisi di balik metode

Bayangkan mengajari seorang siswa dengan memberi mereka beberapa contoh buku teks beserta jawabannya dan perpustakaan besar soal yang belum terpecahkan. Siswa menggunakan contoh yang sudah dipecahkan untuk memahami pola, kemudian menggunakan soal yang belum terpecahkan untuk menyempurnakan pemahaman itu dengan mengamati contoh mana yang berkelompok bersama atau memiliki struktur yang sama. SSL bekerja serupa: model mempelajari batas keputusan dari data berlabel, kemudian menggunakan data tak berlabel untuk mempertajam batas-batas tersebut dengan asumsi bahwa titik-titik yang berdekatan kemungkinan besar memiliki kelas yang sama, atau bahwa manifold data menangkap struktur yang bermakna. Hasilnya adalah model yang mengungguli pelatihan hanya dengan label.

Sejarah

Area formal pembelajaran semi-terawasi muncul dari karya Vapnik tentang transductive SVM pada tahun 1990-an dan propagasi label berbasis grafik oleh Zhu dan Ghahramani (2002). Bidang ini dikonsolidasikan oleh volume MIT Press yang diedit oleh Chapelle, Scholkopf, dan Zien (2006), yang tetap menjadi referensi kanonik. Pembelajaran mendalam modern merevitalisasi SSL melalui metode regularisasi konsistensi seperti MixMatch (2019) dan FixMatch (2020), memperluas paradigma ke tugas gambar dan teks skala besar.

Kapan digunakan

Gunakan pembelajaran semi-terawasi ketika Anda memiliki data tak berlabel yang melimpah tetapi pelabelan mahal, lambat, atau membutuhkan pengetahuan ahli yang langka — umum dalam pencitraan medis, pemrosesan bahasa alami, dan domain ilmiah. SSL sesuai ketika data tak berlabel dan berlabel berbagi distribusi yang sama, ketika asumsi kluster atau manifold masuk akal, dan ketika dasar pengawasan penuh sudah layak tetapi akurasinya dibatasi oleh kelangkaan label. JANGAN gunakan SSL ketika data berlabel dan tak berlabel berasal dari distribusi yang berbeda (pergeseran distribusi); ketika data tak berlabel sangat langka; ketika tugasnya cukup sederhana sehingga kumpulan data berlabel kecil sudah menjenuhkan kapasitas model; atau ketika kesalahan label semu akan menumpuk lebih cepat daripada yang dapat diperbaiki model — seperti yang terjadi dengan output entropi tinggi atau tidak seimbang.

Batasan dan pertimbangan

  • Kinerja dapat menurun di bawah dasar pengawasan jika data tak berlabel melanggar asumsi kluster atau kelancaran atau mengandung pergeseran distribusi.
  • Kesalahan label semu terakumulasi selama iterasi: prediksi yang yakin tetapi salah merusak pelatihan selanjutnya.
  • Membutuhkan penyetelan hati-hati ambang batas keyakinan, kekuatan regularisasi, dan rasio data berlabel terhadap tak berlabel.
  • Evaluasi lebih sulit: kumpulan data tak berlabel tidak boleh digunakan untuk pemilihan model kecuali benar-benar ditahan.
  • Biaya komputasi meningkat dengan korpus tak berlabel yang besar, terutama untuk metode berbasis grafik yang memerlukan kesamaan pasangan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Secara substansial meningkatkan akurasi model ketika data berlabel langka tetapi data tak berlabel melimpah.
  • Mengurangi biaya dan waktu anotasi, memungkinkan penerapan praktis dalam domain yang sangat bergantung pada pelabelan ahli.
  • Kompatibel dengan hampir semua pembelajar dasar (jaringan saraf, random forest, SVM, GP) melalui pelabelan semu atau ekstensi berbasis grafik.
  • Propagasi label dan metode berbasis grafik memberikan ketidakpastian yang dapat diinterpretasikan dan struktur lingkungan.
  • Self-training dan regularisasi konsistensi terintegrasi secara alami ke dalam alur pelatihan standar dengan infrastruktur tambahan minimal.

Penerapan

  • Klasifikasi gambar medis di mana anotasi ahli langka dan pemindaian tak berlabel melimpah.
  • Tugas pemrosesan bahasa alami seperti analisis sentimen dan pengenalan entitas bernama dengan sedikit dokumen berlabel.
  • Penelitian struktur protein dan genomik di mana label eksperimental mahal untuk diperoleh.
  • Kontrol kualitas industri menggunakan sejumlah kecil gambar cacat berlabel dan banyak gambar produksi tak berlabel.
  • Pengenalan ucapan dan klasifikasi audio ketika hanya sebagian dari rekaman yang dapat ditranskripsi.
  • Klasifikasi konten web dan kategorisasi dokumen dengan korpus yang dirayapi besar.

Cara kerjanya

Cara kerjanya

1

Kumpulkan kumpulan data yang berisi subset berlabel kecil (biasanya beberapa persen dari total) dan subset tak berlabel yang besar. Contoh berlabel harus mewakili kelas atau hasil yang diminati. Kualitas data dalam set berlabel memiliki efek yang sangat besar pada model akhir.

2

Latih model awal hanya menggunakan contoh berlabel. Ini menghasilkan pengklasifikasi atau regresi dasar dengan akurasi terbatas karena kumpulan data berlabel yang kecil, tetapi ini memberikan titik awal untuk memanfaatkan data tak berlabel.

3

Terapkan model awal ke data tak berlabel untuk menghasilkan label semu — penetapan kelas yang diprediksi atau distribusi probabilitas lunak. Prediksi dengan keyakinan tinggi diterima sementara sebagai label pelatihan. Algoritma SSL umum berbeda di sini: self-training menerima prediksi dengan keyakinan tertinggi, propagasi label menyebarkan label melalui grafik kesamaan, dan regularisasi konsistensi memberlakukan prediksi yang stabil di bawah gangguan input.

4

Latih ulang model yang menggabungkan data berlabel asli dan contoh tak berlabel yang baru diberi label semu. Proses ini dapat berulang: model yang ditingkatkan menghasilkan label semu yang lebih baik, yang pada gilirannya lebih meningkatkan model. Regularisasi atau ambang batas keyakinan melindungi dari akumulasi kesalahan.

5

Evaluasi model akhir pada set pengujian berlabel yang ditahan menggunakan metrik standar (akurasi, F1, AUC, MSE) yang tidak pernah terpapar selama pelatihan atau pelabelan semu. Bandingkan dengan dasar pengawasan penuh yang dilatih hanya dengan label untuk mengukur peningkatan dari data tak berlabel.

Kesalahan umum

  • Menggunakan data tak berlabel yang distribusinya berbeda dari set berlabel — ketidakcocokan distribusi adalah penyebab paling umum kegagalan SSL.
  • Mengabaikan dasar pengawasan saja, membuatnya tidak mungkin untuk memverifikasi bahwa data tak berlabel benar-benar membantu.
  • Menetapkan ambang batas keyakinan terlalu rendah, membanjiri set pelatihan dengan label semu yang salah.
  • Mengevaluasi pada kumpulan data tak berlabel setelah pelabelan semu, yang meningkatkan perkiraan kinerja.
  • Memperlakukan SSL sebagai tanpa asumsi — metode hanya membantu ketika asumsi kelancaran, kluster, atau manifold berlaku.

Pertanyaan yang sering diajukan

Bagaimana pembelajaran semi-terawasi berbeda dari pembelajaran mandiri?

Pembelajaran semi-terawasi menggunakan sejumlah kecil label yang diberikan manusia bersama dengan data tak berlabel untuk meningkatkan tugas terawasi. Pembelajaran mandiri membuat labelnya sendiri dari struktur data tak berlabel saja (misalnya, memprediksi kata yang ditutupi) — tidak ada label manusia yang digunakan selama pra-pelatihan, meskipun representasi yang dipelajari kemudian disesuaikan pada data berlabel.

Kapan pembelajaran semi-terawasi lebih merugikan daripada membantu?

Jika data tak berlabel berasal dari distribusi yang berbeda dari data berlabel, atau jika batas kelas tidak sejajar dengan kluster alami dalam data, SSL dapat memperkenalkan noise yang mengurangi akurasi di bawah dasar pengawasan. Selalu bandingkan dengan model yang hanya menggunakan pengawasan.

Apa algoritma SSL paling sederhana untuk dicoba terlebih dahulu?

Self-training adalah yang paling mudah: latih dengan label, prediksi pada data tak berlabel, tambahkan prediksi dengan keyakinan tinggi kembali sebagai data berlabel, dan latih ulang. Ini bekerja dengan pembelajar dasar apa pun dan berfungsi sebagai dasar yang berguna sebelum metode grafik atau regularisasi konsistensi yang lebih kompleks.

Berapa banyak data berlabel yang biasanya dibutuhkan?

Tidak ada jawaban universal, tetapi SSL paling bermanfaat ketika data berlabel mewakili 1–10% dari total kumpulan data. Di bawah kira-kira 10–50 contoh berlabel per kelas, bahkan SSL dapat kesulitan; pada titik itu pembelajaran aktif untuk memprioritaskan contoh mana yang akan diberi label mungkin lebih efektif.

Bisakah pembelajaran semi-terawasi digunakan dengan tipe model apa pun?

Ya. Pelabelan semu dan self-training bekerja dengan pembelajar dasar apa pun. Metode berbasis grafik seperti propagasi label bersifat agnostik terhadap model tetapi memerlukan penghitungan kesamaan pasangan. Metode regularisasi konsistensi paling alami diterapkan pada jaringan saraf tetapi dapat diadaptasi ke model probabilistik lainnya.

Metode terkait

Sumber

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Disalin.
  2. Zhu, X. (2005). Semi-supervised learning literature survey. Technical Report 1530, University of Wisconsin-Madison.

    Buka referensi publikasi
    Disalin.