Skip to content
Kembali ke hasil pencarian

Peningkatan Gradien Semi-Terawasi

Diperkenalkan oleh
Chapelle, Scholkopf & Zien (eds.); applied to GBM variants in subsequent literature
Tahun
2006–2010s
Jenis
Semi-supervised ensemble (self-training + gradient boosted trees)
Keluarga
Machine learning

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Peningkatan gradien semi-terawasi menggabungkan pohon-pohon yang ditingkatkan gradien dengan pelatihan mandiri atau pelabelan semu untuk memanfaatkan kumpulan data tak berlabel yang besar di samping kumpulan data berlabel yang kecil.

Model GBM awal yang dilatih pada data berlabel memberikan prediksi yang meyakinkan pada contoh-contoh tak berlabel; titik-titik berlabel semu tersebut kemudian dimasukkan kembali ke dalam pelatihan dan model ditingkatkan kembali, berulang hingga konvergensi. Ini memungkinkan praktisi untuk memanfaatkan data tak berlabel yang murah ketika label langka atau mahal.

Intuisi di balik metode

Bayangkan Anda memiliki 200 respons survei berlabel dan 10.000 respons tak berlabel. Model peningkatan gradien yang hanya dilatih pada 200 contoh berlabel sudah cukup baik. Peningkatan gradien semi-terawasi menggunakan model tersebut untuk mengklasifikasikan respons tak berlabel yang diyakininya, melabelinya secara tentatif, kemudian melatih ulang pada kumpulan gabungan yang jauh lebih besar. Siklus ini berulang: setiap putaran model meningkat karena melihat lebih banyak contoh, dan prediksi yang lebih baik menghasilkan label semu berkualitas lebih tinggi untuk putaran berikutnya. Mayoritas tak berlabel secara efektif bertindak sebagai regularisasi gratis dan perangkat augmentasi data.

Sejarah

Pembelajaran semi-terawasi disistematisasi dalam volume MIT Press tahun 2006 oleh Chapelle, Scholkopf, dan Zien. Varian pelatihan mandiri / pelabelan semu dapat ditelusuri ke Yarowsky (1995) dalam NLP dan kemudian diformalkan oleh Lee (2013) dalam konteks jaringan dalam, tetapi prinsip yang sama berlaku langsung untuk pohon-pohon yang ditingkatkan gradien. CatBoost (Prokhorenkova et al., 2018) memperkenalkan ekstensi semi-terawasi bawaan; pekerjaan selanjutnya mengeksplorasi jadwal pelabelan semu dan kalibrasi kepercayaan khusus untuk GBM dalam pengaturan biomedis dan industri sepanjang tahun 2010-an dan 2020-an.

Kapan digunakan

Gunakan peningkatan gradien semi-terawasi ketika data berlabel langka (misalnya, kurang dari beberapa ratus contoh) namun sejumlah besar data tak berlabel dari distribusi yang sama tersedia, dan pengumpulan label tambahan mahal. Ini sangat cocok untuk tugas klasifikasi dan regresi tabular di mana model peningkatan gradien sudah berkinerja cukup baik pada kumpulan berlabel saja. Hindari ketika: data berlabel dan tak berlabel berasal dari distribusi yang berbeda (pergeseran distribusi akan memperkuat kesalahan); akurasi model dasar pada data berlabel sangat rendah (label semu yang buruk merusak pelatihan ulang); atau kumpulan berlabel sudah cukup besar untuk menjenuhkan GBM standar, dalam hal ini biaya tambahan semi-terawasi memberikan manfaat yang dapat diabaikan.

Batasan dan pertimbangan

  • Kualitas label semu bergantung pada model dasar; model awal yang lemah dapat merusak iterasi berikutnya.
  • Mengasumsikan data berlabel dan tak berlabel diambil dari distribusi yang sama — melanggar ini menyebabkan amplifikasi kesalahan.
  • Penyetelan ambang batas (tau) menambahkan hiperparameter tanpa nilai default yang berprinsip.
  • Biaya komputasi meningkat dengan setiap iterasi pelatihan mandiri, terutama pada kumpulan tak berlabel yang besar.
  • Validasi harus dilakukan hanya pada data berlabel; validasi silang standar pada kumpulan yang diperbesar menggelembungkan estimasi.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Memanfaatkan data tak berlabel yang murah untuk meningkatkan kinerja ketika label mahal atau langka.
  • Kompatibel dengan implementasi peningkatan gradien apa pun (XGBoost, LightGBM, CatBoost, scikit-learn) tanpa perubahan arsitektur.
  • Pembatasan ambang kepercayaan menyediakan gerbang kualitas bawaan yang membatasi derau label semu.
  • Mempertahankan kekuatan prediktif penuh dan pemodelan interaksi fitur dari pohon-pohon yang ditingkatkan gradien.
  • Penyempurnaan iteratif memungkinkan penggabungan data tak berlabel secara progresif seiring dengan peningkatan model.

Penerapan

  • Diagnosis medis di mana catatan pasien berlabel terbatas tetapi catatan klinis tak berlabel berlimpah.
  • Deteksi cacat industri menggunakan kumpulan kecil contoh cacat berlabel dan aliran produksi tak berlabel yang besar.
  • Klasifikasi teks dan analisis sentimen dengan contoh benih berlabel yang diperkaya oleh korpora tak berlabel.
  • Penilaian kredit ketika hanya sebagian kecil dari aplikasi historis yang memiliki hasil gagal bayar yang diverifikasi.
  • Penginderaan jauh dan klasifikasi geospasial yang menggabungkan beberapa pengukuran lapangan berlabel dengan fitur citra satelit tak berlabel yang besar.

Cara kerjanya

Cara kerjanya

1

Model peningkatan gradien standar (XGBoost, LightGBM, CatBoost, scikit-learn GBM, dll.) dilatih pada contoh-contoh berlabel yang tersedia menggunakan minimisasi kerugian terawasi standar. Model dasar ini harus setidaknya cukup akurat agar pelabelan semu dapat membantu daripada merugikan.

2

Model dasar diterapkan pada setiap contoh tak berlabel. Prediksi yang melebihi ambang kepercayaan tau (misalnya, probabilitas prediksi di atas 0.9 untuk klasifikasi, atau prediksi dalam interval ketat untuk regresi) diterima sebagai label semu. Pemfilteran kepercayaan tinggi membatasi penyebaran kesalahan pada putaran awal.

Rumus
\hat{y}_u = f^{(t)}(x_u),\; \text{confidence} \geq \tau
3

Contoh berlabel semu yang diterima ditambahkan ke kumpulan data pelatihan berlabel, secara opsional diberi bobot di bawah 1.0 untuk mencerminkan asal-usulnya yang tidak pasti. Kumpulan data gabungan sekarang jauh lebih besar dan mungkin lebih baik mencakup ruang fitur.

4

Model peningkatan gradien baru dilatih dari awal (atau dimulai dengan hangat) pada kumpulan data yang diperbesar. Karena peningkatan gradien secara inheren berurutan dan sensitif terhadap derau label, pemantauan kerugian validasi pada kumpulan berlabel yang ditahan sangat penting untuk mendeteksi degradasi yang disebabkan oleh label semu yang berderau.

5

Langkah 2 hingga 4 diulang untuk sejumlah putaran tetap atau hingga konvergensi, yang didefinisikan sebagai perubahan yang dapat diabaikan dalam metrik validasi atau tidak ada contoh tak berlabel baru yang melewati ambang kepercayaan. Pada setiap putaran, ambang kepercayaan dapat dilonggarkan secara bertahap untuk menyertakan lebih banyak data berlabel semu.

Kesalahan umum

  • Menggunakan data berlabel semu dalam lipatan validasi, yang memberikan estimasi kinerja yang bias secara optimis.
  • Menetapkan ambang kepercayaan terlalu rendah pada putaran awal, membanjiri pelatihan ulang dengan label berderau dan menyebabkan transfer negatif.
  • Mengabaikan pergeseran distribusi antara data berlabel dan tak berlabel, yang dapat menurunkan kinerja di bawah dasar terawasi.
  • Gagal memberi bobot contoh berlabel semu di bawah 1.0, memberikan prediksi yang tidak pasti status yang sama dengan label yang diverifikasi manusia.
  • Berhenti pada satu putaran pelabelan semu alih-alih berulang hingga konvergensi.

Pertanyaan yang sering diajukan

Bagaimana cara memilih ambang kepercayaan?

Mulai secara konservatif — untuk klasifikasi biner, nilai di atas 0.9 umum pada putaran 1. Pantau akurasi validasi kumpulan berlabel setelah setiap putaran dan longgarkan ambang batas secara bertahap hanya jika kinerja tetap atau meningkat. Tidak ada nilai berprinsip tunggal; perlakukan sebagai hiperparameter yang dapat disetel.

Haruskah contoh berlabel semu diberi bobot yang sama dengan yang berlabel?

Umumnya tidak. Memberikan bobot kurang dari 1.0 (misalnya, 0.5) pada contoh berlabel semu mengurangi pengaruh prediksi yang tidak pasti pada fungsi kerugian. Beberapa implementasi mengaitkan bobot dengan kepercayaan yang diprediksi model, memberikan bobot lebih tinggi pada label semu dengan kepercayaan lebih tinggi.

Kapan peningkatan gradien semi-terawasi merugikan kinerja?

Ini merugikan ketika model awal terlalu lemah untuk menghasilkan label semu yang andal, ketika data berlabel dan tak berlabel berbeda dalam distribusi, atau ketika kumpulan tak berlabel kecil relatif terhadap kumpulan berlabel. Dalam skenario ini, GBM terawasi standar pada data berlabel saja biasanya lebih aman.

Apakah ini berbeda dari mode semi-terawasi bawaan CatBoost?

CatBoost mengimplementasikan pelatihan semi-terawasi secara native dengan secara bersamaan mengoptimalkan kerugian terawasi pada data berlabel dan kerugian tak terawasi atau label semu pada data tak berlabel dalam satu proses pelatihan, yang bisa lebih stabil daripada pelabelan semu eksternal iteratif. Lingkaran pelatihan mandiri manual lebih umum dan berfungsi dengan pustaka GBM apa pun.

Berapa banyak iterasi pelabelan semu yang dibutuhkan?

Biasanya 3 hingga 10 putaran sudah cukup; konvergensi terdeteksi ketika metrik validasi kumpulan berlabel berhenti meningkat atau jumlah label semu yang baru diterima turun mendekati nol. Lebih banyak putaran berisiko memperparah kesalahan label semu.

Metode terkait

Sumber

  1. Yarowsky, D. (1995). Unsupervised word sense disambiguation rivaling supervised methods. Proceedings of ACL 1995, 189–196. (Foundational self-training framework underlying pseudo-label approaches.)

    Buka referensi publikasi
    Disalin.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    Disalin.