Semi-supervised Stacking Ensemble
- Diperkenalkan oleh
- Combines Wolpert (1992) stacking with semi-supervised learning principles
- Tahun
- 2000s–2010s
- Jenis
- Ensemble (stacked generalization with unlabeled data augmentation)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Semi-supervised Stacking Ensemble memperluas kerangka kerja klasik stacked generalization ke pengaturan di mana hanya sebagian dari contoh pelatihan yang memiliki label.
Pembelajar dasar pertama-tama dilatih pada data berlabel, kemudian digunakan untuk menetapkan label semu (pseudo-labels) ke contoh yang tidak berlabel; kumpulan data yang diperluas melatih model dasar yang lebih kuat yang prediksi di luar lipatan (out-of-fold predictions) membentuk masukan ke meta-learner, menghasilkan ensemble dua tingkat yang memanfaatkan struktur berlabel dan tidak berlabel.
Intuisi di balik metode
Stacking sudah mengungguli model individual dengan melatih meta-learner pada prediksi dari berbagai pembelajar dasar. Semi-supervised stacking menambahkan trik tambahan: alih-alih membuang kumpulan besar contoh yang tidak berlabel, ia menggunakan model dasar saat ini untuk menebak label mereka dengan ambang batas kepercayaan tertentu, memasukkan kembali contoh berlabel semu tersebut ke dalam pelatihan, melatih ulang pembelajar dasar, dan mengulanginya. Setiap iterasi memberi pembelajar dasar lebih banyak data untuk dipelajari, sehingga meta-fitur yang mereka hasilkan untuk meta-learner menjadi semakin informatif — semuanya tanpa memerlukan anotasi tambahan dari manusia.
Sejarah
Stacked generalization diformalkan oleh Wolpert pada tahun 1992 sebagai cara untuk menggabungkan beberapa model melalui meta-learner yang dipelajari. Prinsip-prinsip pembelajaran semi-supervised — menggunakan data yang tidak berlabel untuk meningkatkan model supervised — dikonsolidasikan oleh Chapelle, Schölkopf, dan Zien dalam volume MIT Press mereka tahun 2006. Kombinasi eksplisit dari keduanya, semi-supervised stacking, muncul dalam literatur ML terapan melalui tahun 2000-an dan 2010-an, dengan adopsi khusus dalam kompetisi machine learning dan domain di mana anotasi langka.
Kapan digunakan
Gunakan semi-supervised stacking ketika Anda memiliki tugas klasifikasi atau regresi dengan dataset berlabel kecil dan kumpulan besar vektor fitur tidak berlabel — pengaturan umum dalam pencitraan medis, NLP, atau penginderaan jauh di mana anotasi mahal. Ini sangat efektif ketika data yang tidak berlabel berasal dari distribusi yang sama dengan data berlabel dan ketika setidaknya 3–5 keluarga pembelajar dasar yang beragam tersedia. Hindari jika kumpulan data yang tidak berlabel kecil (tidak memberikan manfaat dibandingkan stacking standar), ketika set data berlabel sudah cukup besar sehingga peningkatan semi-supervised bersifat marjinal, atau ketika pergeseran distribusi antara contoh berlabel dan tidak berlabel dicurigai, karena kesalahan label semu akan bertambah di seluruh iterasi.
Batasan dan pertimbangan
- Kesalahan label semu terakumulasi selama iterasi; jika model dasar awal lemah, label semu yang salah dapat menurunkan alih-alih meningkatkan kinerja.
- Permukaan hyperparameter luas: jumlah iterasi, ambang batas kepercayaan, jumlah lipatan, dan keberagaman pembelajar dasar semuanya berinteraksi.
- Mahal secara komputasi: pelatihan ulang k-lipatan di berbagai pembelajar dasar diulang untuk beberapa iterasi, sehingga waktu berjalan meningkat pesat.
- Membutuhkan distribusi data yang tidak berlabel sangat cocok dengan distribusi data berlabel; pergeseran kovariat membatalkan asumsi pelabelan semu.
- Interpretasi rendah — dua tingkat bertumpuk ditambah pelabelan semu iteratif membuatnya sulit untuk melacak bagaimana prediksi individual dibentuk.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memanfaatkan kumpulan besar data yang tidak berlabel tanpa biaya anotasi tambahan, seringkali secara substansial meningkatkan akurasi dibandingkan stacking yang hanya menggunakan metode supervised.
- Mewarisi semua manfaat stacking klasik: keberagaman di antara pembelajar dasar mengurangi varians dan bias secara bersamaan.
- Fleksibel: pembelajar supervised apa pun dapat berfungsi sebagai model dasar atau meta-learner, membuat kerangka kerja ini dapat diterapkan secara luas.
- Ambang batas kepercayaan memberikan mekanisme yang berprinsip untuk mengontrol kualitas label semu yang diperkenalkan pada setiap iterasi.
- Skalabilitas baik — data yang tidak berlabel murah, sehingga metode ini menjadi lebih berharga seiring bertambahnya rasio contoh tidak berlabel terhadap contoh berlabel.
Penerapan
- Klasifikasi citra medis di mana pemindaian beranotasi langka tetapi pemindaian tidak beranotasi berlimpah.
- Tugas pemrosesan bahasa alami (sentimen, topik) dengan korpus tidak berlabel besar dan set pelatihan berlabel kecil.
- Klasifikasi penutup lahan penginderaan jauh menggunakan citra satelit yang melimpah dengan label kebenaran dasar yang sedikit.
- Deteksi penipuan di mana kasus penipuan yang dikonfirmasi jarang dibandingkan dengan transaksi yang belum ditinjau.
- Tugas bioinformatika seperti prediksi fungsi protein dengan contoh yang diverifikasi secara eksperimental terbatas.
Cara kerjanya
Cara kerjanya
Pembelajar dasar (misalnya, gradient-boosted trees, SVM, neural nets) dilatih pada subset berlabel. Mereka kemudian memprediksi probabilitas kelas untuk setiap contoh yang tidak berlabel; contoh yang probabilitas kelas tertingginya melebihi ambang batas kepercayaan diberi label semu dan ditambahkan ke set pelatihan kerja untuk iterasi berikutnya.
Pembelajar dasar yang beragam (dilatih ulang) pada gabungan contoh berlabel asli dan berlabel semu menggunakan validasi silang k-lipatan (k-fold cross-validation) untuk menghindari kebocoran data. Keberagaman di antara model dasar — dalam keluarga algoritma, kekuatan regularisasi, atau subset fitur — sangat penting; tumpukan homogen hanya mendapatkan sedikit manfaat dari tingkat kedua.
Prediksi di luar lipatan dari setiap pembelajar dasar pada contoh berlabel dikumpulkan ke dalam matriks meta-fitur. Setiap baris sesuai dengan contoh pelatihan berlabel; setiap kolom adalah prediksi dari satu model dasar yang diperkirakan pada lipatan yang tidak melihat contoh tersebut, mempertahankan representasi yang tidak bias untuk meta-learner.
Meta-learner (umumnya regresi logistik, neural net dangkal, atau model pohon lainnya) dilatih pada matriks meta-fitur dengan label asli. Ia belajar cara terbaik untuk menggabungkan keluaran pembelajar dasar, mengoreksi bias sistematis mereka dan memanfaatkan kekuatan komplementer mereka.
Langkah 1–4 diulang untuk jumlah iterasi tetap atau sampai set label semu stabil (sedikit contoh baru yang melintasi ambang batas kepercayaan). Pada setiap lintasan, ambang batas kepercayaan dapat sedikit dilonggarkan untuk memasukkan lebih banyak data yang tidak berlabel, tetapi kehati-hatian diperlukan: ambang batas yang terlalu rendah menyebarkan label semu yang salah dan menurunkan kinerja.
Kesalahan umum
- Menetapkan ambang batas kepercayaan terlalu rendah pada iterasi awal, membanjiri set pelatihan dengan label semu yang berderau yang menurunkan kualitas pembelajar dasar.
- Menggunakan hanya satu atau dua pembelajar dasar yang sangat berkorelasi; tanpa keberagaman, meta-learner menerima sinyal yang berlebihan dan tumpukan tidak mengungguli satu model.
- Gagal menggunakan validasi silang saat menghasilkan meta-fitur, menyebabkan kebocoran data yang meningkatkan akurasi pelatihan dan menyesatkan pelatihan meta-learner.
- Mengevaluasi kinerja akhir pada contoh berlabel semu alih-alih set pengujian berlabel asli yang terpisah, menghasilkan metrik yang terlalu optimis.
- Mengabaikan konvergensi — menjalankan terlalu banyak iterasi setelah set label semu stabil membuang-buang komputasi dan berisiko overfitting pada prediksi yang yakin tetapi salah.
Pertanyaan yang sering diajukan
Bagaimana cara memilih ambang batas kepercayaan untuk pelabelan semu?
Titik awal yang umum adalah 0,9 atau lebih tinggi untuk klasifikasi, yang berarti hanya contoh di mana probabilitas kelas terdepan melebihi 90% yang menerima label semu. Ambang batas dapat dilonggarkan pada iterasi selanjutnya seiring membaiknya model dasar. Selalu pantau akurasi validasi di seluruh iterasi untuk menangkap nilai ambang batas yang memasukkan terlalu banyak noise.
Pembelajar dasar mana yang harus saya gunakan?
Keberagaman adalah prinsip kuncinya. Kombinasi tipikal memasangkan gradient-boosted trees (misalnya, XGBoost), SVM dengan kernel radial, dan neural network. Menggabungkan model yang berbeda dalam profil bias-varians dan dalam hubungan fitur yang mereka tangkap menghasilkan meta-fitur yang paling informatif untuk tingkat kedua.
Bagaimana ini berbeda dari stacking standar?
Stacking standar hanya menggunakan data berlabel di seluruh proses. Semi-supervised stacking menambahkan loop pelabelan semu yang secara iteratif memperluas set pelatihan efektif dengan contoh tidak berlabel berkepercayaan tinggi, sehingga paling berguna ketika data berlabel langka dan data tidak berlabel melimpah.
Bisakah ini menangani regresi serta klasifikasi?
Ya. Untuk regresi, ambang batas kepercayaan diganti dengan kriteria berbasis residual — misalnya, memasukkan contoh berlabel semu yang nilai prediksinya stabil (varians rendah) di antara model dasar. Meta-learner kemudian menggabungkan keluaran kontinu daripada probabilitas kelas.
Apa risiko kesalahan propagasi label?
Jika model dasar awal tidak akurat, prediksi mereka yang yakin mungkin masih salah, dan kesalahan tersebut diperkuat dalam iterasi berikutnya. Menggunakan ambang batas kepercayaan awal yang tinggi, memantau set validasi berlabel yang terpisah di seluruh iterasi, dan berhenti ketika kinerja validasi berhenti membaik adalah pertahanan utama.
Metode terkait
Sumber
Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.
Buka referensi DOIDisalin.Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ISBN: 978-0-262-03358-9Disalin.