Ensemble Tumpukan Pembelajaran Aktif
- Diperkenalkan oleh
- Wolpert, D. H. (stacking); Settles, B. (active learning survey)
- Tahun
- 1992–2012
- Jenis
- Hybrid (active learning + stacked ensemble)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Ensemble Tumpukan Pembelajaran Aktif menggabungkan loop kueri pembelajaran aktif dengan generalisasi bertumpuk: tersedia kumpulan data tak berlabel, dan model secara iteratif memilih instans yang paling informatif untuk pelabelan manusia, menggunakan label tersebut untuk melatih dan menyempurnakan tumpukan ensemble dari beberapa pembelajar dasar yang diakhiri oleh meta-pembelajar.
Pendekatan ini mengurangi biaya anotasi sambil memaksimalkan kekuatan prediktif ensemble.
Intuisi di balik metode
Melabeli data itu mahal. Pembelajaran aktif bertanya: contoh tak berlabel mana yang akan paling banyak mengajarkan model? Dengan mengukur ketidakpastian atau ketidaksepakatan di antara pembelajar dasar dari ensemble tumpukan, sistem dapat mengarahkan anotator manusia ke contoh di mana ensemble paling bingung. Setiap titik yang baru dilabeli dimasukkan kembali ke dalam pipeline tumpukan, memperbarui baik pembelajar dasar maupun meta-pembelajar. Hasilnya adalah ensemble yang kuat yang dibangun dengan label yang jauh lebih sedikit daripada yang dibutuhkan oleh pelatihan terawasi standar.
Sejarah
Generalisasi bertumpuk diperkenalkan oleh David Wolpert pada tahun 1992 sebagai cara untuk menggabungkan pembelajar dasar yang beragam melalui meta-pembelajar. Pembelajaran aktif sebagai kerangka kerja sistematis untuk memilih contoh informatif disurvei secara komprehensif oleh Burr Settles pada tahun 2012. Kombinasinya — menerapkan strategi kueri aktif ke arsitektur ensemble atau tumpukan — muncul pada tahun 2000-an dan 2010-an ketika para peneliti berusaha mengurangi biaya anotasi untuk model yang kompleks, dan sekarang menjadi paradigma yang mapan dalam pembelajaran mesin ber sumber daya rendah dan efisien anotasi.
Kapan digunakan
Gunakan Ensemble Tumpukan Pembelajaran Aktif ketika data berlabel langka atau mahal untuk diperoleh, tersedia kumpulan data tak berlabel yang besar, dan Anda memerlukan akurasi prediktif yang kuat. Ini sangat berharga dalam domain seperti anotasi medis, klasifikasi dokumen hukum, dan pelabelan gambar ilmiah, di mana waktu ahli terbatas. Jangan gunakan pendekatan ini ketika semua data dapat dilabeli dengan murah — penumpukan standar akan lebih sederhana dan sama efektifnya. Hindari jika kumpulan tak berlabel kecil (seleksi aktif memberikan sedikit manfaat) atau ketika prediksi waktu nyata diperlukan selama loop kueri, karena melatih ulang tumpukan setelah setiap kueri mahal secara komputasi.
Batasan dan pertimbangan
- Melatih ulang seluruh ensemble tumpukan setelah setiap kueri mahal secara komputasi untuk set pembelajar dasar yang besar.
- Desain strategi kueri tidak sepele: fungsi akuisisi yang buruk dapat memilih contoh yang berlebihan atau tidak informatif.
- Meta-pembelajar memerlukan data berlabel yang cukup untuk mempelajari bobot kombinasi yang andal; dengan label yang sangat sedikit, fitur meta berisik.
- Latensi umpan balik dari oracle manusia dapat membuat loop iteratif lambat dalam praktik.
- Kinerja sangat bergantung pada keberagaman pembelajar dasar dan meta-pembelajar yang dipilih.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mencapai akurasi prediktif tinggi dengan contoh berlabel lebih sedikit daripada penumpukan terawasi pasif.
- Keberagaman ensemble dari beberapa pembelajar dasar membuat estimasi ketidakpastian kueri lebih andal.
- Meta-pembelajar secara adaptif menggabungkan pembelajar dasar, mengoreksi bias setiap pembelajar dasar.
- Kompatibel dengan hampir semua kombinasi pembelajar dasar dan meta-pembelajar.
- Mengurangi anggaran anotasi secara sistematis, membuat waktu ahli lebih efisien.
Penerapan
- Klasifikasi gambar medis atau catatan klinis dengan kasus yang dianotasi terbatas.
- Klasifikasi dokumen hukum dan peraturan di mana anotasi ahli mahal.
- Pelabelan data ilmiah dalam biologi, kimia, dan penginderaan jauh.
- Analisis sentimen dan klasifikasi teks dengan data berlabel spesifik domain yang langka.
- Deteksi penipuan di mana label kebenaran dasar memerlukan penyelidikan manual.
- Tugas prediksi tabular apa pun dengan kumpulan tak berlabel besar dan anggaran pelabelan yang ketat.
Cara kerjanya
Cara kerjanya
Kumpulan kecil data berlabel awal digunakan untuk menyesuaikan pembelajar dasar awal dalam tumpukan. Data yang tersisa tetap tidak berlabel dalam kumpulan kandidat. Kumpulan awal ini mendefinisikan titik awal untuk semua kueri aktif berikutnya.
Fungsi akuisisi — seperti ketidakpastian prediksi, pengambilan sampel margin, atau ketidaksepakatan kueri-berdasarkan-komite di antara pembelajar dasar — menilai setiap kandidat tak berlabel. Instans dengan skor tertinggi dipilih sebagai yang paling informatif untuk pelabelan.
Instans yang dipilih disajikan kepada anotator manusia atau oracle otomatis, yang menetapkan label sebenarnya. Contoh berlabel ini ditambahkan ke set pelatihan untuk putaran pelatihan berikutnya.
Dengan set berlabel yang diperbarui, setiap pembelajar dasar (misalnya, pohon keputusan, SVM, regresi logistik) dilatih ulang. Prediksi di luar lipatan dari pembelajar dasar pada set pelatihan membentuk matriks fitur meta yang digunakan untuk melatih meta-pembelajar.
Meta-pembelajar (umumnya regresi logistik atau model linier) dilatih pada fitur meta yang dihasilkan oleh pembelajar dasar. Ia belajar cara terbaik untuk menggabungkan prediksinya, mengoreksi kesalahan sistematis setiap pembelajar dasar.
Langkah 2–5 diulang untuk anggaran kueri tetap atau sampai kinerja model pada set validasi yang ditahan mendatar. Ensemble tumpukan akhir adalah model yang dilatih pada semua data berlabel yang terakumulasi.
Kesalahan umum
- Menggunakan hanya satu pembelajar dasar — ini menghilangkan keberagaman ensemble yang membuat sinyal kueri aktif andal.
- Mengkueri dalam batch besar tanpa melatih ulang di antaranya, yang menyia-nyiakan manfaat umpan balik inkremental.
- Mengevaluasi hanya pada data pelatihan setelah setiap putaran daripada pada set validasi yang ditahan.
- Mengabaikan ketidakseimbangan kelas saat memilih kueri, yang dapat menyebabkan loop aktif mengambil sampel berlebihan dari kelas mayoritas.
- Mencampuradukkan kinerja set awal berlabel dengan kinerja model akhir.
Pertanyaan yang sering diajukan
Strategi kueri mana yang paling cocok dengan ensemble tumpukan?
Kueri-berdasarkan-komite, yang mengukur ketidaksepakatan di antara pembelajar dasar, sangat cocok karena pembelajar dasar sudah membentuk komite. Pengambilan sampel ketidakpastian pada keluaran meta-pembelajar juga umum dan lebih sederhana untuk diimplementasikan.
Berapa banyak contoh berlabel yang perlu saya mulai?
Diperlukan set awal setidaknya satu contoh representatif per kelas; dalam praktik, 10–50 contoh berlabel per kelas memberikan sinyal yang cukup kepada pembelajar dasar untuk menghasilkan estimasi ketidakpastian yang bermakna untuk putaran kueri pertama.
Apakah lebih baik mengkueri satu contoh pada satu waktu atau dalam batch?
Pembaruan kueri tunggal memaksimalkan informativitas tetapi memerlukan pelatihan ulang setelah setiap label, yang mahal. Pembelajaran aktif mode batch memilih batch kueri yang beragam sekaligus dan melatih ulang sekali per batch, menawarkan pertukaran praktis antara biaya dan perolehan informasi.
Bisakah saya menggunakan pembelajar dalam sebagai model dasar dalam tumpukan?
Ya, tetapi melatih ulang pembelajar dalam setelah setiap putaran kueri aktif sangat mahal. Kompromi umum adalah membekukan atau menyempurnakan pembelajar dasar hanya secara berkala sambil menjalankan loop kueri lebih sering dengan meta-pembelajar.
Bagaimana saya tahu kapan harus berhenti mengkueri?
Berhenti ketika kinerja validasi mendatar di beberapa putaran, ketika anggaran pelabelan habis, atau ketika fungsi akuisisi menetapkan skor informativitas yang secara seragam rendah untuk semua kandidat yang tersisa — menunjukkan model telah mempelajari sebagian besar dari apa yang ditawarkan oleh kumpulan tersebut.
Metode terkait
Sumber
Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.
Buka referensi DOIDisalin.Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning. Morgan & Claypool Publishers.
Buka referensi DOIDisalin.