Ensemble Pemungutan Suara Pembelajaran Aktif
- Diperkenalkan oleh
- Seung, H. S., Opper, M., & Sompolinsky, H.
- Tahun
- 1992
- Jenis
- Active learning with ensemble voting
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Ensemble Pemungutan Suara Pembelajaran Aktif — secara formal dikenal sebagai Query by Committee — adalah strategi pembelajaran aktif yang melatih komite model yang beragam dan memilih contoh yang belum diberi label di mana anggota komite paling tidak setuju untuk anotasi manusia.
Dengan memfokuskan upaya pelabelan pada poin-poin yang paling informatif, strategi ini mencapai akurasi tinggi dengan jumlah contoh berlabel yang jauh lebih sedikit daripada yang dibutuhkan oleh pembelajaran pasif.
Intuisi di balik metode
Bayangkan meminta lima ahli untuk mengklasifikasikan sampel yang belum diberi label. Jika empat setuju dan satu tidak setuju, jawabannya mungkin jelas — tidak perlu membayar untuk label. Tetapi jika mereka terbagi tiga-dua, sampel tersebut berada tepat di batas keputusan di mana pelabelannya akan mengajarkan semua model paling banyak. Ensemble pemungutan suara pembelajaran aktif membuat intuisi ini tepat: bangun komite model, biarkan mereka memilih, dan hanya bayar label ketika pemungutan suara ketat. Hasilnya adalah lingkaran pembelajaran yang sangat efisien yang memaksimalkan anggaran anotasi kecil sejauh mungkin.
Sejarah
Kerangka Query by Committee (QBC) diperkenalkan oleh Seung, Opper, dan Sompolinsky di COLT 1992 sebagai pendekatan yang berprinsip untuk pembelajaran aktif dengan komite ruang versi. Ini adalah salah satu akun teoretis pertama tentang penggunaan ketidaksepakatan ensemble untuk memandu pengumpulan data, dan tetap menjadi referensi kanonik untuk pembelajaran aktif berbasis komite. Literatur pembelajaran aktif yang lebih luas dikonsolidasikan dalam survei teknis Settles Burr yang banyak dikutip pada tahun 2009, yang mensistematisasikan skenario berbasis kumpulan, berbasis aliran, dan kueri keanggotaan dan menetapkan QBC sebagai strategi landasan di samping pengambilan sampel ketidakpastian.
Kapan digunakan
Gunakan ensemble pemungutan suara pembelajaran aktif ketika pelabelan mahal atau memakan waktu — anotasi klinis, penandaan dokumen hukum, tinjauan gambar khusus — dan kumpulan data yang belum diberi label dalam jumlah besar tersedia bersama dengan kumpulan awal berlabel kecil. Strategi ini bekerja dengan baik untuk tugas klasifikasi di mana ketidaksepakatan komite merupakan sinyal yang bermakna, dan ketika setidaknya 3–5 model yang beragam dapat diterapkan. Hindari jika label murah dan melimpah (pembelajaran pasif pada seluruh kumpulan data kemudian akan sama atau lebih efisien), ketika kumpulan data yang belum diberi label sangat kecil, ketika anotasi online waktu nyata tidak memungkinkan, atau ketika satu model yang dapat diinterpretasikan diperlukan daripada ensemble.
Batasan dan pertimbangan
- Membutuhkan lingkaran anotasi, yang menambah kompleksitas infrastruktur: manajer kumpulan, antarmuka peramal, dan perpipaan pelatihan ulang.
- Kinerja sangat bergantung pada keberagaman komite; komite yang homogen menghasilkan ketidaksepakatan yang tidak informatif.
- Pembelajaran aktif berbasis kumpulan mengasumsikan seluruh kumpulan data yang belum diberi label muat dalam memori; kumpulan data yang sangat besar memerlukan perkiraan.
- Konvergensi tidak dijamin jika peramal membuat kesalahan pelabelan sistematis.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara dramatis mengurangi jumlah contoh berlabel yang dibutuhkan untuk mencapai akurasi target dibandingkan dengan pengambilan sampel acak.
- Pemungutan suara ensemble memberikan manfaat ganda berupa prediksi varians yang lebih rendah pada waktu inferensi.
- Model-agnostik: setiap kumpulan pengklasifikasi yang beragam dapat membentuk komite.
- Skor ketidaksepakatan memberikan sinyal ketidakpastian bawaan yang mudah dipantau dan divisualisasikan.
- Berlandaskan secara teoritis melalui kerangka Query by Committee yang diperkenalkan pada tahun 1992.
Penerapan
- Anotasi gambar medis di mana ahli radiologi langka dan pelabelan mahal.
- Pengenalan entitas bernama dan klasifikasi teks dengan korpus beranotasi terbatas.
- Analisis sentimen dengan jargon khusus domain yang memerlukan tinjauan spesialis.
- Penemuan obat dan prediksi sifat molekuler dengan validasi laboratorium basah yang mahal.
- Klasifikasi citra satelit di mana hanya sebagian ubin yang dapat ditinjau secara manual.
Cara kerjanya
Cara kerjanya
Sebuah komite yang terdiri dari k model dasar yang beragam (ensemble pemungutan suara) diinisialisasi pada sekumpulan kecil contoh berlabel. Keberagaman adalah kunci: model-model tersebut dapat berbeda dalam arsitektur, hiperparameter, atau subset pelatihan sehingga ketidaksepakatan mereka informatif daripada acak.
Untuk setiap kandidat yang belum diberi label x dalam kumpulan U, ketidaksepakatan D(C, x) di antara komite diukur — metrik umum termasuk entropi pemungutan suara (seberapa tersebar pemungutan suara) atau divergensi KL antara prediksi. Sampel dengan skor ketidaksepakatan tertinggi dipilih: x* = argmax D(C, x).
Rumus
x^* = \arg\max_{x \in U} D(C, x)Contoh yang belum diberi label yang dipilih dikirim ke peramal manusia (anotator ahli, platform crowdsourcing, atau pelabel otomatis) untuk label kebenaran dasar. Ini adalah satu-satunya langkah yang menimbulkan biaya anotasi.
Contoh yang baru diberi label ditambahkan ke kumpulan pelatihan dan semua anggota komite dilatih ulang (atau diperbarui secara inkremental). Lingkaran kembali ke langkah kueri sampai anggaran anotasi habis atau ambang kinerja tercapai.
Pada waktu inferensi, komite yang dilatih menghasilkan pemungutan suara mayoritas di antara semua k anggota: kelas yang diprediksi adalah modus dari prediksi individu h_1(x) hingga h_k(x), menggabungkan keuntungan efisiensi pembelajaran aktif dan pengurangan varians ensemble.
Rumus
\hat{y} = \text{mode}(h_1(x), h_2(x), \ldots, h_k(x))Kesalahan umum
- Menggunakan anggota komite yang identik atau hampir identik — keberagaman adalah mesin metode ini dan tanpanya ketidaksepakatan akan runtuh.
- Pelatihan ulang dari awal setelah setiap kueri tunggal; kueri mode batch (memilih b contoh per putaran) jauh lebih praktis.
- Lupa mengevaluasi pada set pengujian tetap yang ditahan di seluruh lingkaran — hanya mengukur pada kumpulan pelatihan yang berkembang menyembunyikan overfitting.
- Memperlakukan skor ketidaksepakatan sebagai ukuran keyakinan pada inferensi tanpa kalibrasi yang tepat.
- Mengabaikan perdagangan informasi-representasi: sampel yang sangat tidak pasti di dekat batas mungkin merupakan pencilan, bukan contoh tipikal.
Pertanyaan yang sering diajukan
Berapa banyak anggota komite yang harus saya gunakan?
Tiga hingga sepuluh model yang beragam adalah kisaran praktis yang umum. Lebih sedikit anggota menghasilkan perkiraan ketidaksepakatan yang lebih berisik; lebih banyak anggota meningkatkan biaya komputasi. Secara empiris, lima pengklasifikasi yang beragam sering memberikan keseimbangan yang baik antara stabilitas dan efisiensi.
Bagaimana cara mengukur ketidaksepakatan dalam komite?
Entropi pemungutan suara adalah ukuran yang paling umum: H = -sum_c p(c) log p(c) di mana p(c) adalah fraksi anggota komite yang memprediksi kelas c. Untuk model probabilistik, rata-rata divergensi KL dari prediksi rata-rata adalah alternatif. Skor yang lebih tinggi menunjukkan sampel yang lebih informatif.
Bisakah saya menggunakan ini dengan model deep learning?
Ya. Ensemble dalam atau perkiraan MC-dropout dapat berfungsi sebagai komite. Tantangan utamanya adalah biaya pelatihan ulang — strategi seperti fine-tuning backbone bersama dengan kepala yang beragam secara signifikan mengurangi hal ini.
Bagaimana jika anggaran anotasi saya sangat ketat — katakanlah, kurang dari 20 label?
Dengan sangat sedikit label, pengambilan sampel acak atau pemilihan benih bertingkat sering kali berkinerja sebanding dengan QBC karena semua metode dimulai dari dasar yang hampir sama-sama minim informasi. Keunggulan QBC lebih jelas muncul setelah kumpulan benih memiliki setidaknya 20–50 contoh per kelas.
Apakah ensemble pemungutan suara pembelajaran aktif bekerja untuk regresi?
Ya, dengan ketidaksepakatan diukur sebagai varians atau standar deviasi prediksi komite daripada entropi pemungutan suara. Lingkaran kueri-pelatihan ulang yang sama berlaku; keluaran akhir adalah rata-rata prediksi komite.
Metode terkait
Sumber
Seung, H. S., Opper, M., & Sompolinsky, H. (1992). Query by committee. In Proceedings of the Fifth Annual Workshop on Computational Learning Theory (COLT '92), pp. 287–294. ACM.
Buka referensi DOIDisalin.Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Buka referensi publikasiDisalin.