Voting Ensemble
- Diperkenalkan oleh
- Lam & Suen; Kuncheva, L. I. (systematic treatment)
- Tahun
- 1990s–2004
- Jenis
- Ensemble (combination of multiple classifiers by vote)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Sebuah ensemble voting melatih beberapa pengklasifikasi yang beragam secara independen dan menggabungkan prediksi mereka melalui pemungutan suara: pemungutan suara keras (hard voting) memilih kelas yang dipilih oleh mayoritas model, sementara pemungutan suara lunak (soft voting) merata-ratakan estimasi probabilitas kelas mereka, secara opsional dengan bobot per model.
Kombinasi ini biasanya mengungguli anggota mana pun secara individual, dan tidak memerlukan pelatihan tambahan setelah model dasar dipasang.
Intuisi di balik metode
Bayangkan meminta diagnosis dari lima dokter dan mengikuti pendapat mayoritas. Setiap dokter mungkin membuat kesalahan dengan cara yang berbeda, tetapi menggabungkan penilaian mereka akan meniadakan kesalahan idio sinkratis. Ensemble voting bekerja dengan cara yang sama: model yang beragam gagal pada contoh yang berbeda, sehingga suara gabungan mereka lebih andal daripada model tunggal mana pun. Pemungutan suara lunak mempertajam ini dengan membiarkan model yang lebih percaya diri berkontribusi secara proporsional lebih besar pada keputusan akhir melalui skor probabilitas mereka.
Sejarah
Penggabungan pengklasifikasi melalui pemungutan suara mayoritas dipelajari secara sistematis sejak awal 1990-an, dengan dasar teori yang menonjol oleh Lam dan Suen (1994) dan Kittler et al. (1998). Monograf Ludmila Kuncheva tahun 2004 memberikan perlakuan definitif tentang penggabungan pengklasifikasi pola, mencakup pemungutan suara keras dan lunak, pemungutan suara tertimbang, dan peran keberagaman. Pemungutan suara lunak mendapatkan popularitas praktis melalui VotingClassifier scikit-learn, yang membuatnya mudah untuk menggabungkan estimator arbitrer dalam satu panggilan API.
Kapan digunakan
Gunakan ensemble voting ketika Anda memiliki dua atau lebih pengklasifikasi beragam yang sudah terlatih dan menginginkan kombinasi yang cepat dan dapat diinterpretasikan tanpa biaya pelatihan tambahan. Ini sangat berharga ketika model individual memiliki akurasi rata-rata yang serupa tetapi profil kesalahan yang berbeda — menggabungkannya menghasilkan peningkatan yang nyata. Pemungutan suara lunak lebih disukai ketika model dasar mengeluarkan probabilitas yang terkalibrasi. Jangan gunakan ensemble voting sebagai pengganti pemilihan model yang tepat: jika semua pembelajar dasar lemah atau membuat kesalahan yang berkorelasi, menggabungkannya tidak akan membantu. Hindari jika interpretasi model tunggal diperlukan oleh pemangku kepentingan atau peraturan.
Batasan dan pertimbangan
- Peningkatan minimal atau tidak ada ketika pembelajar dasar membuat kesalahan yang sangat berkorelasi.
- Pemungutan suara lunak memerlukan semua pembelajar dasar mengeluarkan estimasi probabilitas yang terkalibrasi dan sebanding.
- Biaya inferensi berskala linier dengan jumlah pembelajar dasar; ensemble besar bisa lambat.
- Tidak ada mekanisme untuk mempelajari bobot kombinasi optimal secara otomatis — tidak seperti stacking, bobot harus diatur secara manual.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mudah diimplementasikan: tidak perlu pelatihan meta-learner di luar pemasangan model dasar.
- Seringkali meningkatkan akurasi dan ketahanan dibandingkan pembelajar dasar tunggal ketika anggota beragam.
- Pemungutan suara lunak memanfaatkan kalibrasi probabilitas, biasanya mengungguli pemungutan suara keras.
- Mendukung keluarga model heterogen, memungkinkan kombinasi pengklasifikasi apa pun.
- Mudah untuk menambah atau menghapus pembelajar dasar tanpa melatih ulang infrastruktur ensemble.
Penerapan
- Menggabungkan regresi logistik, SVM, dan model berbasis pohon untuk prediksi risiko klinis.
- Klasifikasi teks yang kuat dengan menggabungkan prediksi dari beberapa fine-tune model bahasa.
- Pembelajaran mesin kompetisi (gaya Kaggle) di mana menggabungkan model beragam top-k meningkatkan skor papan peringkat.
- Pengaturan produksi di mana ketahanan ensemble lebih penting daripada kesederhanaan model tunggal.
- Ensemble dasar sebelum menginvestasikan upaya dalam stacking atau boosting.
Cara kerjanya
Cara kerjanya
Sekumpulan K pembelajar dasar — yang dapat berasal dari keluarga model yang sama sekali berbeda, seperti regresi logistik, pengklasifikasi k-nearest-neighbours, dan pohon keputusan — masing-masing dilatih secara independen pada set pelatihan penuh atau pada konfigurasi yang disetel sendiri. Keberagaman di antara pembelajar dasar sangat penting: model yang membuat kesalahan serupa tidak banyak mendapat manfaat dari penggabungan.
Pada waktu inferensi, setiap pembelajar dasar menghasilkan prediksi untuk input baru. Untuk pemungutan suara keras, ini hanyalah label kelas; untuk pemungutan suara lunak, setiap pembelajar harus mengeluarkan vektor probabilitas kelas, yang memberlakukan batasan bahwa semua pembelajar dasar yang dipilih dapat dikalibrasi untuk mengeluarkan estimasi probabilitas yang bermakna.
Dalam pemungutan suara keras, ensemble menghitung berapa banyak model yang memprediksi setiap kelas dan menetapkan label yang menerima pluralitas suara. Seri dipecahkan oleh aturan tetap (misalnya, indeks kelas terendah). Mode ini berfungsi bahkan ketika pembelajar dasar tidak dapat menghasilkan probabilitas yang andal.
Rumus
\hat{y} = \arg\max_c \sum_{k=1}^{K} \mathbf{1}[h_k(x)=c]Dalam pemungutan suara lunak, ensemble merata-ratakan (atau mengambil rata-rata tertimbang menggunakan bobot w_k) vektor probabilitas kelas di seluruh pembelajar dasar dan memprediksi kelas dengan probabilitas rata-rata tertinggi. Karena pemungutan suara lunak memanfaatkan besaran probabilitas daripada hanya pemenang, biasanya mengungguli pemungutan suara keras ketika pembelajar dasar terkalibrasi dengan baik.
Rumus
\hat{y} = \arg\max_c \sum_{k=1}^{K} w_k \, p_k(c \mid x)Ensemble mengembalikan label kelas pemenang dan, dalam mode pemungutan suara lunak, vektor probabilitas rata-rata yang dapat digunakan untuk penyesuaian ambang batas, pemeringkatan, atau diagnostik kalibrasi hilir. Tidak ada langkah pelatihan tambahan yang diperlukan setelah model dasar dipasang.
Kesalahan umum
- Menggabungkan pembelajar dasar yang disetel pada data yang sama tanpa validasi silang mengarah pada estimasi kesalahan yang optimis.
- Menggunakan pemungutan suara lunak dengan keluaran probabilitas yang buruk kalibrasinya (misalnya, nilai keputusan SVM mentah) dapat merugikan daripada membantu.
- Memilih pembelajar dasar yang terlalu mirip — semua varian dari keluarga model yang sama — menghilangkan keberagaman dan membuang-buang komputasi.
- Mengabaikan ketidakseimbangan kelas: jika pembelajar dasar tidak seimbang secara individual, suara mereka secara kolektif akan memperkuat bias kelas mayoritas.
- Memperlakukan akurasi ensemble voting sebagai final tanpa memeriksa apakah model tunggal yang lebih sederhana mencapai hasil yang sama.
Pertanyaan yang sering diajukan
Berapa banyak pembelajar dasar yang harus saya sertakan?
Tidak ada aturan tetap, tetapi tiga hingga tujuh pengklasifikasi yang beragam adalah kisaran praktis yang umum. Menambahkan lebih banyak pembelajar di luar titik hasil yang semakin berkurang meningkatkan latensi inferensi tanpa meningkatkan akurasi secara berarti.
Kapan saya harus memilih pemungutan suara lunak daripada pemungutan suara keras?
Gunakan pemungutan suara lunak ketika semua pembelajar dasar menghasilkan keluaran probabilitas yang terkalibrasi dengan baik — biasanya menghasilkan akurasi yang lebih tinggi karena menggunakan distribusi probabilitas penuh daripada hanya kelas pemenang. Jika probabilitas buruk kalibrasinya atau tidak tersedia, pemungutan suara keras lebih aman.
Bagaimana saya memilih bobot dalam pemungutan suara lunak tertimbang?
Pendekatan sederhana adalah menimbang setiap model berdasarkan akurasi atau AUC yang divalidasi silang pada set pelatihan. Pendekatan yang lebih berprinsip mengoptimalkan bobot melalui set validasi yang ditahan, tetapi berisiko overfitting jika set validasi kecil.
Bagaimana ensemble voting berbeda dari stacking?
Ensemble voting menggabungkan keluaran model dasar dengan aturan tetap (mayoritas atau rata-rata). Stacking melatih meta-learner pada keluaran model dasar untuk mempelajari kombinasi optimal — lebih kuat tetapi lebih kompleks dan rentan terhadap kebocoran data jika validasi silang tidak digunakan dengan benar.
Apakah keberagaman selalu meningkatkan ensemble?
Keberagaman diperlukan tetapi tidak cukup. Pembelajar dasar juga harus akurat secara individual; ensemble pengklasifikasi yang beragam dan lemah masih bisa berkinerja buruk. Tujuannya adalah kesalahan yang beragam di antara model yang akurat.
Metode terkait
Sumber
Kuncheva, L. I. (2004). Combining Pattern Classifiers: Methods and Algorithms. Wiley-Interscience.
ISBN: 978-0-471-21078-8Disalin.Dietterich, T. G. (2000). Ensemble Methods in Machine Learning. In J. Kittler & F. Roli (Eds.), Multiple Classifier Systems (MCS 2000), Lecture Notes in Computer Science, vol 1857, pp. 1–15. Springer.
Buka referensi DOIDisalin.