Stacking
- Diperkenalkan oleh
- Wolpert, D.H.
- Tahun
- 1992
- Jenis
- Ensemble (heterogeneous meta-learning)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Stacking, atau generalisasi bertumpuk, adalah metode ansambel yang diperkenalkan oleh David Wolpert pada tahun 1992 yang menggabungkan keluaran dari beberapa model dasar yang berbeda (Tingkat-0) melalui model meta terpisah (Tingkat-1).
Berbeda dengan bagging dan boosting, metode ini sengaja menggunakan tipe model yang heterogen, dan ini adalah strategi tahap akhir standar dalam kompetisi Kaggle.
Intuisi di balik metode
Keluarga model yang berbeda membuat kesalahan yang berbeda: ansambel pohon, mesin vektor pendukung, dan model linier masing-masing menangkap data dengan caranya sendiri. Stacking memperlakukan prediksi mereka sebagai fitur baru dan melatih satu model lagi untuk mempelajari cara terbaik untuk memadukannya, sehingga model meta dapat mengandalkan setiap model dasar di mana ia paling kuat dan mengabaikannya di mana ia lemah — menghasilkan prediksi gabungan yang biasanya mengungguli model tunggal mana pun.
Sejarah
Generalisasi bertumpuk diperkenalkan oleh David Wolpert pada tahun 1992 sebagai cara untuk menggabungkan beberapa generalisator melalui model tingkat yang lebih tinggi. Gagasan ini kemudian diformalkan dan diberi landasan teoretis yang kuat oleh van der Laan, Polley, dan Hubbard pada tahun 2007 di bawah nama Super Learner, yang menggunakan validasi silang untuk menggabungkan perpustakaan pembelajar dasar. Stacking sejak itu menjadi strategi tahap akhir standar dalam kompetisi machine-learning, di mana ansambel model heterogen secara rutin menduduki puncak papan peringkat.
Kapan digunakan
Gunakan stacking ketika akurasi prediktif adalah prioritas dan Anda memiliki beberapa model dasar yang cukup kuat dan beragam untuk digabungkan, pada data cross-sectional dengan fitur kontinu, kategorikal, atau biner dan setidaknya sekitar 100 observasi. Metode ini tidak memerlukan data yang terdistribusi normal. Di bawah sekitar 100 observasi, validasi silang k-lipat tidak dapat menghasilkan prediksi Tingkat-0 yang cukup andal dan model meta mengalami overfitting, sehingga model tunggal yang disetel seperti random forest atau XGBoost lebih aman.
Batasan dan pertimbangan
- Membutuhkan sampel yang cukup besar (sekitar 100+) agar validasi silang k-lipat dapat menghasilkan prediksi Tingkat-0 yang andal.
- Keuntungan berkurang ketika model dasar sangat berkorelasi daripada beragam.
- Lebih kompleks dan padat komputasi daripada model tunggal, dan lebih sulit untuk diinterpretasikan secara keseluruhan.
- Pada sampel kecil, keragaman model dasar tidak dapat dicapai dan model tunggal biasanya sudah cukup.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Sering kali mencapai akurasi prediktif tertinggi dengan memanfaatkan model dasar heterogen yang membuat kesalahan berbeda.
- Fleksibel: campuran tipe model apa pun dapat berfungsi sebagai pembelajar dasar, dengan model meta sederhana di atasnya.
- Ringan asumsi — tidak memerlukan normalitas, dan menangani fitur kontinu, kategorikal, dan biner.
- Strategi tahap akhir yang terbukti dalam pengaturan prediksi kompetitif seperti Kaggle.
Penerapan
- Ensembling tahap akhir dalam kompetisi pemodelan prediktif seperti Kaggle.
- Menggabungkan model heterogen untuk klasifikasi dan prediksi akurasi tinggi.
- Ansambel Super Learner dalam biostatistik dan epidemiologi.
- Memadukan model yang kuat tetapi beragam ketika memeras akurasi ekstra penting.
Cara kerjanya
Cara kerjanya
Serangkaian pembelajar dasar yang beragam (Tingkat-0) dilatih pada data — misalnya, random forest, model gradient-boosting, dan SVM. Semakin bervariasi dan saling independen model-model ini, semakin besar keuntungan yang dapat diperoleh dari stacking; ketika model dasar sangat berkorelasi satu sama lain, manfaat stacking berkurang.
Prediksi Tingkat-0 dihasilkan melalui validasi silang k-lipat (k-fold cross-validation) daripada pada data yang sama tempat model dasar disesuaikan. Skema di luar lipatan (out-of-fold) ini penting untuk mencegah kebocoran data: fitur meta setiap observasi berasal dari model yang tidak melihatnya selama pelatihan.
Model meta (Tingkat-1) dilatih pada keluaran model dasar yang divalidasi silang untuk menghasilkan prediksi akhir. Pembelajar meta biasanya dijaga kesederhanaannya — regresi logistik, regresi ridge, atau XGBoost kecil — sehingga ia mempelajari bobot yang masuk akal untuk menggabungkan model dasar tanpa dirinya sendiri mengalami overfitting.
Rumus
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)Kesalahan umum
- Menghasilkan prediksi Tingkat-0 pada data yang sama tempat model dasar dilatih, menyebabkan kebocoran data ke dalam model meta.
- Menumpuk banyak model dasar yang sangat berkorelasi dan mengharapkan keuntungan besar.
- Menggunakan model meta yang terlalu kompleks yang mengalami overfitting pada keluaran model dasar alih-alih regressor sederhana.
- Menerapkan stacking pada dataset kecil di mana keragaman model dasar dan validasi silang yang andal tidak mungkin dilakukan.
Pertanyaan yang sering diajukan
Bagaimana stacking berbeda dari bagging dan boosting?
Bagging dan boosting membangun banyak model tipe yang sama, sedangkan stacking sengaja menggabungkan keluarga model heterogen dan belajar cara memadukannya dengan model meta terpisah. Keragaman itulah yang menjadi keunggulan stacking.
Mengapa menggunakan validasi silang untuk membangun fitur meta?
Jika model meta dilatih pada prediksi yang dibuat oleh model dasar pada data pelatihan mereka sendiri, informasi bocor dan tumpukan mengalami overfitting. Menghasilkan prediksi Tingkat-0 di luar lipatan (out-of-fold) melalui validasi silang k-lipat memberikan masukan yang jujur kepada model meta.
Apa yang seharusnya menjadi model meta?
Jaga kesederhanaannya — regresi logistik, regresi ridge, atau XGBoost kecil. Pembelajar meta sederhana mempelajari bobot pemaduan yang masuk akal tanpa mengalami overfitting pada keluaran model dasar.
Kapan saya seharusnya tidak menggunakan stacking?
Ketika Anda memiliki kurang dari sekitar 100 observasi, validasi silang tidak dapat menghasilkan prediksi Tingkat-0 yang cukup andal dan keragaman model dasar sulit dicapai, sehingga random forest atau XGBoost tunggal yang disetel adalah pilihan yang lebih aman.
Metode terkait
Sumber
Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.
Buka referensi DOIDisalin.van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.
Buka referensi DOIDisalin.