Bagging (Bootstrap Aggregating)
- Diperkenalkan oleh
- Breiman, L.
- Tahun
- 1996
- Jenis
- Ensemble meta-algorithm (variance reduction via bootstrap aggregation)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Bagging, singkatan dari Bootstrap Aggregating, adalah meta-algoritma ensemble yang diperkenalkan oleh Leo Breiman pada tahun 1996 yang melatih banyak salinan dari pembelajar dasar pada sampel bootstrap yang ditarik secara independen dari data pelatihan dan menggabungkan prediksinya — dengan merata-ratakan untuk regresi atau suara mayoritas untuk klasifikasi — untuk menghasilkan prediktor akhir dengan varians yang jauh lebih rendah daripada pembelajar dasar tunggal.
Intuisi di balik metode
Bayangkan meminta pendapat satu ahli: jawabannya sangat bergantung pada pengalaman khususnya. Sekarang bayangkan meminta seratus ahli, masing-masing dengan latar belakang yang sedikit berbeda, dan merata-ratakan jawaban mereka. Keunikan individu saling meniadakan dan konsensus kelompok jauh lebih dapat diandalkan. Bagging melakukan hal yang sama untuk model pembelajaran mesin: ia menghasilkan banyak set pelatihan yang sedikit berbeda dengan mengambil sampel ulang data asli dengan penggantian, melatih satu model per set, dan menggabungkan semua prediksi. Setiap model melihat sebagian realitas yang berbeda, sehingga kesalahan individu mereka cenderung tidak sejajar, dan agregatnya jauh lebih stabil daripada model tunggal mana pun.
Sejarah
Leo Breiman menerbitkan Bagging Predictors in Machine Learning pada tahun 1996, dimotivasi oleh pengamatan bahwa pembelajar yang tidak stabil — yang keluarannya berubah secara substansial di bawah gangguan data kecil — dapat distabilkan dengan merata-ratakan replika bootstrap dari set pelatihan. Justifikasi teoretisnya bertumpu pada dekomposisi bias-varians: perataan mengurangi varians sambil membiarkan bias tidak berubah. Breiman mendemonstrasikan peningkatan akurasi yang konsisten dibandingkan pohon keputusan tunggal pada serangkaian tolok ukur klasifikasi dan regresi. Bagging dengan cepat menjadi teknik ensemble fundamental dan secara langsung menginspirasi Random Forest (Breiman, 2001), yang menambahkan subsampling fitur acak pada setiap pemisahan untuk lebih mendekorelasi pohon dan mencapai pengurangan varians yang lebih besar. Saat ini, bagging berfungsi sebagai tulang punggung konseptual untuk berbagai metode ensemble dan merupakan topik standar dalam kurikulum pembelajaran mesin tingkat pascasarjana.
Kapan digunakan
Bagging sesuai kapan pun algoritma pembelajaran dasar memiliki varians tinggi — yaitu, sensitif terhadap gangguan kecil dalam data pelatihan — dan mengurangi varians tersebut adalah sumber kesalahan utama. Pohon keputusan yang ditumbuhkan penuh, tanpa pemangkasan adalah contoh kanoniknya. Bagging cocok untuk klasifikasi dan regresi pada data tabular, tidak memerlukan asumsi tentang distribusi data, dan menangani tipe fitur campuran. Ini paling bermanfaat ketika kumpulan data cukup besar untuk mendukung B sampel bootstrap independen yang berkualitas (setidaknya sekitar 30 observasi adalah batas bawah praktis, meskipun ratusan lebih disukai). Bagging tidak bermanfaat ketika pembelajar dasar sudah stabil (seperti regresi linier pada masalah yang ditentukan dengan baik) atau ketika sumber kesalahan dominan adalah bias daripada varians — dalam kasus seperti itu metode boosting lebih tepat.
Batasan dan pertimbangan
- Tidak mengurangi bias: jika pembelajar dasar mengalami underfitting, bagging tidak dapat memperbaikinya.
- Prediksi ensemble lebih sulit diinterpretasikan daripada model tunggal; tidak ada analogi struktur visual pohon keputusan tunggal.
- Memori dan penyimpanan berskala linier dengan B: menyimpan ratusan model besar dalam memori bisa jadi mahal.
- Peningkatan berkurang pesat seiring bertambahnya B; kinerja biasanya mendatar jauh sebelum B = 500.
- Pada pembelajar dasar yang stabil (misalnya, regresi linier dengan spesifikasi yang benar) bagging memberikan peningkatan yang dapat diabaikan.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Secara langsung mengurangi varians estimator tanpa meningkatkan bias, menghasilkan prediksi yang lebih stabil daripada model dasar tunggal mana pun.
- Sangat mudah diparalelkan: setiap iterasi bootstrap independen, membuat ensemble besar secara komputasi dapat dikelola.
- Estimasi kesalahan OOB bawaan memberikan perkiraan generalisasi yang jujur tanpa biaya data tambahan.
- Meta-algoritma yang agnostik terhadap model: kompatibel dengan pembelajar dasar yang cukup tidak stabil (pohon, jaringan saraf, tetangga terdekat).
- Tahan terhadap outlier dalam set pelatihan: setiap observasi tunggal yang tidak biasa tidak ada di sebagian besar sampel bootstrap.
Penerapan
- Membangun model klasifikasi dan regresi yang stabil pada data tabular yang berderau di mana pohon keputusan tunggal akan mengalami overfitting.
- Menghasilkan interval prediksi dengan memeriksa sebaran prediksi di antara B pembelajar dasar.
- Estimasi kepentingan fitur melalui penurunan akurasi OOB ketika setiap fitur diacak di seluruh ensemble.
- Baseline ensemble: tolok ukur cepat untuk mengukur seberapa banyak metode yang lebih canggih (boosting, stacking) meningkat dibandingkan agregasi sederhana.
Cara kerjanya
Cara kerjanya
Sampel bootstrap independen B ditarik dari set pelatihan asli berukuran n. Setiap sampel dihasilkan dengan menarik n observasi dengan penggantian dari data asli, sehingga rata-rata setiap sampel berisi sekitar 63,2% dari instance pelatihan unik; sisanya ~36,8% ditinggalkan dan membentuk set di luar kantong (OOB) untuk iterasi tersebut.
Rumus
\mathcal{D}_b = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^{n}, \quad (\mathbf{x}_i^*, y_i^*) \overset{\text{i.i.d.}}{\sim} \hat{F}_n, \quad b = 1, \dots, BSebuah algoritma pembelajaran dasar — paling sering pohon keputusan yang ditumbuhkan hingga kedalaman penuh, tetapi pembelajar yang cukup tidak stabil memenuhi syarat — dipasang secara independen pada setiap sampel bootstrap, menghasilkan B model yang berbeda. Persyaratan utamanya adalah ketidakstabilan: jika gangguan data kecil menyebabkan perubahan model besar, bagging memberikan pengurangan varians terbesar.
Rumus
\hat{f}_b = \mathcal{A}(\mathcal{D}_b)Untuk tugas regresi, keluaran B model dirata-ratakan. Langkah perataan ini adalah mekanisme utama untuk pengurangan varians: di bawah asumsi independensi, varians rata-rata dari B model yang terdistribusi secara identik adalah 1/B dari varians model tunggal, dan bahkan di bawah korelasi positif, pengurangannya cukup besar.
Rumus
\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(\mathbf{x})Untuk tugas klasifikasi, setiap pembelajar dasar memberikan satu suara untuk label kelas, dan kelas dengan suara terbanyak dikembalikan sebagai prediksi akhir. Jika terjadi hasil imbang, pemenang dipilih secara acak. Pemungutan suara pluralitas secara asimtotik setara dengan merata-ratakan estimasi probabilitas kelas yang dihasilkan oleh setiap pembelajar dasar.
Rumus
\hat{y}(\mathbf{x}) = \underset{k}{\operatorname{arg\,max}} \sum_{b=1}^{B} \mathbf{1}\!\left[\hat{f}_b(\mathbf{x}) = k\right]Karena setiap pembelajar dasar dilatih pada sekitar 63,2% data, observasi yang tersisa dapat berfungsi sebagai set pengujian yang jujur untuk pembelajar tersebut. Merata-ratakan prediksi OOB ini di semua pembelajar yang tidak melihat setiap observasi memberikan perkiraan kesalahan generalisasi yang hampir tidak bias tanpa memerlukan lipatan validasi terpisah atau validasi silang.
Rumus
\widehat{\text{Err}}_{\text{OOB}} = \frac{1}{n} \sum_{i=1}^{n} L\!\left(y_i,\; \frac{1}{|\mathcal{B}_i^c|} \sum_{b \in \mathcal{B}_i^c} \hat{f}_b(\mathbf{x}_i)\right)Kesalahan umum
- Menerapkan bagging ke pembelajar dasar dengan varians rendah (seperti regresi ridge) dan mengharapkan peningkatan akurasi yang besar.
- Menetapkan B terlalu kecil (misalnya, B < 10) sehingga agregat masih berderau dan estimasi OOB tidak dapat diandalkan.
- Mengabaikan ketidakseimbangan kelas: bagging mempertahankan distribusi kelas data asli di setiap sampel bootstrap, sehingga ketidakseimbangan yang parah direplikasi di semua pembelajar.
- Mencampuradukkan bagging dengan boosting: bagging melatih model secara paralel pada sampel independen untuk mengurangi varians, sementara boosting melatih model secara sekuensial untuk mengurangi bias — mereka menangani sumber kesalahan yang berbeda.
- Memperlakukan kesalahan OOB sebagai pengganti evaluasi yang ditahan dengan benar ketika kumpulan data sangat kecil, karena estimasi OOB dapat optimis pada kondisi tersebut.
Pertanyaan yang sering diajukan
Berapa banyak sampel bootstrap B yang harus saya gunakan?
Breiman (1996) menemukan bahwa kinerja stabil relatif cepat; B = 50 hingga 100 seringkali cukup untuk pohon keputusan. Meningkatkan B di atas beberapa ratus menghasilkan manfaat tambahan yang semakin menurun (diminishing returns). Pantau kesalahan OOB seiring bertambahnya B dan berhenti ketika mendatar.
Apa perbedaan antara bagging dan Random Forest?
Random Forest memperluas bagging dengan menambahkan subsampling fitur acak pada setiap pemisahan setiap pohon. Randomisasi tambahan ini lebih lanjut mendekorelasi pembelajar dasar, mengurangi varians lebih dari yang dicapai bagging saja. Oleh karena itu, bagging dengan pohon yang ditumbuhkan penuh adalah kasus khusus dari Random Forest di mana semua fitur dipertimbangkan pada setiap pemisahan.
Bisakah bagging diterapkan pada pembelajar selain pohon keputusan?
Ya. Pembelajar apa pun yang tidak stabil — yang prediksinya berubah secara substansial ketika data pelatihan sedikit berubah — dapat mendapat manfaat dari bagging. Jaringan saraf, k-nearest neighbours, dan pohon regresi yang tidak dipangkas semuanya memenuhi syarat. Pembelajar yang stabil seperti regresi linier dengan model yang ditentukan dengan baik mendapat sedikit manfaat karena sedikit varians yang perlu dikurangi.
Apakah kesalahan OOB merupakan pengganti yang andal untuk validasi silang?
Untuk kumpulan data sedang hingga besar, kesalahan OOB adalah perkiraan kesalahan generalisasi yang hampir tidak bias dan bebas komputasi karena tidak diperlukan penyesuaian model tambahan. Pada kumpulan data yang sangat kecil (n di bawah sekitar 50), estimasi OOB bisa optimis dan validasi silang lebih disukai.
Metode terkait
Sumber
Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2), 123–140.
Buka referensi DOIDisalin.Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8.7). Springer.
ISBN: 978-0-387-84857-0Disalin.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8.2). Springer.
ISBN: 978-1-4614-7138-7Disalin.