Skip to content
Kembali ke hasil pencarian

Ensemble Bagging

Diperkenalkan oleh
Leo Breiman
Tahun
1996
Jenis
parallel ensemble
Keluarga
Ensemble

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Bagging, singkatan dari bootstrap aggregating, adalah metode ensemble yang mengurangi varians dengan melatih banyak salinan dari satu algoritma pembelajaran pada subset data latih yang berbeda secara acak.

Setiap subset dibuat melalui pengambilan sampel bootstrap—pengambilan sampel acak dengan penggantian. Prediksi digabungkan melalui pemungutan suara mayoritas (klasifikasi) atau perataan (regresi). Diperkenalkan oleh Leo Breiman pada tahun 1996, bagging menjadi dasar bagi random forests dan sangat efektif untuk mengurangi overfitting pada model dengan varians tinggi.

Intuisi di balik metode

Inti pemikirannya adalah dengan melatih model yang sama pada subset data acak yang berbeda dan merata-ratakan prediksinya, Anda mengurangi varians tanpa meningkatkan bias. Jika sebuah model mengalami overfitting pada sampel latih tertentu, sampel bootstrap yang berbeda akan mengekspos subset yang berbeda dari overfitting ini, dan perataan akan membatalkan pola semu. Bagging bekerja dengan memanfaatkan keacakan: setiap sampel bootstrap sedikit berbeda, sehingga setiap model yang dilatih sedikit berbeda, dan agregatnya lebih stabil daripada model individu mana pun.

Sejarah

Bagging diperkenalkan oleh Leo Breiman pada tahun 1996, dibangun di atas metode bootstrap dari statistik (Efron, 1979). Breiman menunjukkan bahwa bagging mengurangi kesalahan prediksi pembelajar yang tidak stabil dengan mengurangi varians. Metode ini menjadi dasar dengan diperkenalkannya Random Forests (Breiman, 2001), yang menggabungkan bagging dengan pemilihan fitur acak. Bagging tetap menjadi teknik standar dalam pembelajaran mesin, terutama untuk metode ensemble.

Kapan digunakan

Gunakan bagging saat bekerja dengan model varians tinggi (misalnya, pohon keputusan, jaringan saraf) yang cenderung mengalami overfitting. Paling efektif ketika pembelajar dasar tidak stabil—sensitif terhadap perubahan kecil dalam data latih. Bagging kurang efektif untuk model bias rendah, varians rendah (misalnya, k-NN dengan k kecil, regresi linier pada data stabil). Juga sangat cocok untuk komputasi paralel karena setiap pembelajar dasar dapat dilatih secara independen.

Batasan dan pertimbangan

  • Tidak memberikan pengurangan bias; hanya efektif untuk pembelajar dasar varians tinggi.
  • Biaya komputasi berskala linier dengan jumlah pembelajar dasar.
  • Sampel bootstrap kekurangan keragaman dibandingkan dengan strategi pengambilan sampel yang disengaja.
  • Mungkin tidak meningkatkan kinerja ketika model dasar memiliki bias tinggi (misalnya, model linier pada data kompleks).

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mengurangi varians tanpa meningkatkan bias, meningkatkan generalisasi.
  • Bekerja dengan jenis pembelajar dasar apa pun; dapat menggunakan model yang tidak stabil seperti pohon.
  • Mudah diparalelkan—setiap sampel bootstrap dapat diproses secara independen.
  • Memberikan estimasi varians melalui perhitungan kesalahan out-of-bag.
  • Sederhana untuk diimplementasikan dengan penyesuaian hyperparameter minimal.

Penerapan

  • Diagnosis medis: bagging pohon keputusan untuk klasifikasi penyakit guna meningkatkan ketahanan terhadap data pasien yang berisik.
  • Pemodelan risiko keuangan: ensemble pohon keputusan untuk prediksi gagal bayar kredit di berbagai kondisi pasar.
  • Penginderaan jauh: bagging pengklasifikasi gambar untuk mengklasifikasikan citra satelit dengan overfitting yang berkurang.
  • Genomik: metode ensemble untuk pemilihan gen dan prediksi penyakit dari data microarray berdimensi tinggi.
  • Kontrol kualitas manufaktur: bagging jaringan saraf untuk deteksi cacat dalam proses produksi.

Cara kerjanya

Cara kerjanya

1

Buat B sampel bootstrap dengan mengambil sampel secara acak dari data latih dengan penggantian, masing-masing berukuran sama dengan dataset asli.

2

Latih pembelajar dasar independen (misalnya, pohon keputusan, jaringan saraf) pada setiap sampel bootstrap.

3

Untuk input baru, teruskan melalui semua B pembelajar dasar yang terlatih dan kumpulkan prediksinya.

4

Gabungkan prediksi melalui pemungutan suara mayoritas (klasifikasi) atau perataan (regresi).

Kesalahan umum

  • Menggunakan terlalu sedikit pembelajar dasar (B < 20) mengurangi manfaat pengurangan varians; pengembalian yang berkurang biasanya terjadi di sekitar B = 100-500.
  • Melatih pembelajar dasar pada subset yang tumpang tindih (misalnya, pembagian data berurutan) alih-alih sampel bootstrap acak.
  • Mengasumsikan bagging menghilangkan overfitting; itu mengurangi varians tetapi model yang bias tetap bias.
  • Tidak memanfaatkan prediksi out-of-bag untuk validasi, kehilangan alternatif yang efisien untuk validasi silang.

Pertanyaan yang sering diajukan

Berapa banyak sampel bootstrap (B) yang harus saya gunakan?

Mulai dengan B = 50-100 dan pantau kinerja; biasanya, manfaatnya mendatar di sekitar B = 100-500. Tingkatkan B jika pengurangan varians terhenti. Untuk aplikasi kritis, B > 1000 mungkin dibenarkan meskipun biaya komputasi.

Apa itu kesalahan out-of-bag dan bagaimana cara menggunakannya?

Setiap sampel bootstrap mengecualikan sekitar 1/3 data asli (sekitar 36,8% rata-rata). Sampel out-of-bag ini dapat digunakan untuk memvalidasi model tertentu tanpa memerlukan set validasi terpisah. Rata-rata kesalahan out-of-bag di semua model mengestimasi kesalahan generalisasi.

Apakah bagging lebih baik dari validasi silang?

Keduanya melayani tujuan yang berbeda. Validasi silang mengestimasi kinerja model; bagging meningkatkannya. Gunakan bagging untuk melatih ensemble dan estimasi out-of-bag untuk memvalidasi, menghindari overhead validasi silang k-fold.

Bisakah bagging meningkatkan model varians rendah seperti k-NN?

Tidak secara efektif. Bagging dirancang untuk model varians tinggi. Model varians rendah (stabil, sederhana) mendapat sedikit manfaat dari pengurangan varians. Pertimbangkan metode ensemble lain atau fokus pada pengurangan bias sebagai gantinya.

Metode terkait

Sumber

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    Buka referensi DOI
    Disalin.
  2. Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.

    Buka referensi DOI
    Disalin.