Skip to content
Kembali ke hasil pencarian

Ensemble Boosting

Diperkenalkan oleh
Robert Schapire
Tahun
1990
Jenis
sequential ensemble
Keluarga
Ensemble

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Boosting adalah metode ensemble yang secara sekuensial melatih pembelajar lemah (weak learners) dan menggabungkannya menjadi prediktor kuat dengan berfokus pada sampel yang salah diklasifikasikan oleh model sebelumnya.

Setiap pembelajar lemah baru diberi bobot sesuai dengan kesulitan tugas pelatihannya, dan prediksi akhir dibuat melalui pemungutan suara berbobot. Dipelopori oleh Schapire (1990) dan disempurnakan dalam AdaBoost (Freund & Schapire, 1997), boosting mengubah pembelajar lemah (sedikit lebih baik dari acak) menjadi pembelajar kuat melalui pembobotan ulang sekuensial.

Intuisi di balik metode

Ide intinya adalah secara iteratif berfokus pada contoh-contoh sulit: pertama latih model lemah, identifikasi sampel yang salah diklasifikasikan, lalu latih model lemah baru dengan bobot yang ditingkatkan pada sampel yang salah diklasifikasikan tersebut. Ini memaksa setiap model berikutnya untuk mempelajari pola yang terlewat oleh model sebelumnya. Selama iterasi, ensemble menggabungkan model-model lemah yang dibobot berdasarkan akurasinya, menghasilkan prediktor yang kuat. Berbeda dengan bagging (paralel), boosting secara inheren bersifat sekuensial—setiap model bergantung pada kinerja model sebelumnya.

Sejarah

Boosting berasal dari hasil teoretis Schapire tahun 1990 yang menunjukkan bahwa pembelajar lemah dapat digabungkan menjadi pembelajar kuat. AdaBoost (Freund & Schapire, 1997) membuat boosting praktis dengan memperkenalkan pembobotan adaptif. Gradient boosting (Friedman, 2001) menggeneralisasi kerangka kerja, memungkinkan optimasi fungsi kerugian arbitrer. Varian modern seperti XGBoost, LightGBM, dan CatBoost telah menjadi standar industri, memenangkan banyak kompetisi machine learning.

Kapan digunakan

Gunakan boosting ketika Anda memiliki pembelajar lemah dan ingin menggabungkannya menjadi ensemble yang kuat. Ini sangat efektif untuk mengurangi bias dan varians. Boosting bekerja paling baik dengan pembelajar dasar dengan kompleksitas sedang (misalnya, pohon dangkal, kedalaman 3-4) yang dapat ditingkatkan secara iteratif. Hindari boosting jika pembelajar dasar sudah kuat atau jika Anda membutuhkan pelatihan cepat, karena boosting sekuensial mahal secara komputasi.

Batasan dan pertimbangan

  • Pelatihan sekuensial mahal secara komputasi dibandingkan dengan metode paralel seperti bagging.
  • Sensitif terhadap data berisik dan pencilan (memberi bobot berlebih pada contoh sulit).
  • Membutuhkan penyetelan yang cermat terhadap laju pembelajaran, jumlah iterasi, dan kompleksitas pembelajar dasar.
  • Dapat terjadi overfitting jika jumlah iterasi terlalu besar; memerlukan penghentian dini atau pemantauan validasi.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mengurangi bias dan varians, seringkali mencapai generalisasi yang unggul.
  • Mengubah pembelajar lemah menjadi pembelajar kuat melalui pembobotan ulang iteratif.
  • Jaminan teoretis pada pengurangan kesalahan (dalam kondisi tertentu).
  • Bekerja dengan baik dengan pembelajar dasar berbias rendah, bervarians tinggi seperti pohon keputusan.
  • Tahan terhadap fitur yang tidak relevan dan noise dalam data pelatihan.

Penerapan

  • Penilaian risiko kredit: boosting pohon keputusan dangkal untuk mengklasifikasikan peminjam yang layak kredit dengan akurasi yang ditingkatkan.
  • Deteksi wajah: AdaBoost dengan Haar cascades untuk deteksi wajah real-time dalam sistem visi komputer.
  • Klasifikasi teks: gradient boosting untuk analisis sentimen dan kategorisasi dokumen.
  • Diagnosis medis: boosting pengklasifikasi lemah untuk prediksi penyakit dengan sensitivitas dan spesifisitas tinggi.
  • Deteksi penipuan: metode ensemble boosting untuk mendeteksi transaksi penipuan dalam data keuangan.

Cara kerjanya

Cara kerjanya

1

Mulai dengan bobot yang sama untuk semua sampel pelatihan.

2

Untuk setiap iterasi: latih pembelajar lemah (misalnya, pohon keputusan dangkal) pada data pelatihan yang dibobot, hitung tingkat kesalahannya, dan tingkatkan bobot pada sampel yang salah diklasifikasikan.

3

Tetapkan bobot untuk setiap pembelajar lemah berdasarkan akurasinya. Pembelajar yang lebih akurat mendapatkan bobot lebih tinggi; pembelajar lemah (mendekati acak) mendapatkan bobot lebih rendah.

4

Untuk sampel baru, agregasikan prediksi dari semua pembelajar lemah melalui pemungutan suara berbobot, di mana bobot mencerminkan akurasi setiap pembelajar.

Kesalahan umum

  • Menggunakan pembelajar dasar yang kuat (misalnya, pohon keputusan dalam) mengalahkan tujuan boosting; tetap gunakan pembelajar lemah.
  • Pelatihan untuk terlalu banyak iterasi tanpa memantau kesalahan validasi, yang menyebabkan overfitting.
  • Menetapkan laju pembelajaran yang terlalu tinggi, yang menyebabkan ketidakstabilan dalam bobot sampel.
  • Tidak memantau kinerja di luar sampel; boosting dapat overfitting pada noise pelatihan jika tidak terkontrol.

Pertanyaan yang sering diajukan

Apa itu pembelajar lemah dan seberapa lemah seharusnya?

Pembelajar lemah adalah pengklasifikasi dengan tingkat kesalahan hanya di bawah 50% (lebih baik dari tebakan acak). Dalam praktiknya, gunakan model sederhana seperti pohon keputusan dengan kedalaman 2-3 atau pengklasifikasi linier pendek. Jika pembelajar dasar memiliki kesalahan > 45%, boosting akan memperbaikinya; jika < 10%, pembelajar terlalu kuat dan boosting hanya memberikan sedikit nilai.

Berapa banyak iterasi boosting yang harus saya gunakan?

Mulai dengan 50-100 iterasi dan pantau kesalahan validasi. Gunakan penghentian dini (early stopping): jika kesalahan validasi mendatar atau meningkat selama beberapa iterasi, hentikan pelatihan. Untuk produksi, 100-1000 iterasi adalah tipikal tergantung pada ukuran dan kompleksitas data.

Bagaimana boosting berbeda dari bagging?

Bagging melatih pembelajar dasar secara paralel pada subset acak dan merata-ratakan prediksi (tanpa pembobotan). Boosting melatih secara sekuensial, membobot ulang contoh-contoh sulit, dan menggunakan pemungutan suara berbobot. Bagging mengurangi varians; boosting mengurangi bias dan varians. Bagging lebih cepat; boosting lebih kuat.

Mengapa boosting overfitting dengan terlalu banyak iterasi?

Seiring bertambahnya iterasi, bobot pada pencilan tumbuh secara eksponensial, menyebabkan ensemble menyesuaikan noise. Kesalahan pelatihan terus menurun, tetapi kesalahan pengujian dapat meningkat. Pantau kesalahan validasi dan berhenti ketika mulai meningkat, gunakan penghentian dini untuk mencegah overfitting.

Metode terkait

Sumber

  1. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197-227.

    Buka referensi DOI
    Disalin.
  2. Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119-139.

    Buka referensi DOI
    Disalin.