AdaBoost
- Diperkenalkan oleh
- Freund, Y. & Schapire, R.E.
- Tahun
- 1997
- Jenis
- Ensemble (sequential boosting of weak learners)
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
AdaBoost (Adaptive Boosting) adalah algoritma boosting orisinal, yang diperkenalkan oleh Yoav Freund dan Robert Schapire pada tahun 1997, yang menggabungkan serangkaian pembelajar lemah sederhana dengan memberikan bobot lebih pada observasi yang salah diklasifikasikan.
Pendahulu dari gradient boosting, algoritma ini sederhana, dapat diinterpretasikan, dan merupakan baseline yang kuat untuk klasifikasi.
Intuisi di balik metode
Pohon dangkal tunggal adalah pembelajar lemah: hanya sedikit lebih baik daripada menebak. AdaBoost mengubah banyak pembelajar lemah semacam itu menjadi satu prediktor kuat dengan melatihnya satu per satu. Setelah setiap pembelajar dilatih, observasi yang salah diklasifikasikan diberi bobot lebih, sehingga pembelajar berikutnya berfokus pada kasus sulit yang terus salah diklasifikasikan oleh yang lain. Prediksi akhir adalah suara tertimbang, di mana pembelajar yang lebih akurat memiliki bobot lebih.
Sejarah
AdaBoost diperkenalkan oleh Yoav Freund dan Robert Schapire pada tahun 1997 sebagai generalisasi teoretis keputusan dari pembelajaran online yang diterapkan pada boosting. Ini adalah algoritma boosting praktis pertama dan menunjukkan bahwa banyak pembelajar lemah dapat digabungkan menjadi satu pembelajar kuat, sebuah karya yang menjadi dasar bagi seluruh keluarga boosting. Ini adalah pendahulu langsung dari gradient boosting dan alat modern seperti XGBoost.
Kapan digunakan
Cocok untuk klasifikasi dan prediksi pada data tabular cross-sectional dengan fitur kontinu, kategorikal, atau biner dan setidaknya sekitar 50 observasi, ketika Anda menginginkan baseline boosting yang sederhana dan dapat diinterpretasikan. AdaBoost tidak membuat asumsi normalitas, tetapi sensitif terhadap data yang berisik dan outlier, jadi lakukan penyaringan outlier terlebih dahulu. Kontrol jumlah estimator untuk mengelola risiko overfitting yang kecil tetapi tidak nol. Pada sampel kecil, regresi logistik yang lebih sederhana atau Random Forest yang lebih kuat lebih aman.
Batasan dan pertimbangan
- Sensitif terhadap data yang berisik dan outlier karena kerugian eksponensialnya; diperlukan penyaringan outlier.
- Risiko overfitting kecil tetapi tidak nol dan harus dikontrol melalui jumlah estimator.
- Pada sampel kecil (n di bawah sekitar 50) observasi yang berisik menjadi terlalu dibobot dan setiap iterasi dapat memperburuk kinerja.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Sederhana dan dapat diinterpretasikan, dengan sedikit parameter untuk diatur.
- Mengubah pembelajar kedalaman-1 yang lemah menjadi pengklasifikasi yang kuat, baseline siap pakai yang solid.
- Tidak ada asumsi normalitas; menangani fitur kontinu, kategorikal, dan biner.
- Pendahulu dari gradient boosting, dengan mekanisme pembobotan adaptif yang jelas.
Penerapan
- Baseline klasifikasi pada data tabular cross-sectional.
- Tugas prediksi di mana model boosted yang sederhana dan dapat diinterpretasikan lebih disukai.
- Mengajar dan mendemonstrasikan ide boosting sebelum beralih ke gradient boosting.
- Menggabungkan banyak decision stump dangkal menjadi satu pengklasifikasi kuat.
Cara kerjanya
Cara kerjanya
Setiap observasi pelatihan dimulai dengan bobot yang sama. Bobot ini memberi tahu setiap pembelajar lemah berturut-turut seberapa besar ia harus peduli untuk mendapatkan observasi tertentu dengan benar.
Pembelajar lemah — biasanya decision stump, pohon dengan kedalaman 1 — disesuaikan dengan data tertimbang. Karena sangat sederhana, ia sendiri hanya sedikit lebih baik daripada kebetulan.
Akurasi keseluruhan pembelajar menentukan bobotnya dalam suara akhir, dan bobot observasi yang salah diklasifikasikan ditingkatkan sehingga pembelajar berikutnya berkonsentrasi padanya. Fungsi kerugian eksponensial mendorong pembaruan ini: ia menghukum kesalahan klasifikasi pada tingkat yang meningkat tajam, yang juga membuat AdaBoost sensitif terhadap titik yang berisik dan outlier.
Rumus
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])Setelah banyak putaran, pembelajar lemah dikumpulkan menjadi satu prediksi melalui suara mayoritas tertimbang, dengan setiap pembelajar diberi bobot berdasarkan akurasinya. Jumlah dari banyak pembelajar sederhana yang terfokus ini membentuk satu pengklasifikasi kuat.
Rumus
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)Kesalahan umum
- Menjalankan AdaBoost pada data yang penuh dengan outlier tanpa menyaringnya terlebih dahulu.
- Membiarkan jumlah estimator tumbuh tanpa terkendali alih-alih menyetelnya.
- Menggunakannya pada sampel di bawah sekitar 50 observasi, di mana titik-titik yang berisik mendominasi pembobotan.
- Memilih AdaBoost ketika ensemble yang lebih kuat seperti Random Forest lebih cocok untuk data yang berisik.
Pertanyaan yang sering diajukan
Bagaimana AdaBoost berbeda dari Random Forest?
Random Forest membangun banyak pohon independen secara paralel dan merata-ratakannya (bagging); AdaBoost membangun pembelajar lemah secara sekuensial, masing-masing berfokus pada kasus yang salah diklasifikasikan oleh pendahulunya (boosting). Karena fungsi kerugian eksponensialnya, AdaBoost lebih sensitif terhadap noise dan outlier, sementara Random Forest lebih kuat.
Mengapa AdaBoost sensitif terhadap outlier?
Ia menggunakan fungsi kerugian eksponensial yang menghukum kesalahan klasifikasi pada tingkat yang meningkat tajam. Titik yang terus-menerus salah diklasifikasikan — seringkali outlier atau observasi yang berisik — terus mendapatkan bobot, sehingga dapat mendominasi iterasi selanjutnya dan menurunkan kualitas model.
Berapa banyak estimator yang harus saya gunakan?
Jumlah estimator (pembelajar lemah) mengontrol risiko overfitting AdaBoost yang kecil tetapi nyata. Tingkatkan selagi kinerja validasi meningkat, dan berhenti setelah mencapai dataran atau mulai memburuk.
Apa itu pembelajar lemah di sini?
Biasanya decision stump — pohon keputusan dengan kedalaman 1. Sendirian, ia hanya sedikit lebih baik daripada kebetulan, tetapi AdaBoost menggabungkan banyak di antaranya, masing-masing diberi bobot berdasarkan akurasinya, menjadi satu pengklasifikasi kuat.
Metode terkait
Sumber
Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.
Buka referensi DOIDisalin.