Boosting
- Diperkenalkan oleh
- Schapire, R. E.; Freund, Y.
- Tahun
- 1990–1997
- Jenis
- Sequential ensemble (iterative reweighting)
- Keluarga
- Machine learning
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Boosting adalah teknik ansambel sekuensial yang mengubah banyak pembelajar sederhana yang hampir tidak lebih baik dari tebakan acak menjadi satu model yang sangat akurat dengan berulang kali memfokuskan pelatihan pada contoh-contoh yang salah diklasifikasikan oleh pembelajar sebelumnya, kemudian menggabungkan semua pembelajar dengan bobot yang sebanding dengan akurasi masing-masing.
Intuisi di balik metode
Bayangkan menilai ujian dan mengembalikannya kepada siswa untuk direvisi: setiap putaran, siswa menghabiskan waktu ekstra untuk pertanyaan yang mereka lewatkan. Boosting bekerja dengan cara yang sama — setelah setiap pembelajar lemah dilatih, contoh yang salah diklasifikasikan menerima bobot yang lebih tinggi sehingga pembelajar berikutnya berkonsentrasi pada kasus-kasus sulit. Jawaban akhir adalah suara tertimbang dari semua pembelajar, di mana pembelajar yang lebih akurat dihitung lebih banyak. Koreksi iteratif inilah yang membuat boosting jauh lebih kuat daripada satu model sederhana.
Sejarah
Landasan teoretis boosting diletakkan oleh Robert Schapire pada tahun 1990, yang membuktikan bahwa kemampuan belajar lemah menyiratkan kemampuan belajar kuat. Freund dan Schapire kemudian memperkenalkan AdaBoost pada tahun 1997, algoritma praktis pertama, yang dengan cepat menjadi hasil penting dalam machine learning. Friedman menggeneralisasi pendekatan tersebut sebagai gradient boosting pada tahun 2001, membingkai pembelajaran ansambel sekuensial sebagai gradient descent dalam ruang fungsi. Garis keturunan ini menghasilkan XGBoost (2016), LightGBM (2017), dan CatBoost (2018), yang kini mendominasi tolok ukur machine learning kompetitif pada data tabular.
Kapan digunakan
Gunakan boosting ketika Anda membutuhkan akurasi prediksi tinggi pada tugas klasifikasi atau regresi tabular dan memiliki dataset berlabel yang ukurannya cukup (biasanya setidaknya 50–100 observasi per kelas). Metode ini unggul pada data terstruktur dengan hubungan nonlinier yang kompleks dan menangani tipe fitur campuran dengan baik. Implementasi konkret — AdaBoost untuk klasifikasi, gradient boosting untuk regresi dan klasifikasi — adalah pilihan yang umum. Hindari boosting ketika kualitas data buruk atau label berisik, karena penyesuaian bobot sekuensial secara agresif memperkuat label berisik, yang mengarah pada overfitting. Hindari juga ketika model yang sederhana dan dapat diinterpretasikan dengan koefisien eksplisit diperlukan (misalnya, untuk pelaporan peraturan atau klinis), atau ketika waktu pelatihan sangat terbatas.
Batasan dan pertimbangan
- Sangat sensitif terhadap label berisik dan outlier: peningkatan bobot contoh sulit memperkuat titik yang salah label.
- Rentan terhadap overfitting pada dataset kecil kecuali regularisasi (learning rate, kedalaman pohon, subsampling) disetel dengan hati-hati.
- Pelatihan sekuensial secara inheren lebih lambat untuk diparalelkan daripada metode berbasis bagging seperti random forest.
- Membutuhkan penyetelan hyperparameter yang cermat (jumlah putaran, learning rate, kedalaman pohon) untuk mewujudkan keunggulan akurasinya.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Mencapai akurasi mutakhir pada data tabular, sering kali mengungguli random forest ketika disetel.
- Secara otomatis berfokus pada contoh sulit melalui penyesuaian bobot iteratif, membuatnya efektif pada data tidak seimbang dengan fungsi kerugian yang sesuai.
- Bekerja dengan berbagai pembelajar dasar; pohon dangkal (stump) adalah pilihan yang umum dan efektif.
- Ekstensi gradient boosting mendukung berbagai fungsi kerugian untuk regresi, peringkat, dan klasifikasi.
- Implementasi modern (XGBoost, LightGBM, CatBoost) sangat dioptimalkan dan diskalakan ke dataset besar.
Penerapan
- Klasifikasi biner dan multikelas pada data tabular di bidang keuangan, kesehatan, dan pemasaran.
- Tugas regresi seperti prediksi harga rumah atau peramalan permintaan.
- Tingkat klik tayang (click-through rate) dan masalah peringkat dalam pengambilan informasi.
- Deteksi penipuan dan penilaian anomali di mana akurasi pada kejadian langka sangat penting.
- Seleksi fitur dan peringkat kepentingan variabel dalam analisis eksploratif.
Cara kerjanya
Cara kerjanya
Semua contoh pelatihan dimulai dengan bobot yang sama, sehingga masing-masing memiliki kemungkinan yang sama untuk memengaruhi pembelajar lemah pertama. Inisialisasi seragam ini memastikan putaran pertama adalah pandangan data yang tidak bias.
Rumus
w_i^{(1)} = 1/n \; \forall iPembelajar lemah — sering kali pohon keputusan dangkal (stump) — disesuaikan untuk meminimalkan kesalahan pelatihan tertimbang. Contoh yang salah diklasifikasikan, yang membawa bobot lebih tinggi, menarik pembelajar untuk memperbaiki kesalahan putaran sebelumnya.
Rumus
h_t = \arg\min_{h} \sum_i w_i^{(t)} \mathbf{1}[h(x_i) \neq y_i]Setiap pembelajar menerima koefisien kontribusi yang sebanding dengan akurasi log-odds-nya. Pembelajar dengan kesalahan tertimbang rendah mendapatkan koefisien besar; yang berkinerja mendekati tebakan acak mendapatkan koefisien mendekati nol dan hampir tidak memengaruhi ansambel.
Rumus
\alpha_t = \frac{1}{2} \ln\!\left(\frac{1 - \epsilon_t}{\epsilon_t}\right)Bobot contoh yang diklasifikasikan dengan benar dikurangi dan bobot contoh yang salah diklasifikasikan ditingkatkan. Penyesuaian bobot ulang ini memaksa pembelajar berikutnya untuk fokus secara tidak proporsional pada contoh-contoh yang masih salah diklasifikasikan oleh ansambel.
Rumus
w_i^{(t+1)} \propto w_i^{(t)} \exp(-\alpha_t y_i h_t(x_i))Prediksi akhir adalah tanda dari jumlah tertimbang dari keluaran semua pembelajar. Setiap pembelajar memberikan suara secara proporsional dengan koefisiennya, sehingga ansambel menghasilkan satu pengklasifikasi kuat dari banyak yang lemah.
Rumus
H(x) = \text{sign}\!\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)Kesalahan umum
- Pelatihan dengan learning rate tinggi dan banyak putaran pada dataset kecil tanpa penghentian dini, menyebabkan overfitting parah.
- Mengabaikan kebisingan label sebelum pelatihan — boosting akan menyesuaikan label berisik lebih keras daripada metode lainnya.
- Melewatkan validasi silang dan hanya melaporkan kesalahan pelatihan dalam sampel.
- Menggunakan hyperparameter default dari tutorial tanpa menyesuaikan ukuran dataset atau keseimbangan kelas.
- Memilih boosting ketika tujuannya adalah model yang dapat diinterpretasikan dengan koefisien fitur eksplisit.
Pertanyaan yang sering diajukan
Apa perbedaan antara boosting dan bagging (random forest)?
Bagging melatih pohon independen secara paralel pada sampel bootstrap dan merata-ratakan prediksinya, yang terutama mengurangi varians. Boosting melatih pohon secara sekuensial, masing-masing memperbaiki kesalahan yang sebelumnya, terutama mengurangi bias. Boosting sering kali mencapai akurasi yang lebih tinggi tetapi lebih rentan terhadap overfitting pada data berisik.
Algoritma boosting mana yang harus saya gunakan?
AdaBoost adalah titik awal yang baik untuk klasifikasi biner. Untuk sebagian besar tugas regresi atau klasifikasi tabular, implementasi gradient boosting seperti XGBoost, LightGBM, atau CatBoost adalah pilihan praktis; mereka menambahkan regularisasi dan diskalakan lebih baik daripada AdaBoost asli.
Bagaimana cara mencegah overfitting dengan boosting?
Gunakan learning rate rendah (0.01–0.1) dikombinasikan dengan jumlah putaran yang lebih besar dan terapkan penghentian dini pada set validasi yang terpisah. Juga regularisasi kedalaman pohon (max_depth 3–6 adalah tipikal) dan pertimbangkan subsampling baris dan kolom per pohon.
Bisakah boosting menangani ketidakseimbangan kelas?
Ya, kerangka kerja gradient boosting memungkinkan Anda mengatur bobot kelas atau menggunakan fungsi kerugian kustom. Penyesuaian bobot alami AdaBoost juga membantu, tetapi juga dapat memperkuat kebisingan di kelas minoritas, jadi pra-pemrosesan (oversampling atau undersampling) mungkin masih bermanfaat.
Apakah boosting dapat diinterpretasikan?
Ansambel boosting tidak dapat diinterpretasikan secara langsung seperti model linier. Namun, skor kepentingan fitur bawaan dan alat post-hoc seperti nilai SHAP dapat menjelaskan prediksi individu, membuatnya dapat diterima dalam banyak konteks penelitian terapan.
Metode terkait
Sumber
Freund, Y. & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119–139.
Buka referensi DOIDisalin.Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197–227.
Buka referensi DOIDisalin.