Skip to content
Kembali ke hasil pencarian

XGBoost

Diperkenalkan oleh
Chen, T. & Guestrin, C.
Tahun
2016
Jenis
Ensemble (gradient-boosted decision trees)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

XGBoost (Extreme Gradient Boosting) adalah algoritma *tree-boosting* yang dapat diskalakan, diperkenalkan oleh Tianqi Chen dan Carlos Guestrin pada tahun 2016.

Algoritma ini membangun prediktor yang kuat dengan menambahkan pohon keputusan satu per satu, di mana setiap pohon memperbaiki kesalahan yang ditinggalkan oleh pohon sebelumnya, dan merupakan metode prediksi yang ampuh yang banyak digunakan dalam kompetisi.

Intuisi di balik metode

Alih-alih menumbuhkan banyak pohon independen dan merata-ratakannya, XGBoost menumbuhkan pohon secara berurutan: setiap pohon baru berfokus pada kasus-kasus yang masih salah diprediksi oleh model saat ini. Langkah demi langkah, ansambel tersebut mengurangi kesalahan yang tersisa, sementara penalti regularisasi menjaga agar pohon-pohon individual tetap sederhana sehingga model gabungan melakukan generalisasi daripada menghafal data pelatihan.

Sejarah

XGBoost diperkenalkan oleh Tianqi Chen dan Carlos Guestrin dalam makalah mereka tahun 2016 'XGBoost: A Scalable Tree Boosting System' di ACM SIGKDD. Dengan menggabungkan *gradient boosting* pohon keputusan yang diregularisasi dengan implementasi yang dapat diskalakan dan efisien, algoritma ini menjadi salah satu algoritma prediksi yang paling banyak diadopsi, terutama menonjol dalam kompetisi ilmu data.

Kapan digunakan

Gunakan XGBoost untuk klasifikasi atau prediksi akurat pada data tabular dengan fitur kontinu, kategorikal, biner, atau hitungan (*count*) dan setidaknya sekitar 100 observasi, ketika kinerja prediktif adalah prioritas. Algoritma ini tidak memerlukan data yang terdistribusi normal; data yang cukup dan *feature engineering* yang cermat adalah asumsi praktis utama. Dengan kurang dari ~100 kasus, *gradient boosting* cenderung mengalami *overfitting* dan model yang lebih sederhana (seperti regresi logistik atau pohon keputusan tunggal) lebih dapat diandalkan.

Batasan dan pertimbangan

  • Membutuhkan data yang cukup — sekitar 100+ observasi — atau akan terjadi *overfitting* dan hasil validasi silang menjadi tidak dapat diandalkan.
  • Pada sampel kecil, tidak ada cukup data untuk menyetel banyak *hyperparameter*, sehingga model yang lebih sederhana melakukan generalisasi lebih baik.
  • Banyak *hyperparameter* dan ansambel *black-box* membuatnya lebih sulit untuk disiapkan dan diinterpretasikan daripada model tunggal.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Akurasi prediktif yang kuat pada data tabular, itulah sebabnya algoritma ini sangat umum dalam kompetisi.
  • Regularisasi bawaan memberi penalti pada kompleksitas pohon dan membantu mengontrol *overfitting*.
  • Mentolerir nilai yang hilang dan menangani tipe fitur campuran (kontinu, kategorikal, biner, hitungan).
  • Dapat diskalakan dengan baik dan mendapat manfaat langsung dari *feature engineering*.

Penerapan

  • Klasifikasi dan prediksi pada data tabular dengan banyak fitur.
  • Pemodelan prediktif tingkat kompetisi di mana akurasi adalah yang terpenting.
  • Tugas penilaian risiko (*risk scoring*) dan prediksi pada fitur kontinu, kategorikal, biner, dan hitungan.
  • Masalah pemodelan di mana nilai yang hilang dan fitur yang direkayasa (*engineered features*) umum terjadi.

Cara kerjanya

Cara kerjanya

1

XGBoost adalah metode *gradient-boosting*: algoritma ini menggabungkan banyak pohon keputusan yang dangkal menjadi satu ansambel. Pohon-pohon ditambahkan satu per satu, dan setiap pohon baru disesuaikan untuk mengurangi kesalahan prediksi yang tersisa setelah pohon-pohon yang sudah ada dalam model.

2

Model ini meminimalkan tujuan yang menjumlahkan suku kerugian (*loss term*) yang mengukur kesesuaian dengan data ditambah suku regularisasi (*regularisation term*) yang memberi penalti pada kompleksitas pohon. Penalti kompleksitas eksplisit inilah yang membantu XGBoost mengontrol *overfitting* sambil tetap menyesuaikan hubungan nonlinier yang fleksibel.

Rumus
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)
3

Pada setiap putaran *boosting*, prediksi saat ini diperbarui dengan menambahkan keluaran dari pohon yang baru disesuaikan. Setiap pohon dipilih untuk menggerakkan prediksi ke arah yang paling mengurangi tujuan (*objective*), sehingga akurasi ansambel meningkat dari putaran ke putaran.

Rumus
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)
4

Setelah semua putaran, prediksi akhir adalah jumlah kontribusi dari setiap pohon, yang digunakan untuk klasifikasi atau prediksi target. Karena model mentolerir nilai yang hilang (*missing values*) dan mendapat manfaat dari *feature engineering*, algoritma ini berkinerja kuat pada data tabular setelah jumlah observasi yang memadai tersedia.

Kesalahan umum

  • Menerapkan algoritma pada sampel kecil (n < 100) di mana *gradient boosting* mengalami *overfitting* dan perkiraan validasi silang (*cross-validation*) tidak dapat dipercaya.
  • Melewatkan penyetelan *hyperparameter* melalui validasi silang (misalnya, pencarian grid) dan menerima pengaturan default.
  • Membiarkan penanganan nilai yang hilang dan pengkodean kategorikal tidak diputuskan meskipun XGBoost mentolerir celah.
  • Gagal menyiapkan pembagian data latih/uji (*train/test split*) yang tepat atau validasi silang k-lipat (*k-fold cross-validation*) sebelum melaporkan kinerja.

Pertanyaan yang sering diajukan

Berapa banyak data yang dibutuhkan XGBoost?

Sekitar 100 observasi adalah minimum yang masuk akal. Dengan kurang dari 100 kasus, *gradient boosting* cenderung mengalami *overfitting* dan hasil validasi silang menjadi tidak dapat diandalkan, sehingga model yang lebih sederhana seperti regresi logistik atau pohon keputusan tunggal lebih dapat diandalkan.

Apakah XGBoost memerlukan data yang terdistribusi normal?

Tidak. Algoritma ini tidak membuat asumsi normalitas dan bekerja dengan fitur kontinu, kategorikal, biner, dan hitungan. Persyaratan praktis utama adalah memiliki data yang cukup dan melakukan *feature engineering* yang cermat.

Bagaimana XGBoost berbeda dari Random Forest?

Random Forest menumbuhkan pohon secara independen dan merata-ratakannya untuk mengurangi varians. XGBoost menumbuhkan pohon secara berurutan, masing-masing memperbaiki kesalahan pohon sebelumnya, dan menambahkan penalti regularisasi pada kompleksitas pohon, yang dapat mencapai akurasi lebih tinggi dengan penyetelan yang cermat.

Bagaimana cara menginterpretasikan model XGBoost?

Karena model ini adalah ansambel dari banyak pohon, kontribusi biasanya diperiksa dengan analisis atribusi fitur (*feature-attribution analysis*) seperti SHAP, bersama dengan metrik set uji (*test-set metrics*) seperti RMSE atau AUC dan penyetelan *hyperparameter* yang divalidasi silang.

Metode terkait

Sumber

  1. Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.

    Buka referensi DOI
    Disalin.