Skip to content
Kembali ke hasil pencarian

Peningkatan Gradien

Diperkenalkan oleh
Friedman, J. H.
Tahun
2001
Jenis
Ensemble (sequential boosting of decision trees)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Peningkatan Gradien adalah metode pembelajaran ensemble, yang diformalkan oleh Jerome H. Friedman pada tahun 2001, yang menggabungkan urutan pembelajar lemah — biasanya pohon keputusan dangkal — sedemikian rupa sehingga setiap pohon baru disesuaikan untuk meminimalkan kesalahan residual dari pohon-pohon sebelumnya.

Ini adalah algoritma inti di balik implementasi populer seperti XGBoost, LightGBM, dan CatBoost.

Intuisi di balik metode

Daripada membangun satu model kuat sekaligus, Peningkatan Gradien membangun banyak pohon kecil secara berurutan, di mana setiap pohon baru berfokus pada kesalahan yang masih dibuat oleh ensemble saat ini. Dengan berulang kali mendorong prediksi ke arah yang paling mengurangi kesalahan yang tersisa, serangkaian pembelajar lemah bertambah menjadi satu prediktor yang sangat akurat.

Sejarah

Peningkatan Gradien diformalkan oleh Jerome H. Friedman dalam makalahnya tahun 2001 *Greedy Function Approximation: A Gradient Boosting Machine*, yang membingkai *boosting* sebagai penurunan gradien dalam ruang fungsi. Gagasan — menambahkan pembelajar lemah yang masing-masing menyesuaikan residual dari ensemble saat ini — menjadi dasar bagi algoritma data tabular yang paling sukses dalam praktik, termasuk XGBoost, LightGBM, dan CatBoost.

Kapan digunakan

Pilihan yang kuat untuk klasifikasi dan prediksi yang akurat pada data tabular berpotongan atau panel dengan setidaknya sekitar 100 observasi, di seluruh fitur kontinu, kategorikal, biner, dan ordinal. Penskalakan fitur umumnya tidak diperlukan, tetapi penyetelan *hyperparameter* jumlah pohon, laju pembelajaran, dan kedalaman maksimum sangat penting, dan penghentian dini direkomendasikan untuk melindungi dari *overfitting*. Dengan kurang dari sekitar 100 observasi, pohon berurutan cenderung menghafal *noise*, dan Hutan Acak atau pohon keputusan tunggal lebih aman.

Batasan dan pertimbangan

  • Penyetelan *hyperparameter* jumlah pohon, laju pembelajaran, dan kedalaman maksimum sangat penting dan memakan waktu.
  • Peningkatan berurutan rentan terhadap *overfitting* jika tidak diregularisasi, itulah sebabnya penghentian dini direkomendasikan.
  • Pada sampel kecil (n di bawah sekitar 100), pohon berurutan menghafal *noise*, dan bahkan penghentian dini pun tidak cukup.
  • Dengan data yang terlalu sedikit, tidak ada cukup materi validasi silang untuk mengoptimalkan *hyperparameter* secara andal.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Akurasi prediksi yang sangat tinggi pada data tabular baik untuk klasifikasi maupun prediksi.
  • Penskalakan fitur umumnya tidak diperlukan, dan metode ini menangani fitur kontinu, kategorikal, biner, dan ordinal.
  • Membentuk algoritma inti di balik pustaka yang banyak digunakan seperti XGBoost, LightGBM, dan CatBoost.
  • Penghentian dini dan laju pembelajaran yang kecil memberikan kontrol halus atas *trade-off bias–variance*.

Penerapan

  • Klasifikasi dan prediksi akurasi tinggi pada data tabular berpotongan dan panel.
  • Penilaian risiko dan prediksi hasil di mana kinerja prediksi maksimum adalah prioritas.
  • Pemodelan hubungan nonlinier yang kompleks di antara fitur-fitur bertipe campuran tanpa penskalakan manual.
  • Berfungsi sebagai mesin di balik pustaka *gradient-boosting* produksi seperti XGBoost dan LightGBM.

Cara kerjanya

Cara kerjanya

1

Peningkatan Gradien melatih pembelajar lemah — biasanya pohon keputusan dangkal — satu per satu daripada secara independen. Ensemble dimulai dari tebakan awal yang sederhana, dan setiap pohon berikutnya ditambahkan untuk memperbaiki apa yang masih salah dilakukan oleh model saat ini, sehingga akurasi meningkat selangkah demi selangkah.

2

Pada setiap putaran, metode ini melihat kesalahan residual dari ensemble saat ini dan menyesuaikan pohon berikutnya ke residual tersebut (gradien negatif dari kerugian). Pohon baru ditambahkan dengan bobot laju pembelajaran yang kecil, sehingga prediksi diperbarui dengan hati-hati: F_m(x) = F_{m-1}(x) + nu * h_m(x). Koreksi berurutan yang dipandu gradien inilah yang memberi metode ini nama dan akurasinya.

Rumus
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)
3

Prediksi akhir adalah jumlah dari perkiraan awal dan semua koreksi pohon kecil yang terakumulasi sepanjang jalan. Karena pohon ditambahkan secara serakah untuk mengejar kesalahan yang tersisa, penyetelan jumlah pohon, laju pembelajaran, dan kedalaman pohon — bersama dengan penghentian dini — sangat penting untuk menghindari *overfitting*.

Kesalahan umum

  • Melewatkan penghentian dini dan membiarkan peningkatan berjalan terlalu banyak putaran hingga terjadi *overfitting*.
  • Menetapkan laju pembelajaran terlalu tinggi sehingga setiap pohon melakukan koreksi berlebihan alih-alih mendorong prediksi dengan lembut.
  • Menerapkannya pada sampel di bawah sekitar 100 observasi di mana pohon berurutan menghafal *noise*.
  • Menerima *hyperparameter* default alih-alih menyetel *n_estimators*, *learning_rate*, dan *max_depth*.
  • Memperlakukannya sebagai model yang membutuhkan penskalakan fitur seperti model berbasis jarak, padahal penskalakan umumnya tidak diperlukan.

Pertanyaan yang sering diajukan

Bagaimana Peningkatan Gradien berbeda dari Hutan Acak?

Hutan Acak membangun banyak pohon independen secara paralel dan merata-ratakannya, sedangkan Peningkatan Gradien membangun pohon secara berurutan, masing-masing disesuaikan untuk memperbaiki kesalahan residual dari pohon sebelumnya. *Boosting* sering kali mencapai akurasi yang lebih tinggi tetapi lebih sensitif terhadap *overfitting* dan membutuhkan penyetelan yang cermat.

Mengapa penghentian dini direkomendasikan?

Karena setiap pohon baru mengejar kesalahan yang tersisa, proses *boosting* yang terlalu lama mulai menyesuaikan *noise*. Penghentian dini menghentikan pelatihan setelah kinerja validasi berhenti meningkat, yang merupakan perlindungan utama terhadap *overfitting*.

Apakah saya perlu menskalakan fitur saya?

Penskalakan fitur umumnya tidak diperlukan untuk peningkatan gradien berbasis pohon, karena pemisahan bergantung pada urutan daripada besaran. Tombol kritisnya justru adalah jumlah pohon, laju pembelajaran, dan kedalaman pohon.

Berapa ukuran sampel yang saya butuhkan?

Setidaknya sekitar 100 observasi. Di bawah itu, pohon berurutan menghafal *noise* dan bahkan penghentian dini pun tidak cukup, sehingga Hutan Acak atau pohon keputusan tunggal adalah pilihan yang lebih aman.

Metode terkait

Sumber

  1. Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.

    Buka referensi DOI
    Disalin.