Skip to content
Kembali ke hasil pencarian

LightGBM

Diperkenalkan oleh
Ke, G. et al. (Microsoft)
Tahun
2017
Jenis
Gradient boosting decision tree ensemble

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

LightGBM adalah implementasi decision tree gradient boosting dari Microsoft, diperkenalkan oleh Ke dan rekan pada tahun 2017, yang menumbuhkan pohon secara leaf-wise (dari daun ke daun) dan mengelompokkan fitur ke dalam histogram untuk kecepatan.

Pada dataset besar, ini jauh lebih cepat daripada XGBoost sambil mempertahankan akurasi prediksi yang kuat.

Intuisi di balik metode

Gradient boosting membangun ensemble satu pohon pada satu waktu, di mana setiap pohon baru memperbaiki kesalahan yang ditinggalkan oleh pohon sebelumnya. LightGBM mempertahankan ide inti ini tetapi membuatnya cepat: alih-alih menguji setiap kemungkinan titik pemisahan pada fitur kontinu, ia mengelompokkan nilai fitur ke dalam sejumlah bin histogram yang tetap, dan alih-alih menumbuhkan setiap pohon level demi level, ia selalu menumbuhkan daun yang menjanjikan peningkatan terbesar. Hasilnya adalah model yang konvergen dengan cepat dan dapat diskalakan ke data tabular besar.

Sejarah

LightGBM diperkenalkan oleh Guolin Ke dan rekan-rekannya di Microsoft dalam makalah NeurIPS 2017, 'LightGBM: A Highly Efficient Gradient Boosting Decision Tree.' Dua pilihan pembedanya — pengelompokan fitur berbasis histogram dan pertumbuhan pohon leaf-wise (best-first) — dirancang untuk membuat gradient boosting jauh lebih cepat dan lebih efisien memori pada dataset besar, dan ini menjadi salah satu pustaka boosting yang paling banyak digunakan untuk data tabular bersama dengan XGBoost.

Kapan digunakan

Pilihan yang kuat untuk prediksi, klasifikasi, dan peramalan pada dataset tabular besar — cross-sectional, panel, atau time-series — dengan fitur kontinu, kategorikal, biner, atau ordinal dan setidaknya sekitar 200 observasi. Ini paling berharga ketika kecepatan dan skala pelatihan penting dan Anda dapat menyetel regularisasi. Di bawah sekitar 200 observasi, pertumbuhan leaf-wise cenderung overfitting parah, dan metode level-wise seperti XGBoost atau Random Forest yang lebih stabil lebih aman.

Batasan dan pertimbangan

  • Pertumbuhan leaf-wise overfitting pada sampel kecil kecuali diatur secara hati-hati.
  • Memerlukan penyetelan num_leaves dan min_data_in_leaf untuk mengontrol kompleksitas.
  • Pada dataset di bawah sekitar 200 observasi, metode level-wise (XGBoost) atau Random Forest lebih andal.
  • Seperti pohon boosted lainnya, ini adalah black box tanpa koefisien yang dapat diinterpretasikan secara langsung.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Jauh lebih cepat daripada XGBoost pada dataset besar berkat pemisahan berbasis histogram.
  • Pertumbuhan leaf-wise konvergen dengan cepat dan sering mencapai akurasi tinggi.
  • Menangani fitur kategorikal secara langsung, tanpa pengkodean one-hot manual.
  • Bekerja untuk prediksi, klasifikasi, dan peramalan di seluruh data cross-sectional, panel, dan time-series.

Penerapan

  • Prediksi dan klasifikasi pada dataset tabular besar.
  • Tugas peramalan pada data cross-sectional, panel, dan time-series.
  • Alternatif yang cepat dan skalabel untuk XGBoost ketika waktu pelatihan penting.
  • Pemodelan data dengan banyak fitur kategorikal tanpa pra-pemrosesan yang berat.

Cara kerjanya

Cara kerjanya

1

Pohon ditambahkan secara sekuensial: setiap pohon baru disesuaikan dengan kesalahan residual dari ensemble saat ini dan ditambahkan dengan penyusutan learning-rate, sehingga model secara bertahap mengurangi loss-nya langkah demi langkah. Fitur kategorikal dapat dimasukkan ke LightGBM secara langsung tanpa pengkodean one-hot manual.

Rumus
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)
2

Nilai fitur kontinu dikelompokkan ke dalam sejumlah bin histogram diskrit yang tetap sebelum pemisahan. Algoritma kemudian mencari pemisahan terbaik atas bin-bin ini daripada setiap nilai mentah, yang merupakan alasan utama LightGBM jauh lebih cepat daripada implementasi level-wise seperti XGBoost pada data besar.

3

Alih-alih memperluas semua daun pada kedalaman yang sama (level-wise), LightGBM tumbuh secara leaf-wise: ia selalu memisahkan daun yang menghasilkan pengurangan loss terbesar. Ini konvergen lebih cepat tetapi dapat overfitting pada sampel kecil, sehingga jumlah daun (num_leaves) dan data minimum per daun (min_data_in_leaf) harus diatur untuk mergulasi pohon.

Kesalahan umum

  • Menggunakan LightGBM pada sampel kecil di mana pertumbuhan leaf-wise sangat overfitting.
  • Membiarkan num_leaves dan min_data_in_leaf pada nilai yang terlalu permisif untuk ukuran data.
  • Melakukan one-hot encoding variabel kategorikal secara manual alih-alih memberikannya langsung ke LightGBM.
  • Mempercayai akurasi in-sample tanpa evaluasi yang ditahan atau cross-validated.

Pertanyaan yang sering diajukan

Bagaimana LightGBM berbeda dari XGBoost?

Keduanya adalah pustaka decision tree gradient boosting. LightGBM menggunakan pemisahan berbasis histogram dan pertumbuhan pohon leaf-wise (best-first), yang membuatnya jauh lebih cepat pada dataset besar. XGBoost tumbuh secara level-wise, yang seringkali lebih aman pada sampel yang lebih kecil.

Mengapa LightGBM overfitting pada dataset kecil?

Pertumbuhan leaf-wise-nya selalu memisahkan daun dengan gain terbesar, yang dapat memecah data menjadi terlalu banyak daun relatif terhadap ukurannya. Pada sampel kecil (di bawah sekitar 200 observasi) ini menyebabkan overfitting serius, sehingga metode level-wise atau Random Forest direkomendasikan.

Apakah saya perlu melakukan one-hot encoding variabel kategorikal?

Tidak. LightGBM dapat menerima fitur kategorikal secara langsung, sehingga pengkodean one-hot manual biasanya tidak diperlukan dan bahkan dapat menurunkan kinerja.

Pengaturan mana yang mengontrol overfitting?

Jumlah daun (num_leaves) dan data minimum per daun (min_data_in_leaf) adalah kontrol regularisasi utama; memperketatnya membatasi kompleksitas pohon relatif terhadap ukuran dataset.

Metode terkait

Sumber

  1. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.

    Buka referensi publikasi
    Disalin.