LightGBM
- Ortaya koyan
- Ke, G. et al. (Microsoft)
- Yıl
- 2017
- Tür
- Gradient boosting decision tree ensemble
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
LightGBM, Microsoft tarafından 2017'de Ke ve arkadaşları tarafından tanıtılan, ağaçları yaprak-bazlı (leaf-wise) büyüten ve hız için öznitelikleri histogramlara bölen bir gradyan artırma karar ağacı (gradient boosting decision tree) uygulamasıdır.
Büyük veri kümelerinde, güçlü tahmin doğruluğunu korurken XGBoost'tan çok daha hızlıdır.
Yöntemin mantığı
Gradyan artırma, bir seferde bir ağaç oluşturarak çalışır; burada her yeni ağaç, kendinden önceki ağaçların bıraktığı hataları düzeltir. LightGBM bu temel fikri korur ancak onu hızlandırır: sürekli öznitelikler üzerindeki her olası ayırma noktasını test etmek yerine, öznitelik değerlerini sabit sayıda histogram kutusuna (bin) gruplar ve her ağacı seviye seviye büyütmek yerine, her zaman en büyük iyileştirmeyi vaat eden yaprağı büyütür. Sonuç, hızlı yakınsayan ve büyük tablosal verilere ölçeklenen bir modeldir.
Tarih
LightGBM, Microsoft'ta Guolin Ke ve arkadaşları tarafından 2017'de NeurIPS konferansında yayımlanan 'LightGBM: A Highly Efficient Gradient Boosting Decision Tree' başlıklı makalede tanıtılmıştır. İki ayırt edici özelliği — histogram tabanlı öznitelik kutulama (binning) ve yaprak-bazlı (en iyi-ilk) ağaç büyümesi — gradyan artırmayı büyük veri kümelerinde dramatik şekilde daha hızlı ve bellek açısından daha verimli hale getirmek için tasarlanmıştır ve XGBoost ile birlikte tablosal veriler için en yaygın kullanılan artırma kütüphanelerinden biri haline gelmiştir.
Ne zaman kullanılır?
Sürekli, kategorik, ikili veya sıralı özniteliklere ve en az yaklaşık 200 gözleme sahip büyük tablosal veri kümeleri için tahmin, sınıflandırma ve öngörü (forecasting) için güçlü bir seçenektir — kesitsel (cross-sectional), panel veya zaman serisi (time-series) veriler. Eğitim hızı ve ölçeğin önemli olduğu ve düzenleme parametrelerini ayarlayabildiğiniz durumlarda en değerlidir. Yaklaşık 200 gözlemin altında, yaprak-bazlı büyüme aşırı uyuma eğilimindedir ve XGBoost gibi seviye-bazlı bir yöntem veya daha kararlı bir Rastgele Orman (Random Forest) daha güvenlidir.
Sınırlar ve dikkat edilmesi gerekenler
- Yaprak-bazlı büyüme, dikkatlice düzenlenmediği takdirde küçük örneklerde aşırı uyuma neden olur.
- Karmaşıklığı kontrol etmek için num_leaves ve min_data_in_leaf ayarlarının yapılması gerekir.
- Yaklaşık 200 gözlemin altındaki veri kümelerinde seviye-bazlı bir yöntem (XGBoost) veya Rastgele Orman daha güvenilirdir.
- Diğer artırılmış ağaçlar (boosted trees) gibi, doğrudan yorumlanabilir katsayıları olmayan bir kara kutudur.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Histogram tabanlı ayırma sayesinde büyük veri kümelerinde XGBoost'tan çok daha hızlıdır.
- Yaprak-bazlı büyüme hızlı yakınsar ve genellikle yüksek doğruluk elde eder.
- Kategorik öznitelikleri manuel tek-sıcak kodlama olmadan doğrudan işler.
- Kesitsel, panel ve zaman serisi verilerinde tahmin, sınıflandırma ve öngörü için çalışır.
Uygulama alanları
- Büyük tablosal veri kümelerinde tahmin ve sınıflandırma.
- Kesitsel, panel ve zaman serisi verilerinde öngörü görevleri.
- Eğitim süresinin önemli olduğu durumlarda XGBoost'a hızlı, ölçeklenebilir bir alternatif.
- Ağır ön işleme yapmadan çok sayıda kategorik öznitelik içeren verileri modelleme.
Nasıl çalışır?
Nasıl çalışır?
Ağaçlar sıralı olarak eklenir: her yeni ağaç mevcut topluluğun artık hatalarına (residual errors) uyarlanır ve bir öğrenme oranı küçültme (learning-rate shrinkage) ile eklenir, böylece model adım adım kaybını (loss) kademeli olarak azaltır. Kategorik öznitelikler, manuel tek-sıcak kodlama (one-hot encoding) gerektirmeden doğrudan LightGBM'ye beslenebilir.
Formül
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)Sürekli öznitelik değerleri, ayırmadan önce sabit sayıda ayrık histogram kutusuna gruplanır. Algoritma daha sonra her ham değer yerine bu kutular üzerinden en iyi ayırmayı arar; bu, LightGBM'nin büyük verilerde seviye-bazlı (level-wise) uygulamalardan, örneğin XGBoost'tan çok daha hızlı olmasının ana nedenidir.
Tüm yaprakları aynı derinlikte (seviye-bazlı) genişletmek yerine, LightGBM yaprak-bazlı büyür: her zaman en büyük kayıp azaltımını sağlayan yaprağı ayırır. Bu daha hızlı yakınsar ancak küçük örneklerde aşırı uyuma (overfit) neden olabilir, bu nedenle yaprak sayısı (num_leaves) ve yaprak başına minimum veri (min_data_in_leaf) aşırı uyumu düzenlemek (regularise) için ayarlanmalıdır.
Sık yapılan hatalar
- Yaprak-bazlı büyümenin aşırı uyuma neden olduğu küçük bir örneklemde LightGBM kullanmak.
- Num_leaves ve min_data_in_leaf ayarlarını veri boyutuna göre çok izin verici değerlerde bırakmak.
- Kategorik değişkenleri doğrudan LightGBM'ye beslemek yerine manuel olarak tek-sıcak kodlamak.
- Elde tutulan (held-out) veya çapraz doğrulama (cross-validated) değerlendirmesi olmadan örnek içi doğruluğa güvenmek.
Sık sorulan sorular
LightGBM, XGBoost'tan nasıl farklıdır?
Her ikisi de gradyan artırma karar ağacı kütüphaneleridir. LightGBM, histogram tabanlı ayırma ve yaprak-bazlı (en iyi-ilk) ağaç büyümesi kullanır, bu da onu büyük veri kümelerinde çok daha hızlı yapar. XGBoost seviye-bazlı büyür, bu da genellikle küçük örneklerde daha güvenlidir.
LightGBM neden küçük veri kümelerinde aşırı uyuma neden olur?
Yaprak-bazlı büyümesi her zaman en büyük kazancı sağlayan yaprağı ayırır, bu da veriyi boyutuna göre çok fazla yaprağa ayırabilir. Küçük örneklerde (yaklaşık 200 gözlemin altında) bu ciddi aşırı uyuma yol açar, bu nedenle seviye-bazlı bir yöntem veya Rastgele Orman önerilir.
Kategorik değişkenleri tek-sıcak kodlamam gerekir mi?
Hayır. LightGBM kategorik öznitelikleri doğrudan alabilir, bu nedenle manuel tek-sıcak kodlama genellikle gereksizdir ve hatta performansı düşürebilir.
Aşırı uyumu hangi ayarlar kontrol eder?
Yaprak sayısı (num_leaves) ve yaprak başına minimum veri (min_data_in_leaf), temel düzenleme kontrolleridir; bunları sıkılaştırmak, veri boyutuna göre ağaç karmaşıklığını sınırlar.
İlgili yöntemler
Kaynaklar
Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.
Yayın kaynağını açKopyalandı.