İçeriğe atla
Arama sonuçlarına dön

Aktif Öğrenme LightGBM

Ortaya koyan
Settles, B. (active learning); Ke, G. et al. (LightGBM)
Yıl
2017–present
Tür
Hybrid (active learning query strategy + gradient boosting classifier)
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Aktif Öğrenme LightGBM, aktif öğrenmenin sorgu-verimli etiket-seçim stratejisini, histogram tabanlı bir gradyan artırma çerçevesi olan LightGBM'nin hız ve doğruluğu ile birleştirir.

Model, insan etiketlemesi için en bilgilendirici etiketlenmemiş örnekleri iteratif olarak seçer, büyüyen etiketli küme üzerinde LightGBM'yi yeniden eğitir ve pasif denetimli öğrenmeye göre çok daha az etiketli örnekle yüksek doğruluğa yakınsar.

Yöntemin mantığı

Veri etiketlemek pahalıdır. Aktif Öğrenme LightGBM, mevcut LightGBM modelini kullanarak en çok belirsiz olduğu etiketlenmemiş örnekleri – karar sınırına yakın olanlar veya en yüksek tahmin entropisine sahip olanlar – belirleyerek ve yalnızca bu etiketler için bir insan etiketleyiciden yardım isteyerek bu sorunu ele alır. LightGBM'nin eğitimi hızlıdır ve gradyan artırma yoluyla iyi kalibre edilmiş olasılık tahminleri ürettiği için bu belirsizlik sinyali güvenilirdir. Birkaç sorgu turu boyunca model, en çok nereye bilgiye ihtiyaç duyduğunu öğrenir ve minimum etiketleme çabasıyla doğruluk oluşturur.

Tarih

Aktif öğrenme alanı, 1990'ların seçici örnekleme ve sorgu öğrenme üzerine yapılan önceki çalışmalardan yararlanarak Settles (2012) tarafından sistematikleştirilmiştir. LightGBM, histogram tabanlı bölmeler ve yaprak-büyümesi kullanan oldukça verimli bir gradyan artırma uygulaması olarak Ke vd. tarafından NeurIPS 2017'de tanıtılmıştır. Bu ikisinin birleşimi, özellikle biyomedikal metin etiketleme, uzaktan algılama ve endüstriyel kalite kontrol gibi etiketleme maliyetlerinin yüksek olduğu ve tablo veya özellik açısından zengin verilerin bol olduğu alanlarda, yaklaşık 2018'den itibaren uygulamalı makine öğrenmesinde popüler hale geldi.

Ne zaman kullanılır?

Etiketleme maliyetinin birincil kısıtlama olduğu durumlarda Aktif Öğrenme LightGBM'yi kullanın: büyük etiketlenmemiş tablo verisi havuzları mevcuttur ancak her örneği etiketlemek zaman veya para açısından pahalıdır ve LightGBM düzeyinde doğruluk gereklidir. Sınıf dağılımının dengesiz olduğu veya etiketlenmemiş verinin bol olduğu ancak etiketlenmiş verinin kıt olduğu durumlarda üstünlük sağlar. Tüm veri kümesinin ucuza etiketlenebildiği, verinin yalnızca tam etiketlenmiş bir toplu iş olarak geldiği (pasif öğrenme yeterlidir), oracle'ın (etiketleyicinin) etkileşimli olarak güvenilmez veya kullanılamadığı veya her kararın yorumlanabilirliğinin katı bir şekilde gerekli olduğu ve sonradan analiz araçlarının bulunmadığı durumlarda kullanmayın.

Sınırlar ve dikkat edilmesi gerekenler

  • Sorgu stratejisi ve durdurma kriteri dikkatli seçim gerektirir; yanlış seçimler etiketleme bütçesini boşa harcar.
  • Her tur, sıfırdan yeniden eğitimde gecikme getirir; çok sayıda tur içeren büyük veri kümeleri yavaş olabilir.
  • Performans, güvenilir bir oracle'a bağlıdır; gürültülü veya tutarsız insan etiketleri modeli hızla bozar.
  • Artımlı LightGBM eğitimine uyum sağlamadan tamamen akışkan veya çevrimiçi ortamlar için uygun değildir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • En bilgilendirici örneklere odaklanarak etiketleme çabasını önemli ölçüde azaltır.
  • LightGBM'nin hızı, sorgu turları arasında hızlı yeniden eğitime olanak tanır, bu da etkileşimli iş akışlarını pratik hale getirir.
  • Kategorik özellikler dahil olmak üzere yüksek boyutlu tablo verilerini, LightGBM'nin yerel desteği sayesinde iyi bir şekilde işler.
  • Birden çok sorgu stratejisiyle uyumludur (belirsizlik örneklemesi, marj, entropi, komite sorgusu).
  • LightGBM'nin sınıf ağırlığı ve ölçek-pozitif-ağırlık parametreleri aracılığıyla sınıf dengesizliğini doğal olarak ele alır.

Uygulama alanları

  • Tıbbi kayıt etiketleme ve klinik NLP, uzman etiketlemenin pahalı olduğu yerlerde.
  • Kısmi yer gerçeği kapsama alanına sahip uzaktan algılama ve uydu görüntüsü sınıflandırması.
  • Maliyetli manuel inceleme ile tablo sensör verilerinde endüstriyel kusur tespiti.
  • Sınırlı onaylanmış dolandırıcılık etiketleriyle dolandırıcılık tespiti ve risk puanlaması.
  • Tam metin okuma için belgeleri önceliklendirmek üzere sistematik incelemelerde bilimsel literatür taraması.

Nasıl çalışır?

Nasıl çalışır?

1

Rastgele olarak mevcut verilerden etiketlenmiş örneklerden küçük bir başlangıç kümesi çekilir. Bunlar ilk eğitim havuzunu oluşturur. Geri kalan etiketlenmemiş örnekler, modelin sonraki turlarda etiketleme isteyeceği sorgu havuzunu oluşturur.

2

LightGBM, histogram tabanlı yaprak-büyüme ağaç büyümesi kullanılarak mevcut etiketli havuz üzerinde eğitilir; bu, küçük etiketli kümelerde bile hızlı eğitim ve güçlü tahmin performansı sağlar. Etiketlenmemiş havuzdaki tüm örnekler için her sınıf için olasılık tahminleri üretilir.

3

Bir edinim fonksiyonu, her etiketlenmemiş örneği bilgilendiriciliğine göre – yaygın olarak tahmin entropisi H(y|x), marj örneklemesi veya komite sorgusu anlaşmazlığı – puanlar. En yüksek puana sahip örnek(ler), bu turda etiketleme için seçilir.

Formül
x^* = \arg\max_{x \in U}\, H(y \mid x, \mathcal{L})
4

Seçilen örnek(ler) bir insan oracle'ına – bir alan uzmanı, kitle kaynak platformu veya otomatik etiketleyici – sunulur; bu oracle doğru sınıf etiketini sağlar. Bu, harici girdi gerektiren tek adımdır; maliyeti ve güvenilirliği, kaç sorgu turunun uygulanabilir olduğunu doğrudan sınırlar.

5

Yeni etiketlenen örnekler eğitim havuzuna eklenir ve LightGBM sıfırdan yeniden eğitilir (veya desteklendiği yerlerde artımlı olarak güncellenir). Etiketleme bütçesi, doğruluk eşiği veya maksimum sorgu turu sayısına ulaşılana kadar döngü tekrarlanır.

Sık yapılan hatalar

  • Etkin olarak seçilen etiketlenmiş küme üzerinde performansı değerlendirmek, zor örneklere eğilimlidir — AL döngüsünden önce her zaman rastgele bir test kümesi ayırın.
  • Soğuk başlangıç hassasiyetini göz ardı etmek: başlangıç kümesi çok küçük veya temsili değilse, erken sorgular yanıltıcı olabilir.
  • LightGBM'nin kalibrasyonunu kontrol etmeden belirsizlik puanları olarak kalibre edilmemiş olasılıkları kullanmak (Platt ölçeklendirme veya izotonik regresyon yardımcı olur).
  • Etiketlenmiş havuzu, genelleme metriklerini bildirirken i.i.d. olarak ele almak — etkin bir şekilde örneklenen küme, popülasyonun rastgele bir örneği değildir.

Sık sorulan sorular

LightGBM ile hangi sorgu stratejisi en iyi çalışır?

LightGBM doğrudan sınıf olasılıkları ürettiği için tahmin entropisi yoluyla belirsizlik örneklemesi en yaygın başlangıç noktasıdır. Sınıf sayıları çok eşitsiz olduğunda marj örneklemesi (en üst iki sınıf olasılığı arasındaki fark) genellikle daha sağlamdır. Komite sorgusu birden fazla modelin eğitilmesini gerektirir ancak tek bir modelin belirsizlik tahminlerinden kaynaklanan yanlılığı azaltabilir.

Başlamak için kaç etiketli örneğe ihtiyaç var?

Her sınıf için en az bir örnekten oluşan bir başlangıç kümesi gereklidir; pratikte, rastgele seçilmiş 10-50 etiketli örnek, ilk sorgu turu için anlamlı belirsizlik tahminleri üretmek üzere LightGBM'ye yeterli sinyal sağlar.

Her turda LightGBM'yi sıfırdan yeniden eğitmeliyim mi?

Sıfırdan yeniden eğitmek, modelin güncellenmiş etiketli kümeyi tam olarak yansıtmasını sağlar ve standart uygulamadır. Çok büyük veri kümeleri veya çok sayıda tur için, artımlı yaklaşımlar mevcuttur ancak model kaymasını önlemek için dikkat gerektirir.

Ne zaman sorgulamayı bırakacağımı nasıl anlarım?

Yaygın durdurma kuralları şunları içerir: sabit bir etiketleme bütçesine ulaşmak, ayrılmış doğrulama doğruluğunun birkaç tur boyunca platoya ulaşması veya maksimum belirsizlik puanının bir eşiğin altına düşmesi. Tur boyunca rastgele ayrılmış bir test kümesinin performansını izlemek en güvenilir göstergedir.

Aktif Öğrenme LightGBM, yarı denetimli öğrenme ile aynı mı?

Hayır. Yarı denetimli öğrenme, eğitimi doğrudan etiketlenmemiş verileri kullanır (örneğin, sözde etiketler veya tutarlılık düzenlemesi). Aktif öğrenme, seçilen etiketlenmemiş örnekler için gerçek etiketleri elde etmek üzere bir insan oracle'ına sorgu yapar; sorgulanmayan etiketlenmemiş veri, eğitim için basitçe kullanılmaz.

İlgili yöntemler

Kaynaklar

  1. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.

    DOI kaynağını aç
    Kopyalandı.
  2. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q., & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems, 30, 3146–3154.

    Yayın kaynağını aç
    Kopyalandı.