Aktif Öğrenme Gradyan Artırma
- Ortaya koyan
- Settles, B. (active learning); Friedman, J. H. (gradient boosting); combined framework developed by the research community
- Yıl
- 2000s–2010s
- Tür
- Active learning framework with gradient boosting base learner
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Aktif Öğrenme Gradyan Artırma, gradyan artırılmış ağaçların güçlü tahmin doğruluğunu, insan etiketlemesi için en bilgilendirici etiketsiz örnekleri seçen bir aktif öğrenme döngüsüyle birleştirir.
Yalnızca modelin en çok emin olmadığı örnekleri sorgulayarak, yöntem pasif denetimli öğrenmeye göre çok daha az etiketlenmiş örnekle yüksek doğruluk elde eder.
Yöntemin mantığı
Veri etiketlemek pahalıdır. Aktif öğrenme, hangi örneklerin bir sonraki etiketlenmeye değer olduğuna modelin karar vermesine izin vererek buna çözüm sunar — tipik olarak modelin en emin olmadığı örnekler. Tabular verilerde güçlü doğruluğuyla bilinen gradyan artırma, bu döngüde temel öğrenici olarak hizmet eder. Her etiketleme turundan sonra, artırılmış model büyüyen etiketli küme üzerinde yeniden eğitilir ve yine en emin olunmayan etiketsiz noktaları belirler. Sonuç, pasif eğitimin gerektireceği etiketli verinin çok küçük bir kısmı ile oluşturulmuş yüksek performanslı bir modeldir.
Tarih
Aktif öğrenme alanı, Burr Settles tarafından 2010 tarihli etkili anketinde sistematikleştirilmiştir. Gradyan artırma, Jerome Friedman tarafından 2001'de biçimlendirilmiştir. Kombinasyonları, gradyan artırılmış ağaç kütüphaneleri (XGBoost 2016, LightGBM 2017) standart araçlar haline geldikçe ve güçlü modelleri iteratif etiketleme işlem hatlarında yeniden eğitmek pratik hale geldikçe 2010'larda ivme kazandı. Kombinasyon artık NLP etiketlemesinde, tıbbi görüntü triyajında ve endüstriyel kalite kontrolünde yaygındır.
Ne zaman kullanılır?
Etiketleme pahalı veya zaman alıcı olduğunda ve gradyan artırma aksi takdirde tercih edilen model olduğunda, büyük bir etiketsiz tabular veri havuzuna sahip olduğunuzda aktif öğrenme gradyan artırmayı kullanın. Özellikle nadir sınıfların pasif olarak örneklenmesinin zor olduğu dengesiz veri kümeleri için etkilidir. Etiketleme ucuz olduğunda (tüm etiketlerle pasif öğrenme daha basittir), etiketsiz havuz sorgulamaya değecek kadar küçük olmadığında, tamamen şeffaf bir model (katsayılar veya kurallar) gerektirdiğinizde veya her sorgudan sonra gerçek zamanlı yeniden eğitimin mümkün olmadığı durumlarda bundan kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Her sorgu turundan sonra gradyan artırmayı sıfırdan yeniden eğitmek, büyük veri kümeleri için hesaplama açısından pahalıdır.
- Sorgulama stratejileri, başlangıç tohumu temsilci değilse, örnekleme yanlılığına maruz kalabilir ve temsilci olmayan bir etiketli kümeye yakınsayabilir.
- Gradyan artırma olasılıklarının kalibrasyonu, güvenilir belirsizlik tahminleri sağlamak için ek bir adıma (örneğin, Platt ölçeklendirme) ihtiyaç duyabilir.
- Performans, sorgulama stratejisinin seçimine duyarlıdır; hiçbir tek strateji tüm görevlerde baskın değildir.
- İnsan döngüsünde etiketleme iş akışı için altyapı gerektirir, bu da mühendislik ek yükü getirir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Pasif denetimli öğrenmeye göre önemli ölçüde daha az etiketlenmiş örnekle rekabetçi doğruluk elde eder.
- Tabular verilerde gradyan artırmanın güçlü performansını miras alır, doğrusal olmayan etkileşimleri ve karma özellik türlerini işler.
- Esnek: herhangi bir sorgulama stratejisiyle (belirsizlik, marj, entropi, komite tarafından sorgulama) uyumludur.
- Tıp veya hukuk gibi uzman etiketlemesi yoğun alanlar için pratik hale getirerek etiketleme maliyetini sistematik olarak azaltır.
- İteratif dağıtımı destekler: daha fazla etiket toplandıkça model sürekli iyileşir.
Uygulama alanları
- Uzman etiketlemesinin kıt ve maliyetli olduğu tıbbi görüntü veya metin sınıflandırması.
- Onaylanmış dolandırıcılık etiketlerinin manuel inceleme gerektirdiği büyük işlem veri kümelerinde dolandırıcılık tespiti.
- Kitle kaynaklı etiketleme bütçelerinin sınırlı olduğu NLP işlem hatlarında duygu veya niyet etiketlemesi.
- Sınırlı denetim kapasitesiyle endüstriyel kusur tespiti.
- Alan uzmanlarının maliyetli olduğu biyoloji, kimya veya malzeme biliminde bilimsel veri etiketlemesi.
- Sınırlı sayıda onaylanmış sonuç örneğiyle müşteri kaybı veya kredi riski modellemesi.
Nasıl çalışır?
Nasıl çalışır?
Eğitim, küçük bir başlangıç etiketli örnek kümesiyle başlar. Mevcut verinin geri kalanı, bir havuzda etiketsiz kalır. Gradyan artırma modelinin anlamlı olasılık tahminleri üretebilmesi için başlangıç kümesi yeterince büyük olmalıdır; tipik olarak sınıfların her biri için en az bir örnek gereklidir.
Mevcut etiketli küme üzerinde bir gradyan artırma modeli (örneğin, XGBoost, LightGBM veya scikit-learn'ün GradientBoostingClassifier'ı) eğitilir. Model, art arda artıkları uyarak karar ağaçlarının toplamsal bir topluluğunu öğrenir ve bir sonraki sorgulama adımında kullanılan kalibre edilmiş sınıf olasılıklarını üretir.
Bir belirsizlik veya bilgilendiricilik kriteri, modelin en az emin olduğu etiketsiz örnekleri seçer. Yaygın stratejiler arasında en az güvenilirlik örneklemesi, marj örneklemesi ve entropi örneklemesi bulunur. Entropi kriteri, etiketsiz havuz U üzerindeki H(p(y|x)) değerini maksimize eden x* değerini seçer.
Formül
x^* = \arg\max_{x \in U}\, H(p(y \mid x))Seçilen örnekler bir insan etiketleyiciye (oracle) sunulur ve bu kişi doğru etiketleri sağlar. Pratikte bu adım, etiketleme maliyetinin harcandığı yerdir, bu nedenle sorgulama stratejisinin verimliliği doğrudan etiketleme bütçesini kontrol eder.
Yeni etiketlenen örnekler eğitim setine eklenir ve gradyan artırma modeli sıfırdan yeniden eğitilir veya güncellenir. Döngü, bir etiketleme bütçesi tükenene veya bir doğrulama kümesinde bir performans eşiğine ulaşılana kadar tekrarlanır.
Sık yapılan hatalar
- Özellik uzayının yalnızca bir bölgesini sorgulamaya neden olan, çok küçük veya dengesiz bir başlangıç tohumu ile başlamak.
- Olasılık kalibrasyonunu ihmal etmek: ham gradyan artırma puanları her zaman iyi kalibre edilmiş olasılıklar değildir ve bunlardan türetilen belirsizlik tahminleri yanıltıcı olabilir.
- Model performansını yalnızca aktif olarak seçilen etiketli küme üzerinde değerlendirmek, bu küme belirsiz veya zor örneklere doğru yanlıdır.
- Aktif seçimden sonra nihai değerlendirme için tüm etiketsiz havuzu kullanmak — aktif öğrenme döngüsü başlamadan önce her zaman ayrılmış bir test kümesi saklayın.
- Rastgele örneklenmiş etiketlerin aynı sayısına eğitilmiş pasif bir temelle karşılaştırmayı ihmal etmek.
Sık sorulan sorular
Gradyan artırma ile hangi sorgulama stratejisi en iyi şekilde çalışır?
Entropi örneklemesi ve marj örneklemesi en yaygın seçeneklerdir ve pratikte iyi çalışırlar. Bir gradyan artırma modelleri topluluğu kullanarak komite tarafından sorgulama daha sağlam olabilir ancak eğitim maliyetini artırır. En iyi strateji veri kümesine bağlıdır; bir pilot örneklem üzerinde iki veya üç stratejiyi karşılaştırmaya değer.
Gradyan artırma olasılıklarını kalibre etmem gerekir mi?
Evet, özellikle entropi veya güvenliğe dayalı sorgulama stratejileri kullanılıyorsa. Gradyan artırma aşırı güvenli olasılıklar üretebilir. Sorgulamadan önce daha iyi kalibre edilmiş belirsizlik tahminleri elde etmek için her eğitim turundan sonra Platt ölçeklendirme veya izotonik regresyon uygulayın.
Her turda kaç örnek etiketlemeliyim?
1 ila birkaç düzine arası toplu iş boyutları tipiktir. Daha büyük toplu işler hesaplama açısından daha verimlidir ancak tek nokta sorgulamadan daha az örnek verimli olabilir. Başlangıç etiketli kümenizin yaklaşık %1-5'ine orantılı bir toplu iş boyutuyla başlayın ve etiketleme verimine göre ayarlayın.
Aktif öğrenme döngüsünü ne zaman durdurmalıyım?
Doğrulama performansı birkaç ardışık turda durağanlaştığında, etiketleme bütçesi tükendiğinde veya kalan etiketsiz havuz üzerindeki modelin belirsizliği, havuzun büyük ölçüde bilgilendirici olmadığını gösteren bir eşiğin altına düştüğünde durdurun.
scikit-learn'ün gradyan artırması yerine XGBoost veya LightGBM kullanabilir miyim?
Evet — XGBoost ve LightGBM daha hızlı ve genellikle daha doğrudur; pratikte tercih edilen uygulamalardır. Sorgulama stratejisi için ham log-oran puanları yerine predict_proba'yı (veya eşdeğerini) kalibrasyonla kullandığınızdan emin olun.
İlgili yöntemler
Kaynaklar
Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Yayın kaynağını açKopyalandı.Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
DOI kaynağını açKopyalandı.