Ekstra Ağaçlar
- Ortaya koyan
- Geurts, P.; Ernst, D.; Wehenkel, L.
- Yıl
- 2006
- Tür
- Ensemble (extremely randomized decision trees)
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Ekstra Ağaçlar (Son Derece Rastgeleleştirilmiş Ağaçlar), Geurts, Ernst ve Wehenkel tarafından 2006 yılında tanıtılmış, Rastgele Orman'dan daha ileri düzeyde rastgeleleştirme uygulayan bir karar ağaçları topluluğudur.
Hem aday özellikler hem de bölünme eşikleri her düğümde tamamen rastgele seçilir, bu da eşikler üzerindeki açgözlü aramayı ortadan kaldırır. Bu ekstra rastgelelik varyansı azaltır, genellikle Rastgele Orman doğruluğuna ulaşır veya onu geçer ve eğitim süresinde önemli ölçüde daha hızlı çalışır.
Yöntemin mantığı
Rastgele Orman, her bölünmede rastgele özellikler örnekleyerek ağaçları zaten de-korele eder, ancak yine de bu özellikler arasındaki en iyi eşiği arar. Ekstra Ağaçlar bir adım daha ileri gider: her aday özellik için, onu optimize etmek yerine rastgele bir eşik seçer. İlk başta bunun doğruluğa zarar vereceği düşünülebilir, ancak sonuçta ortaya çıkan ağaçlar birbirinden daha az ilişkili olduğu için, topluluk ortalaması daha fazla varyansı iptal eder. Tek bir kötü bölünmenin zararı, birçok ağaç üzerinden ortalama alındığında küçüktür ve optimal bir eşik arama zahmetinden kurtulmanın getirdiği hız kazanımı önemlidir.
Tarih
Ekstra Ağaçlar, Pierre Geurts, Damien Ernst ve Louis Wehenkel tarafından 2006 tarihli bir Makine Öğrenmesi makalesinde önerilmiştir. Yazarlar, optimal kesimler aramak yerine bölünme eşiklerinin tam rastgeleleştirilmesinin tanıtılmasının, küçük bir yanlılık artışı karşılığında varyansı önemli ölçüde azalttığını göstermiştir. Yöntem o zamandan beri scikit-learn ekosisteminde Rastgele Orman'a standart bir alternatif haline gelmiş ve tablo verileri kıyaslamaları için hızlı, yüksek doğruluklu bir temel olarak yaygın şekilde kullanılmaktadır.
Ne zaman kullanılır?
Eğitim süresinin hızlı olmasını ve sürekli veya karma özelliklere sahip tablo verilerinde güçlü doğruluk istediğinizde Ekstra Ağaçları kullanın. Özellikle eğitim süresinin kısıtlı olduğu durumlarda kullanışlıdır — eşik optimizasyonunun kaldırılması, karşılaştırılabilir doğrulukta Rastgele Orman'dan önemli ölçüde daha hızlı olmasını sağlar. Orta ila büyük örneklemli (yaklaşık 50 veya daha fazla gözlem) sınıflandırma ve regresyon görevlerine uygundur. Yerleşik 'out-of-bag' tahminlerine ihtiyacınız varsa veya veri kümesi gürültüsü çok yüksekse ve tamamen rastgele eşiklerin doğruluğu olumsuz etkilediğini düşünüyorsanız, Rastgele Orman veya gradyan artırma yöntemlerini tercih edin. Çok küçük veri kümeleri için, lojistik regresyon veya tek bir karar ağacı gibi daha basit modeller daha güvenli ve daha yorumlanabilirdir.
Sınırlar ve dikkat edilmesi gerekenler
- Yerleşik 'out-of-bag' tahmini yoktur (Rastgele Orman'ın aksine), bu nedenle yanlı olmayan hata değerlendirmesi için çapraz doğrulama gereklidir.
- Tamamen rastgele eşikler, optimal bölünmelerin bilgilendirici olduğu çok gürültülü verilerde zarar verebilir.
- Kara kutu: açık katsayılar sağlamaz, etki büyüklüklerini bekleyen kitleler için yorumlanabilirliği sınırlar.
- Bellek kullanımı, ağaç sayısı ve ağaç derinliği ile artar.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Her bölünmede eşik optimizasyonu yapılmadığı için Rastgele Orman'dan daha hızlı eğitim.
- Ağaçlar arasındaki yüksek çeşitlilik, güçlü varyans azalmasına yol açar ve genellikle Rastgele Orman doğruluğuna ulaşır veya onu geçer.
- Ön işleme varsayımları olmadan karma özellik türlerini ve doğrusal olmayan etkileşimleri işler.
- Değişken sıralaması ve seçimi için yerel özellik önemleri sağlar.
- Çok sayıda ilgisiz özelliğe sahip yüksek boyutlu verilere iyi ölçeklenir.
Uygulama alanları
- Tablo verilerinde hızlı sınıflandırma ve regresyon temelleri.
- Yüksek boyutlu veri kümelerinde özellik seçimi ve önem sıralaması.
- Biyoenformatik, uzaktan algılama ve sensör verileri analizinde öngörücü modelleme.
- Eğitim hızının kritik olduğu boru hattı hiperparametre araması.
- Rastgele Orman eğitim süresinin yasaklayıcı olduğu büyük ölçekli veri senaryoları.
Nasıl çalışır?
Nasıl çalışır?
Rastgele Orman'ın aksine, Ekstra Ağaçlar varsayılan olarak her ağacı bir bootstrap örneği yerine tüm eğitim kümesi üzerinde eğitir. Bu, örneklemeden kaynaklanan yanlılığı azaltır ancak yerleşik bir 'out-of-bag' kümesinin olmadığı anlamına gelir; bu nedenle dürüst hata tahmini için çapraz doğrulama gereklidir.
Her iç düğümde, rastgele bir özellik alt kümesi çekilir. Her aday özellik için, o özelliğin değerlerinin gözlemlenen aralığından düzgün bir şekilde rastgele bir eşik örneklenir — optimal kesme noktasının aranması yapılmaz. Rastgele adaylar arasından en iyi skoru (örneğin, Gini safsızlık azalması) veren özellik-eşik çifti seçilir.
Ağaçlar varsayılan olarak tam derinliğe kadar büyütülür, bu da yaprakların mümkün olduğunca saf olduğu anlamına gelir. Tam derinlik, rastgeleleştirilmiş bölünmelerle birleştiğinde, topluluk genelinde varyansı düşüren şeydir: bireysel ağaçlar yüksek varyanslı ancak oldukça çeşitlidir.
Tüm ağaçlardan gelen tahminler birleştirilir: sınıflandırma için çoğunluk oyu ve regresyon için ortalama çıktı. Ağaçlar arasındaki güçlü çeşitlilik, bireysel hataların birbirini iptal etme eğiliminde olduğu anlamına gelir, bu da topluluğu tek bir ağaçtan daha kararlı hale getirir.
Formül
\hat{y} = \text{mode/mean of } T \text{ trees}Sık yapılan hatalar
- Varsayılan olarak 'out-of-bag' (OOB) tahmini üretilmediği için, örnek içi doğruluğa güvenerek çapraz doğrulamayı atlamak.
- Sınıf dengesizliğini göz ardı etmek — uydurmadan önce 'class_weight='balanced'' veya yeniden örnekleme kullanın.
- F1, AUC veya RMSE gibi tamamlayıcı metrikler olmadan yalnızca doğruluğu raporlamak.
- Özellik önem sıralamalarını tohumlar arasında tekrarlanabilirliği kontrol etmeden sabit olarak kabul etmek.
Sık sorulan sorular
Ekstra Ağaçlar Rastgele Orman'dan nasıl farklıdır?
Her ikisi de karar ağaçlarının topluluklarıdır ve her bölünmede rastgele özellik alt kümeleri kullanılır. Temel fark, Ekstra Ağaçların bölünme eşiklerini optimize etmek yerine tamamen rastgele seçmesi ve varsayılan olarak bootstrap örnekleri yerine tam eğitim kümesi üzerinde eğitmesidir. Bu, Ekstra Ağaçları daha hızlı hale getirir ve tipik olarak daha çeşitli, daha az ilişkili ağaçlar üretir.
Hangisini tercih etmeliyim — Ekstra Ağaçlar mı yoksa Rastgele Orman mı?
Eğitim hızı önemli olduğunda veya veriler nispeten temiz olduğunda, Ekstra Ağaçlar genellikle daha düşük hesaplama maliyetiyle Rastgele Orman doğruluğuna ulaşır veya onu geçer. Yerleşik bir 'out-of-bag' tahmini istiyorsanız veya verileriniz gürültülüyse (burada daha iyi bölünme eşikleri yardımcı olur), Rastgele Orman daha güvenlidir.
Kaç ağaca ihtiyacım var?
100 ağaçla başlayın ve bir doğrulama kümesinde veya çapraz doğrulamada performans stabilize olana kadar artırın. Daha fazla ağaç kararlılığı iyileştirir ancak bellek ve tahmin gecikmesini artırır.
Ekstra Ağaçlar aşırı uyum sağlar mı?
Bireysel ağaçlar tam derinliğe kadar büyütülür ve izole olarak aşırı uyum sağlayabilir, ancak topluluk ortalaması varyansı güçlü bir şekilde azaltır. Tam topluluğun aşırı uyumu genellikle nadirdir, ancak çok küçük ve çok sayıda özelliğe sahip veri kümelerinde yine de meydana gelebilir.
OOB kümesi olmadan model performansını nasıl değerlendiririm?
k-katlı çapraz doğrulamayı kullanın — tipik olarak 5 veya 10 kat. Sınıflandırma görevlerini doğruluk, F1 ve AUC ile; regresyon görevlerini RMSE ve R-kare ile değerlendirin.
İlgili yöntemler
Kaynaklar
Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.
DOI kaynağını açKopyalandı.Extra-Trees. Wikipedia.
Yayın kaynağını açKopyalandı.