İçeriğe atla
Arama sonuçlarına dön

Rastgele Orman

Ortaya koyan
Breiman, L.
Yıl
2001
Tür
Ensemble (bagging of decision trees)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Rastgele Orman, 2001 yılında Leo Breiman tarafından tanıtılan, verinin bootstrap örneklemleri üzerinde çok sayıda karar ağacı büyüterek ve güçlü sınıflandırma ve regresyon üretmek için oylarını birleştirerek çalışan bir topluluk öğrenme yöntemidir.

Birbirinden biraz farklı birçok ağacı bir araya getirerek, tek bir ağaçtan daha doğru ve daha kararlı tahminler üretir.

Yöntemin mantığı

Derinlemesine büyütülen tek bir karar ağacı, eğitim verisine yakından uyar ancak kararsızdır: verideki küçük bir değişiklik çok farklı bir ağaç üretebilir. Rastgele Orman, her biri verinin biraz farklı rastgele bir görünümü üzerinde oluşturulan birçok ağaç inşa ederek ve oylamalarına izin vererek bu sorunu ele alır. Bireysel ağaçların hataları birbirini götürme eğilimindedir, bu nedenle birleşik tahmin tek bir ağacın kendi başına olduğundan çok daha güvenilirdir.

Tarih

Rastgele Orman, 2001 yılında Leo Breiman tarafından, bootstrap toplama işlemini her bölünmede rastgele özellik seçimiyle birleştirerek önerildi. Tablo verileri için en yaygın kullanılan ve güvenilir kullanıma hazır makine öğrenimi yöntemlerinden biri haline geldi ve An Introduction to Statistical Learning (Bölüm 8) gibi metinlerde standart bir referans oldu. Daha yakın zamanda, SHAP değerleri gibi araçlar yorumlanabilirliğini lojistik regresyonunkine yaklaştırdı ve sosyal bilimlerde kabulünü artırdı.

Ne zaman kullanılır?

Çok sayıda (muhtemelen doğrusal olmayan ve etkileşimli) özelliğe sahip ve en az yaklaşık 50 gözlemi olan tablo verileri üzerinde doğru, sağlam sınıflandırma, regresyon veya tahmin için iyi bir uyum, özellikle tahmin performansı açık katsayılardan daha önemli olduğunda. Rastgele Orman varsayımları hafiftir: normal dağılmış verileri gerektirmez ve sürekli, kategorik, ikili, sıralı ve sayım özelliklerini işler. Hiperparametre ayarı önerilir. Örneklem boyutları yaklaşık 50'nin altına düştüğünde, lojistik veya doğrusal regresyon gibi daha basit modeller daha güvenlidir.

Sınırlar ve dikkat edilmesi gerekenler

  • Yorumlanacak katsayılar yoktur; kara kutu doğası, açık etkiler bekleyen incelemecilerle çelişebilir.
  • Hiperparametre ayarı önerilir ve büyük ormanlar bellek ve hesaplama maliyeti getirir.
  • Küçük örneklemlerde (n yaklaşık 50'nin altında) birçok ağaç aşırı uyum sağlar ve çapraz doğrulama sonuçları yanıltıcı hale gelir.
  • Özellik önemi tahminleri küçük örneklem boyutlarında kararsız ve tekrarlanamaz olabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Sınıflandırma ve regresyon için tablo verileri üzerinde güçlü, kullanıma hazır doğruluk.
  • Torbalama artı her bölünmede rastgele özellik seçimi sayesinde aşırı uyuma dirençli.
  • Yerleşik özellik önemi, değişken sıralamasını doğrudan modele entegre eder.
  • Çanta dışı hata, ayrı bir çapraz doğrulama geçişi olmadan dürüst bir doğrulama tahmini sağlar.
  • Varsayımları hafiftir: normallik gerektirmez ve karışık özellik türlerini ve doğrusal olmayan etkileşimleri işler.

Uygulama alanları

  • Çok sayıda özelliğe sahip tablo verileri üzerinde sınıflandırma ve regresyon.
  • Yerel özellik önemi aracılığıyla değişken seçimi ve sıralaması.
  • Sağlamlığın açık katsayılardan daha önemli olduğu risk puanlaması ve tahmin.
  • Daha karmaşık topluluklar (örneğin, gradyan yükseltme) denemeden önce temel modelleme.

Nasıl çalışır?

Nasıl çalışır?

1

Eğitim kümesinden birçok bootstrap örneği çekilir — her biri yerine koyarak alınan rastgele bir örnektir, bu nedenle ağaçlar biraz farklı veriler görür. Belirli bir örneğin dışında bırakılan gözlemler (çanta dışı küme), ayrı bir tutma katına ihtiyaç duymadan yerleşik bir doğrulama tahmini sağlar.

2

Her ağaçtaki her bölünmede, yalnızca mevcut özelliklerin rastgele bir alt kümesi aday olarak değerlendirilir. Bu rastgele özellik seçimi, ağaçları birbirine bağlamaz, böylece hepsi aynı baskın tahmincilere takılmaz, bu da topluluğun varyansı tek bir ağacınkinden daha aşağı kesmesine olanak tanır.

3

Her ağaç kendi tahminini yapar ve orman bunları birleştirir: sınıflandırma için ağaçlar arasında çoğunluk oyu veya regresyon için çıktıların ortalaması. Bu toplama, birçok gürültülü ağacı tek bir sağlam tahminciye dönüştüren şeydir.

Formül
\hat{y} = \text{mode/mean of } T \text{ trees}

Sık yapılan hatalar

  • Örnek içi performansa güvenerek bir eğitim/test bölümü veya çapraz doğrulama atlamak.
  • Sınıfları yeniden ağırlıklandırmak ('class_weight='balanced'') veya yeniden örneklemek yerine sınıf dengesizliğini göz ardı etmek.
  • Sadece doğruluğu F1 ve AUC'yi bununla birlikte raporlamak.
  • Küçük örneklem özellik önemi sıralamasını kararlı olarak kabul etmek.
  • Ağaç sayısını ayarlamak yerine varsayılan hiperparametreleri körü körüne kabul etmek.

Sık sorulan sorular

Ormanın kaç ağacı olmalı?

Daha fazla ağaç, hesaplama ve bellek maliyeti pahasına varyansı azaltır ve oyu stabilize eder. Yaygın bir başlangıç noktası yaklaşık 100 ağaçtır, çanta dışı hata iyileşmeyi durdurana kadar artırılır.

Rastgele Orman aşırı uyum sağlar mı?

Torbalama ve rastgele özellik seçimi ağaçları birbirine bağlamadığı ve bireysel hatalarını ortalamadığı için aşırı uyuma karşı oldukça dirençlidir. Ana risk, çok küçük bir veri kümesinde çok sayıda derin ağaç uydurmaktır, burada model aşırı uyum sağlar ve çapraz doğrulama yanıltıcı hale gelir.

Özellik önemine güvenebilir miyim?

Özellik önemi, tahmincileri sıralamak için kullanışlıdır, ancak küçük örneklem boyutlarında kararsız ve tekrarlanamaz olabilir, bu nedenle küçük örneklem sıralamalarına dikkatle yaklaşın. Bunu SHAP analiziyle eşleştirmek, her bir özelliğin katkısı hakkında daha net bir görünüm sağlar.

Uydurmadan önce ve sonra neyi kontrol etmeliyim?

Önceden, eksik değerleri işleyin, kategorik değişkenleri kodlayın ve bir eğitim/test bölümü veya k-katlı çapraz doğrulama ayarlayın. Sonrasında, çanta dışı hatayı değerlendirin, çapraz doğrulamayı çalıştırın ve özellik katkılarını inceleyin (örneğin SHAP ile).

İlgili yöntemler

Kaynaklar

  1. Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.

    DOI kaynağını aç
    Kopyalandı.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.

    ISBN: 978-1-4614-7138-7
    Kopyalandı.