İçeriğe atla
Arama sonuçlarına dön

Karar Ağacı

Ortaya koyan
Breiman, Friedman, Olshen & Stone
Yıl
1984
Tür
Recursive partitioning (if-then rules)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Bir Karar Ağacı, Breiman, Friedman, Olshen ve Stone tarafından 1984 tarihli CART çerçevelerinde biçimlendirilen, veriyi hiyerarşik eğer-o zaman kurallarıyla bölen yorumlanabilir bir sınıflandırma ve regresyon yöntemidir.

Her bölünme, bir yapraktan tahmin okunana kadar gözlemleri bir dala veya diğerine gönderir.

Yöntemin mantığı

Bir karar ağacını evet/hayır sorularından oluşan bir akış şeması gibi düşünün. Tüm verilerle başlayarak, ağaç en iyi şekilde vakaları ayıran tek bir özellik hakkında tekrarlı olarak soru sorar — örneğin, 'yaş 40'ın üzerinde mi?' — ve veriyi iki gruba ayırır. İçindeki vakalar makul ölçüde homojen olana kadar her grubu bölmeye devam eder ve nihai gruplar (yapraklar) tahmini verir. Kökten bir yaprağa kadar olan soru zinciri, herhangi bir okuyucunun takip edebileceği bir kuraldır.

Tarih

Karar ağaçları, CART algoritmasını ve Gini indeksi veya bilgi kazancı gibi saflık ölçülerinin kullanımını tanıtan 1984 tarihli Sınıflandırma ve Regresyon Ağaçları (Classification and Regression Trees) monografilerinde Leo Breiman, Jerome Friedman, Richard Olshen ve Charles Stone tarafından sağlam bir temele oturtulmuştur. Şeffaf eğer-o-zaman yapısı, ağaçları uygulamalı analizin temel taşlarından biri haline getirmiş ve daha sonra daha güçlü toplulukların — Random Forests'a paketlenmiş ve Gradient Boosting'de yükseltilmiş — çekirdek yapı taşı haline gelmişlerdir; burada birçok ağaç, herhangi bir tekil ağacın kararsızlığını gidermek için birleştirilir.

Ne zaman kullanılır?

Yorumlanabilir bir model istediğinizde, en az yaklaşık 30 gözlemle, sürekli, kategorik, ikili ve sıralı özelliklerin karışımıyla, kesitsel tablo verileri üzerinde sınıflandırma, tahmin veya açıklama için bir karar ağacı kullanın. Özellik ölçeklendirme gerekmez ve kurallar kolayca iletilebilir. Yaklaşık 30 vakanın altında ağaç kolayca aşırı uyum gösterir — yapraklar tek bir gözlem içerebilir — ve lojistik regresyon veya naive Bayes gibi daha basit, daha kararlı bir model daha güvenlidir.

Sınırlar ve dikkat edilmesi gerekenler

  • Aşırı uyuma eğilimlidir, ancak max_depth veya min_samples_leaf ile budama yapılmadığında.
  • Küçük örneklemlerde (n yaklaşık 30'un altında) ağaç kolayca aşırı uyum gösterir, yapraklar tek bir gözlem içerebilir.
  • Budamadan sonra küçük örneklem ağacı kullanışlı olacak kadar az bölünme içerebilir, bu durumda lojistik regresyon daha kararlıdır.
  • Tek bir ağaç kararsızdır — küçük veri değişiklikleri çok farklı bir yapı üretebilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Yüksek derecede yorumlanabilir: kökten yaprağa giden yol basit bir eğer-o zaman kuralıdır.
  • Özellik ölçeklendirme gerektirmez; sürekli, kategorik, ikili ve sıralı özelliklerle doğrudan ilgilenir.
  • Düşük zorluk — yeni başlayan kullanıcılar için bile uygundur.
  • Random Forest ve Gradient Boosting gibi toplulukların (ensembles) yapı taşı olarak hizmet eder.

Uygulama alanları

  • Kesitsel tablo verilerinin yorumlanabilir sınıflandırılması.
  • Şeffaf kuralların değerli olduğu tahmin ve risk segmentasyonu.
  • Sonucu neyin yönlendirdiğini ortaya çıkarmak için açıklayıcı analiz.
  • Random Forest ve Gradient Boosting gibi topluluklar içinde bir temel öğrenici.

Nasıl çalışır?

Nasıl çalışır?

1

Her düğümde ağaç, saflığı en çok artıran bölünme için her özelliği ve her olası eşiği arar — CART algoritması tipik olarak sınıflandırma için Gini indeksi veya bilgi kazancını kullanır. Saflıktaki en büyük azalmayı sağlayan bölünme seçilir, böylece her dal öncekine göre daha benzer vakalar içerir.

Formül
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
2

Seçilen bölünme uygulanır ve prosedür her bir sonuçlanan dalda tekrarlanır, veriyi tekrar tekrar böler. Özellik ölçeklendirme gerektirmediği için, sürekli, kategorik, ikili ve sıralı özelliklerin tümü doğrudan kullanılabilir. Kontrol edilmediğinde, ağaç yapraklar neredeyse saf olana kadar büyümeye devam eder — ki bu tam olarak aşırı uyumun (overfitting) ortaya çıktığı yerdir.

3

Aşırı uyumu kontrol etmek için ağaç sınırlandırılır — derinliği (max_depth) sınırlayarak, her yaprakta minimum vaka sayısı (min_samples_leaf) gerektirerek veya az katkı sağlayan dalları budayarak. Sonuç, okunabilir kurallardan oluşan kompakt bir settir: kökten yaprağa giden yol şeffaf bir karar kuralıdır, bu nedenle karar ağaçları yeni başlayanlar için bile uygundur.

Sık yapılan hatalar

  • Ağacı max_depth veya min_samples_leaf sınırlaması olmadan tam derinliğe kadar büyütmek.
  • Yaklaşık 30 gözlemden azında derin bir ağaca güvenmek.
  • Küçük örneklemli kırılgan bir ağacı verinin kararlı bir açıklaması olarak okumak.
  • Eğitim/test ayırma veya çapraz doğrulama olmadan örnek içi doğruluğu raporlamak.

Sık sorulan sorular

Bir bölünme nasıl seçilir?

CART algoritması, tüm özellikler ve eşikler üzerindeki aday bölünmeleri değerlendirir ve düğüm saflığını en çok azaltan, sınıflandırma için yaygın olarak Gini indeksi veya bilgi kazancıyla ölçülen bölünmeyi seçer.

Bir karar ağacı neden aşırı uyum gösterir ve bunu nasıl durdurabilirim?

Serbestçe büyümeye bırakıldığında bir ağaç, gürültüyü ezberleyerek yapraklar neredeyse saf olana kadar bölünmeye devam eder. Derinliği (max_depth) sınırlayarak, her yaprakta minimum vaka sayısı (min_samples_leaf) gerektirerek veya az katkı sağlayan dalları budayarak onu sınırlayın.

Ne kadar veriye ihtiyacım var?

En az yaklaşık 30 gözlem hedefleyin. Bunun altında ağaç kolayca aşırı uyum gösterir — yapraklar tek bir vaka içerebilir — ve lojistik regresyon veya naive Bayes gibi daha basit bir model daha kararlıdır.

Bir karar ağacı Random Forest ile nasıl ilişkilidir?

Tek bir karar ağacı toplulukların yapı taşıdır: Random Forest, yeniden örneklenmiş veriler üzerinde birçok ağaç büyütür ve oylarını birleştirir, Gradient Boosting ise ağaçları sıralı olarak oluşturur — her ikisi de tekil ağacın şeffaflığını daha fazla doğruluk ve kararlılık için takas eder.

İlgili yöntemler

Kaynaklar

  1. Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.

    DOI kaynağını aç
    Kopyalandı.