Przejdź do treści
Wróć do wyników wyszukiwania

Drzewo decyzyjne

Autor metody
Breiman, Friedman, Olshen & Stone
Rok
1984
Typ
Recursive partitioning (if-then rules)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Drzewo decyzyjne to interpretowalna metoda klasyfikacji i regresji, sformalizowana przez Breimana, Friedmana, Olshena i Stone’a w ich ramach CART z 1984 roku, która dzieli dane za pomocą hierarchicznych reguł typu „jeżeli-wtedy”.

Każde rozgałęzienie kieruje obserwacje w dół jednej lub drugiej gałęzi, aż do odczytania predykcji z liścia.

Intuicja stojąca za metodą

Drzewo decyzyjne można traktować jako schemat blokowy pytań typu „tak/nie”. Zaczynając od wszystkich danych, drzewo wielokrotnie zadaje jedno pytanie dotyczące jednej cechy, która najlepiej rozdziela przypadki — na przykład „czy wiek jest powyżej 40 lat?” — i dzieli dane na dwie grupy. Kontynuuje dzielenie każdej grupy, aż przypadki wewnątrz staną się wystarczająco jednorodne, a końcowe grupy (liście) dostarczają predykcji. Łańcuch pytań od korzenia do liścia to reguła, którą każdy czytelnik może śledzić.

Historia

Drzewa decyzyjne zostały rygorystycznie ugruntowane przez Leo Breimana, Jerome Friedmana, Richarda Olshena i Charlesa Stone’a w ich monografii z 1984 roku „Classification and Regression Trees”, która wprowadziła algorytm CART i jego zastosowanie miar nieczystości, takich jak indeks Giniego. Przejrzysta struktura typu „jeżeli-wtedy” uczyniła drzewa podstawą analizy stosowanej, a później stały się one głównym elementem budulcowym potężniejszych zespołów modeli — łączonych w lasy losowe (Random Forests) i wzmacnianych w wzmacnianiu gradientowym (Gradient Boosting) — gdzie wiele drzew jest łączonych, aby przezwyciężyć niestabilność pojedynczego drzewa.

Kiedy stosować

Użyj drzewa decyzyjnego, gdy potrzebujesz interpretowalnego modelu do klasyfikacji, predykcji lub wyjaśnienia na przekrojowych danych tabelarycznych z co najmniej około 30 obserwacjami, mieszającymi cechy ciągłe, kategoryczne, binarne i porządkowe. Skalowanie cech nie jest potrzebne, a reguły są łatwe do komunikowania. Poniżej około 30 przypadków drzewo łatwo się przeucza — liście mogą zawierać pojedynczą obserwację — a prostszy, bardziej stabilny model, taki jak regresja logistyczna lub naiwny Bayes, jest bezpieczniejszy.

Ograniczenia i uwagi

  • Podatne na przeuczenie, chyba że zostanie przycięte za pomocą max_depth lub min_samples_leaf.
  • Na małych próbkach (n poniżej około 30) drzewo łatwo się przeucza, z liśćmi, które mogą zawierać pojedynczą obserwację.
  • Po przycięciu drzewo na małej próbce może zachować zbyt mało podziałów, aby było użyteczne, podczas gdy regresja logistyczna jest bardziej stabilna.
  • Pojedyncze drzewo jest niestabilne — małe zmiany danych mogą prowadzić do bardzo odmiennej struktury.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Wysoce interpretowalne: ścieżka od korzenia do liścia to prosta reguła typu „jeżeli-wtedy”.
  • Nie wymaga skalowania cech; bezpośrednio obsługuje cechy ciągłe, kategoryczne, binarne i porządkowe.
  • Niski poziom trudności — odpowiednie nawet dla początkujących użytkowników.
  • Służy jako element budulcowy dla zespołów modeli, takich jak las losowy (Random Forest) i wzmacnianie gradientowe (Gradient Boosting).

Zastosowania

  • Interpretowalna klasyfikacja przekrojowych danych tabelarycznych.
  • Predykcja i segmentacja ryzyka, gdzie ceni się przejrzyste reguły.
  • Analiza wyjaśniająca w celu ujawnienia, które cechy i progi wpływają na wynik.
  • Uczenie bazowe w zespołach modeli, takich jak las losowy (Random Forest) i wzmacnianie gradientowe (Gradient Boosting).

Jak to działa

Jak to działa

1

W każdym węźle drzewo przeszukuje każdą cechę i każdy możliwy próg podziału, który najbardziej poprawia czystość — algorytm CART zazwyczaj wykorzystuje indeks Giniego lub przyrost informacji do klasyfikacji. Wybierany jest podział, który daje największe zmniejszenie nieczystości, dzięki czemu każda gałąź zawiera przypadki bardziej podobne niż wcześniej.

Wzór
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
2

Wybrany podział jest stosowany, a procedura rekurencyjnie powtarza się dla każdej wynikowej gałęzi, dzieląc dane w kółko. Ponieważ skalowanie cech nie jest wymagane, cechy ciągłe, kategoryczne, binarne i porządkowe mogą być używane bezpośrednio. Pozostawione bez kontroli, drzewo rośnie, aż liście staną się prawie czyste — co jest dokładnie momentem, w którym pojawia się przeuczenie.

3

Aby kontrolować przeuczenie, drzewo jest ograniczane — poprzez limitowanie głębokości (max_depth), wymaganie minimalnej liczby przypadków na liść (min_samples_leaf) lub przycinanie gałęzi, które niewiele wnoszą. Rezultatem jest kompaktowy zestaw czytelnych reguł: ścieżka od korzenia do liścia jest przejrzystą regułą decyzyjną, dlatego drzewa decyzyjne są dobrze przystosowane nawet dla początkujących.

Częste pułapki

  • Rozwijanie drzewa do pełnej głębokości bez ograniczania max_depth lub min_samples_leaf.
  • Ufanie pojedynczemu głębokiemu drzewu na mniej niż około 30 obserwacjach.
  • Odczytywanie kruchego drzewa z małej próbki jako stabilnego wyjaśnienia danych.
  • Raportowanie dokładności w próbce bez podziału na zbiór treningowy/testowy lub walidacji krzyżowej.

Najczęściej zadawane pytania

Jak wybierany jest podział?

Algorytm CART ocenia kandydatów na podziały dla wszystkich cech i progów, a następnie wybiera ten, który najbardziej redukuje nieczystość węzła, powszechnie mierzoną indeksem Giniego lub przyrostem informacji dla klasyfikacji.

Dlaczego drzewo decyzyjne się przeucza i jak temu zapobiec?

Pozostawione do swobodnego wzrostu drzewo kontynuuje podziały, aż liście staną się prawie czyste, zapamiętując szum. Ogranicz je, limitując głębokość (max_depth), wymagając minimalnej liczby przypadków na liść (min_samples_leaf) lub przycinając gałęzie, które niewiele wnoszą.

Ile danych potrzebuję?

Celuj w co najmniej około 30 obserwacji. Poniżej tej liczby drzewo łatwo się przeucza — liście mogą zawierać pojedynczy przypadek — a prostszy model, taki jak regresja logistyczna lub naiwny Bayes, jest bardziej stabilny.

Jak drzewo decyzyjne odnosi się do lasu losowego (Random Forest)?

Pojedyncze drzewo decyzyjne jest elementem budulcowym zespołów modeli: las losowy (Random Forest) tworzy wiele drzew na próbkowanych danych i łączy ich głosy, a wzmacnianie gradientowe (Gradient Boosting) buduje drzewa sekwencyjnie — oba te podejścia wymieniają przejrzystość pojedynczego drzewa na większą dokładność i stabilność.

Pokrewne metody

Źródła

  1. Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.

    Otwórz odnośnik DOI
    Skopiowano.