Przejdź do treści
Wróć do wyników wyszukiwania

Random Forest

Autor metody
Breiman, L.
Rok
2001
Typ
Ensemble (bagging of decision trees)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Random Forest to metoda uczenia zespołowego, wprowadzona przez Leo Breimana w 2001 roku, która generuje wiele drzew decyzyjnych na próbach bootstrapowych danych i łączy ich głosy w celu uzyskania silnej klasyfikacji i regresji.

Poprzez agregację wielu nieco różnych drzew, metoda ta zapewnia dokładniejsze i stabilniejsze predykcje niż jakiekolwiek pojedyncze drzewo.

Intuicja stojąca za metodą

Pojedyncze, głęboko rosnące drzewo decyzyjne ściśle dopasowuje się do danych treningowych, ale jest niestabilne: niewielka zmiana w danych może prowadzić do powstania zupełnie innego drzewa. Random Forest rozwiązuje ten problem, budując wiele drzew, każde na nieco innej, losowej reprezentacji danych, i pozwalając im głosować. Błędy poszczególnych drzew mają tendencję do wzajemnego znoszenia się, dzięki czemu połączona predykcja jest znacznie bardziej wiarygodna niż predykcja pojedynczego drzewa.

Historia

Random Forest został zaproponowany przez Leo Breimana w 2001 roku, łącząc agregację bootstrapową z losową selekcją cech przy każdym podziale. Metoda ta stała się jedną z najszerzej stosowanych i najbardziej niezawodnych gotowych metod uczenia maszynowego dla danych tabelarycznych i stanowi standardowe odniesienie w podręcznikach, takich jak An Introduction to Statistical Learning (Rozdział 8). W ostatnim czasie narzędzia takie jak wartości SHAP zbliżyły jej interpretowalność do regresji logistycznej, zwiększając jej akceptację w naukach społecznych.

Kiedy stosować

Dobrze nadaje się do dokładnej, solidnej klasyfikacji, regresji lub predykcji na danych tabelarycznych z wieloma — potencjalnie nieliniowymi i oddziałującymi na siebie — cechami i co najmniej około 50 obserwacjami, gdy wydajność predykcyjna jest ważniejsza niż raportowanie jawnych współczynników. Random Forest jest modelem o niewielu założeniach: nie wymaga danych o rozkładzie normalnym i obsługuje cechy ciągłe, kategoryczne, binarne, porządkowe i liczebnościowe. Zalecane jest strojenie hiperparametrów. Gdy wielkość próby spada poniżej około 50, prostsze modele, takie jak regresja logistyczna lub liniowa, są bezpieczniejsze.

Ograniczenia i uwagi

  • Brak współczynników do interpretacji; jego charakter „czarnej skrzynki” może być problematyczny dla recenzentów oczekujących jawnych efektów.
  • Zalecane jest strojenie hiperparametrów, a duże lasy generują koszty pamięci i obliczeń.
  • Na małych próbach (n poniżej około 50) wiele drzew przeucza się, a wyniki walidacji krzyżowej stają się mylące.
  • Oszacowania ważności cech mogą być niestabilne i niereprodukowalne przy małych wielkościach próby.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Wysoka dokładność „prosto z pudełka” na danych tabelarycznych zarówno dla klasyfikacji, jak i regresji.
  • Odporność na przeuczenie dzięki baggingowi oraz losowej selekcji cech przy każdym podziale.
  • Wbudowana ważność cech integruje ranking zmiennych bezpośrednio w modelu.
  • Błąd out-of-bag zapewnia rzetelne oszacowanie walidacyjne bez oddzielnej procedury walidacji krzyżowej.
  • Niewiele założeń: brak wymogu normalności, obsługa mieszanych typów cech i nieliniowych interakcji.

Zastosowania

  • Klasyfikacja i regresja na danych tabelarycznych z wieloma cechami.
  • Selekcja i ranking zmiennych za pomocą natywnej ważności cech.
  • Ocenianie ryzyka i predykcja tam, gdzie solidność jest ważniejsza niż jawne współczynniki.
  • Modelowanie bazowe przed próbą zastosowania bardziej złożonych metod zespołowych, takich jak gradient boosting.

Jak to działa

Jak to działa

1

Z zestawu treningowego pobierane są liczne próby bootstrapowe — każda jest losową próbą pobraną z powtórzeniami, co sprawia, że drzewa widzą nieco inne dane. Obserwacje pominięte w danej próbie (zbiór out-of-bag) dostarczają wbudowanego oszacowania walidacyjnego, bez potrzeby stosowania oddzielnego zbioru testowego.

2

Przy każdym podziale w każdym drzewie, tylko losowy podzbiór dostępnych cech jest rozważany jako kandydat. Ta losowa selekcja cech odkorowuje drzewa, zapobiegając sytuacji, w której wszystkie skupiają się na tych samych dominujących predyktorach, co pozwala zespołowi zredukować wariancję poniżej poziomu pojedynczego drzewa.

3

Każde drzewo dokonuje własnej predykcji, a las agreguje je: głosowanie większościowe wśród drzew dla klasyfikacji lub średnia ich wyników dla regresji. Ta agregacja przekształca wiele szumiących drzew w jeden solidny predyktor.

Wzór
\hat{y} = \text{mode/mean of } T \text{ trees}

Częste pułapki

  • Pomijanie podziału na zbiór treningowy i testowy lub walidacji krzyżowej i poleganie na wynikach wewnątrz próby.
  • Ignorowanie niezbalansowania klas zamiast re-ważenia klas (class_weight='balanced') lub próbkowania.
  • Raportowanie tylko dokładności bez F1 i AUC obok niej.
  • Traktowanie rankingu ważności cech na małej próbie jako stabilnego.
  • Akceptowanie domyślnych hiperparametrów bez strojenia liczby drzew.

Najczęściej zadawane pytania

Ile drzew powinien mieć las?

Więcej drzew redukuje wariancję i stabilizuje głosowanie kosztem obliczeń i pamięci. Powszechnym punktem wyjścia jest około 100 drzew, zwiększając ich liczbę, dopóki błąd out-of-bag nie przestanie się poprawiać.

Czy Random Forest przeucza?

Jest wysoce odporny na przeuczenie, ponieważ bagging i losowa selekcja cech odkorowują drzewa i uśredniają ich indywidualne błędy. Główne ryzyko polega na dopasowaniu wielu głębokich drzew do bardzo małego zbioru danych, gdzie model przeucza się, a walidacja krzyżowa staje się myląca.

Czy mogę ufać ważności cech?

Ważność cech jest użyteczna do rankingu predyktorów, ale przy małych wielkościach próby może być niestabilna i niereprodukowalna, dlatego należy podchodzić z ostrożnością do rankingów opartych na małych próbach. Połączenie jej z analizą SHAP daje jaśniejszy obraz wkładu każdej cechy.

Co powinienem sprawdzić przed i po dopasowaniu?

Wcześniej należy obsłużyć brakujące wartości, zakodować zmienne kategoryczne i skonfigurować podział na zbiór treningowy i testowy lub walidację krzyżową k-krotności. Następnie należy ocenić błąd out-of-bag, przeprowadzić walidację krzyżową i przeanalizować wkłady cech (na przykład za pomocą SHAP).

Pokrewne metody

Źródła

  1. Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.

    Otwórz odnośnik DOI
    Skopiowano.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.

    ISBN: 978-1-4614-7138-7
    Skopiowano.