Przejdź do treści
Wróć do wyników wyszukiwania

Extra Trees

Autor metody
Geurts, P.; Ernst, D.; Wehenkel, L.
Rok
2006
Typ
Ensemble (extremely randomized decision trees)
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Extra Trees (Extremely Randomized Trees), wprowadzona przez Geurtsa, Ernsta i Wehenkela w 2006 roku, to zespół drzew decyzyjnych, który poszerza randomizację w stosunku do Random Forest.

Zarówno cechy kandydujące, jak i progi podziału są wybierane całkowicie losowo w każdym węźle, eliminując zachłanne przeszukiwanie progów. Ta dodatkowa losowość zmniejsza wariancję, często dorównuje lub przewyższa dokładność Random Forest i działa znacznie szybciej podczas trenowania.

Intuicja stojąca za metodą

Random Forest już de-koreluje drzewa, losowo próbując cechy przy każdym podziale, ale nadal szuka najlepszego progu wśród tych cech. Extra Trees idzie o krok dalej: dla każdej cechy kandydującej wybiera losowy próg, zamiast go optymalizować. Początkowo może się wydawać, że to zaszkodzi dokładności, ale ponieważ wynikowe drzewa są jeszcze mniej skorelowane ze sobą, uśrednianie zespołu niweluje więcej wariancji. Strata z pojedynczego złego podziału jest znikoma, gdy uśredni się wyniki z wielu drzew, a zysk na szybkości wynikający z braku poszukiwania optymalnego progu jest znaczny.

Historia

Extra Trees zostało zaproponowane przez Pierre'a Geurtsa, Damiena Ernsta i Louisa Wehenkela w artykule Machine Learning z 2006 roku. Autorzy wykazali, że wprowadzenie pełnej randomizacji progów podziału — zamiast poszukiwania optymalnych punktów odcięcia — znacznie zmniejsza wariancję, jednocześnie wprowadzając niewielki wzrost błędu systematycznego. Metoda ta stała się od tego czasu standardową alternatywą dla Random Forest w ekosystemie scikit-learn i jest szeroko stosowana jako szybki, bardzo dokładny punkt odniesienia dla benchmarków danych tabelarycznych.

Kiedy stosować

Użyj Extra Trees, gdy potrzebujesz szybkiego trenowania i wysokiej dokładności na danych tabelarycznych z cechami ciągłymi lub mieszanymi. Jest to szczególnie przydatne, gdy czas trenowania jest ograniczeniem — eliminacja optymalizacji progów sprawia, że jest znacznie szybszy niż Random Forest przy porównywalnej dokładności. Nadaje się do zadań klasyfikacji i regresji z umiarkowanymi do dużych próbkami (około 50 lub więcej obserwacji). Preferuj Random Forest lub wzmacnianie gradientowe, jeśli potrzebujesz wbudowanych estymacji out-of-bag lub jeśli szum w zbiorze danych jest bardzo wysoki i podejrzewasz, że całkowicie losowe progi szkodzą dokładności. Dla bardzo małych zbiorów danych bezpieczniejsze i bardziej interpretowalne są prostsze modele, takie jak regresja logistyczna lub pojedyncze drzewo decyzyjne.

Ograniczenia i uwagi

  • Brak wbudowanej estymacji out-of-bag (w przeciwieństwie do Random Forest), więc do bezstronnej oceny błędu wymagana jest walidacja krzyżowa.
  • Całkowicie losowe progi mogą szkodzić na bardzo zaszumionych danych, gdzie optymalne podziały są informatywne.
  • Czarna skrzynka: nie dostarcza jawnych współczynników, co ogranicza interpretowalność dla odbiorców oczekujących wielkości efektów.
  • Zużycie pamięci rośnie wraz z liczbą drzew i głębokością drzewa.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Szybsze trenowanie niż Random Forest, ponieważ optymalizacja progów nie jest wykonywana przy każdym podziale.
  • Wysoka różnorodność między drzewami prowadzi do silnej redukcji wariancji i często dorównuje lub przewyższa dokładność Random Forest.
  • Obsługuje mieszane typy cech i nieliniowe interakcje bez założeń dotyczących wstępnego przetwarzania.
  • Zapewnia natywne ważności cech do rankingu i selekcji zmiennych.
  • Dobrze skaluje się do danych o wysokiej wymiarowości z wieloma nieistotnymi cechami.

Zastosowania

  • Szybkie punkty odniesienia dla klasyfikacji i regresji na danych tabelarycznych.
  • Selekcja cech i ranking ważności w zbiorach danych o wysokiej wymiarowości.
  • Modelowanie predykcyjne w bioinformatyce, teledetekcji i analizie danych z czujników.
  • Wyszukiwanie hiperparametrów potoku, gdzie szybkość trenowania jest kluczowa.
  • Scenariusze danych na dużą skalę, gdzie czas trenowania Random Forest jest zbyt duży.

Jak to działa

Jak to działa

1

W przeciwieństwie do Random Forest, Extra Trees domyślnie trenuje każde drzewo na całym zbiorze treningowym, a nie na próbce bootstrapowej. Zmniejsza to błąd systematyczny wprowadzany przez próbkowanie, ale oznacza, że nie ma wbudowanego zbioru out-of-bag; dlatego do rzetelnej oceny błędu potrzebna jest walidacja krzyżowa.

2

W każdym węźle wewnętrznym losowany jest podzbiór cech. Dla każdej cechy kandydującej próg podziału jest próbkowany równomiernie losowo z zaobserwowanego zakresu wartości tej cechy — nie przeprowadza się wyszukiwania optymalnego punktu odcięcia. Wybierana jest para cecha-próg dająca najlepszy wynik (np. redukcja nieczystości Giniego) spośród tych losowych kandydatów.

3

Drzewa są domyślnie rozwijane do pełnej głębokości, co oznacza, że liście są tak czyste, jak to tylko możliwe. Pełna głębokość, w połączeniu z randomizowanymi podziałami, jest tym, co obniża wariancję w całym zespole: poszczególne drzewa mają wysoką wariancję, ale są bardzo zróżnicowane.

4

Prognozy ze wszystkich drzew są łączone: głosowanie większościowe dla klasyfikacji i średnia wyjściowa dla regresji. Duża różnorodność między drzewami oznacza, że indywidualne błędy mają tendencję do wzajemnego znoszenia się, co czyni zespół bardziej stabilnym niż pojedyncze drzewo.

Wzór
\hat{y} = \text{mode/mean of } T \text{ trees}

Częste pułapki

  • Pomijanie walidacji krzyżowej i poleganie na dokładności w próbce, ponieważ domyślnie nie jest generowana estymacja OOB.
  • Ignorowanie braku równowagi klas — użyj class_weight='balanced' lub ponownego próbkowania przed dopasowaniem.
  • Raportowanie tylko dokładności bez uzupełniających metryk, takich jak F1, AUC lub RMSE.
  • Traktowanie rankingów ważności cech jako stabilnych bez sprawdzania powtarzalności w różnych ziarnach.

Najczęściej zadawane pytania

Czym Extra Trees różni się od Random Forest?

Oba są zespołami drzew decyzyjnych z losowymi podzbiorami cech przy każdym podziale. Kluczowa różnica polega na tym, że Extra Trees wybiera progi podziału całkowicie losowo, zamiast je optymalizować, i domyślnie trenuje na pełnym zbiorze treningowym, a nie na próbkach bootstrapowych. To sprawia, że Extra Trees jest szybsze i zazwyczaj produkuje bardziej zróżnicowane, mniej skorelowane drzewa.

Co powinienem preferować — Extra Trees czy Random Forest?

Gdy szybkość trenowania ma znaczenie lub dane są stosunkowo czyste, Extra Trees często dorównuje lub przewyższa dokładność Random Forest przy niższych kosztach obliczeniowych. Jeśli potrzebujesz wbudowanej estymacji out-of-bag lub twoje dane są zaszumione (gdzie lepsze progi podziału pomagają), Random Forest jest bezpieczniejszy.

Ile drzew potrzebuję?

Zacznij od 100 drzew i zwiększaj ich liczbę, aż wydajność ustabilizuje się na zbiorze walidacyjnym lub w walidacji krzyżowej. Więcej drzew poprawia stabilność, ale zwiększa zużycie pamięci i opóźnienie prognozowania.

Czy Extra Trees nadmiernie dopasowuje się (overfit)?

Poszczególne drzewa są rozwijane do pełnej głębokości i mogą nadmiernie dopasowywać się w izolacji, ale uśrednianie zespołu silnie redukuje wariancję. Nadmierne dopasowanie całego zespołu jest ogólnie rzadkie, chociaż na bardzo małych zbiorach danych z wieloma cechami nadal może wystąpić.

Jak ocenić wydajność modelu bez zbioru OOB?

Użyj walidacji krzyżowej k-krotnej — zazwyczaj 5 lub 10 fałd. Oceniaj zadania klasyfikacji za pomocą dokładności, F1 i AUC; oceniaj zadania regresji za pomocą RMSE i R-squared.

Pokrewne metody

Źródła

  1. Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Extra-Trees. Wikipedia.

    Otwórz odnośnik do publikacji
    Skopiowano.