Przejdź do treści
Wróć do wyników wyszukiwania

Elastic Net

Autor metody
Zou, H. & Hastie, T.
Rok
2005
Typ
Regularized linear regression (L1 + L2 penalty)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Elastic Net to regularizowana metoda regresji liniowej wprowadzona przez Zou i Hastie w 2005 roku, która łączy kary LASSO (L1) i Ridge (L2), dzięki czemu jednocześnie wykonuje selekcję zmiennych i kurczenie współczynników.

Jest przeznaczona do modelowania predykcyjnego i wyjaśniającego na danych z wieloma, potencjalnie skorelowanymi, predyktorami.

Intuicja stojąca za metodą

Zwykła regresja liniowa może prowadzić do przeuczenia i zachowuje się źle, gdy predyktory są skorelowane lub gdy cech jest więcej niż obserwacji. LASSO może zerować współczynniki, aby wybrać zmienne, ale ma trudności, gdy grupy predyktorów są skorelowane, podczas gdy Ridge płynnie kurczy wszystkich, ale nigdy nie usuwa zmiennej. Elastic Net miesza oba te podejścia: zachowuje zdolność LASSO do ustawiania niektórych współczynników dokładnie na zero, jednocześnie czerpiąc stabilność Ridge, dzięki czemu skorelowane predyktory są obsługiwane w sposób płynny, zamiast być wybieranymi arbitralnie.

Historia

Elastic Net został wprowadzony przez Hui Zou i Trevora Hastie w 2005 roku, aby przezwyciężyć dwie znane słabości LASSO: jego zmienne zachowanie, gdy predyktory są silnie skorelowane, oraz jego niezdolność do wybrania większej liczby zmiennych niż jest obserwacji. Dodając człon L2 w stylu Ridge do kary L1 LASSO, stworzyli estymator, który zarówno wybiera zmienne, jak i stabilizuje rozwiązanie, stając się standardowym narzędziem do regresji wysokowymiarowej.

Kiedy stosować

Używaj Elastic Net do predykcji lub wyjaśniania dla wyników ciągłych, binarnych lub liczbowych, gdy masz wiele predyktorów — zwłaszcza skorelowanych lub więcej cech niż obserwacji — i chcesz automatycznej selekcji zmiennych wraz z kurczeniem. Zakłada ona w przybliżeniu liniową zależność i że cechy zostały znormalizowane. Potrzebujesz co najmniej około 30 obserwacji, aby oba hiperparametry mogły być dostrojone za pomocą walidacji krzyżowej; poniżej tej liczby, zwykłe LASSO lub Ridge jest bezpieczniejsze.

Ograniczenia i uwagi

  • Zakłada przybliżoną liniową zależność między predyktorami a wynikiem.
  • Cechy muszą być najpierw znormalizowane, w przeciwnym razie kara niesprawiedliwie faworyzuje zmienne o dużej skali.
  • Dwa hiperparametry (siła kary i stosunek mieszania L1/L2) muszą być dostrojone, co wymaga więcej danych do walidacji krzyżowej niż metody z pojedynczą karą.
  • Dostrajanie obu hiperparametrów na zbyt małej liczbie obserwacji, co sprawia, że siatka walidacji krzyżowej jest niewiarygodna.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Łączy selekcję zmiennych LASSO z kurczeniem Ridge w jednym modelu.
  • Elegancko radzi sobie ze skorelowanymi predyktorami, zazwyczaj zachowując lub odrzucając je jako grupy.
  • Działa, gdy liczba cech przekracza liczbę obserwacji.
  • Lekki pod względem rozkładu: nie wymaga normalnie rozłożonych wyników i obsługuje cechy ciągłe, binarne i liczbowe.

Zastosowania

  • Regresja wysokowymiarowa, gdzie predyktory przewyższają liczbę obserwacji.
  • Badania genomowe i biomarkerowe z wieloma skorelowanymi cechami.
  • Modelowanie predykcyjne wymagające zarówno selekcji zmiennych, jak i solidnych współczynników.
  • Modelowanie wyjaśniające, gdzie kurczenie i przycinanie skorelowanych predyktorów wyjaśnia sygnał.

Jak to działa

Jak to działa

1

Model dopasowuje współczynniki, minimalizując zwykłą stratę kwadratową błędu plus połączoną karę: człon L1, który spycha niektóre współczynniki dokładnie na zero (selekcja), i człon L2, który płynnie je kurczy (stabilność). Siła całkowitej kary jest kontrolowana przez λ, a równowaga między obiema karami przez parametr mieszania (l1_ratio, oznaczony tutaj jako α).

Wzór
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

Dwa hiperparametry sterują dopasowaniem — ogólna siła kary i stosunek mieszania L1/L2 — i są wybierane za pomocą walidacji krzyżowej. Ponieważ istnieją dwa pokrętła do regulacji zamiast jednego, Elastic Net potrzebuje wystarczającej ilości danych (co najmniej około 30 obserwacji), aby siatka walidacji krzyżowej była wiarygodna. Predyktory należy najpierw standaryzować, aby kara traktowała każdą cechę w tej samej skali.

3

Dopasowany model zwraca rzadki zbiór współczynników: nieistotne predyktory są spychane do zera i usuwane, podczas gdy skorelowane predyktory są zazwyczaj zachowywane lub usuwane jako grupa, zamiast być wybieranymi losowo. Pozostałe współczynniki, po skurczeniu, dają bardziej stabilny i generalizowalny model niż regresja bez kary.

Częste pułapki

  • Dopasowanie bez wcześniejszej standaryzacji predyktorów.
  • Próba dostrojenia obu hiperparametrów na zbyt małej liczbie obserwacji, co czyni siatkę walidacji krzyżowej niewiarygodną.
  • Sięganie po Elastic Net, gdy wystarczy pojedyncza kara — LASSO, jeśli potrzebujesz tylko selekcji, Ridge, jeśli potrzebujesz tylko kurczenia.
  • Interpretowanie skurczonych współczynników jako nieobciążonych wielkości efektów.

Najczęściej zadawane pytania

Czym Elastic Net różni się od LASSO i Ridge?

LASSO używa tylko kary L1 (selekcja, ale niestabilna przy skorelowanych predyktorach); Ridge używa tylko kary L2 (stabilne kurczenie, ale nigdy nie usuwa zmiennych). Elastic Net łączy oba, kontrolowane przez stosunek mieszania, dzięki czemu wybiera zmienne i pozostaje stabilny przy skorelowanych cechach.

Czy muszę skalować moje cechy?

Tak. Kara działa na wielkość współczynników, więc cechy muszą być najpierw znormalizowane; w przeciwnym razie zmienne o dużej skali są karane inaczej, a selekcja jest obciążona.

Ile obserwacji potrzebuję?

Co najmniej około 30. Elastic Net dostraja dwa hiperparametry za pomocą walidacji krzyżowej, więc potrzebuje więcej danych niż metody z pojedynczą karą. Poniżej 30, użyj zwykłego LASSO, jeśli potrzebujesz selekcji, lub Ridge, jeśli potrzebujesz kurczenia.

Co kontrolują dwa hiperparametry?

Ogólna siła kary (λ) kontroluje, jak bardzo kurczone są współczynniki, a stosunek mieszania (l1_ratio) ustawia równowagę między karą selekcji L1 a karą kurczenia L2. Oba są wybierane za pomocą walidacji krzyżowej.

Pokrewne metody

Źródła

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    Otwórz odnośnik DOI
    Skopiowano.