Regularyzowana regresja liniowa
- Autor metody
- Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
- Rok
- 1970–2005
- Typ
- Penalized linear model
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Regularyzowana regresja liniowa dodaje człon kary do funkcji celu zwykłej metody najmniejszych kwadratów, zmniejszając lub zerując współczynniki w celu redukcji przeuczenia i radzenia sobie z współliniowością.
Trzy główne warianty — Ridge (kara L2), Lasso (kara L1) i Elastic Net (połączone L1+L2) — sprawiają, że regresja liniowa jest użyteczna nawet wtedy, gdy liczba cech przewyższa liczbę obserwacji lub predyktory są silnie skorelowane.
Intuicja stojąca za metodą
Zwykła metoda najmniejszych kwadratów przypisuje każdemu predyktorowi dokładnie taki współczynnik, który minimalizuje błąd w próbie, co może prowadzić do bardzo dużych, niestabilnych współczynników, gdy predyktory są skorelowane lub gdy zbiór danych ma wiele cech. Regularyzacja "ściąga" te współczynniki w kierunku zera — stanowczo, ale sprawiedliwie — dzięki czemu model traci nieco dokładności treningowej w zamian za znacznie lepszą generalizację. Ridge proporcjonalnie zmniejsza wszystkie współczynniki; Lasso idzie dalej i może ustawić niektóre z nich dokładnie na zero, efektywnie dokonując selekcji cech; Elastic Net łączy obie strategie i działa, gdy skorelowane predyktory muszą być traktowane razem.
Historia
Regresja Ridge została wprowadzona przez Hoerla i Kennarda w 1970 roku jako środek zaradczy na współliniowość w zwykłej metodzie najmniejszych kwadratów. Artykuł Tibshiraniego z 1996 roku o Lasso dodał regularyzację L1 i możliwość zmniejszania współczynników dokładnie do zera, umożliwiając automatyczną selekcję cech. Zou i Hastie rozszerzyli te idee w 2005 roku za pomocą Elastic Net, łącząc kary L1 i L2 w celu radzenia sobie z grupami skorelowanych predyktorów. Te trzy metody tworzą kanoniczny zestaw narzędzi regularyzacyjnych dla modeli liniowych i są podstawą książek The Elements of Statistical Learning oraz An Introduction to Statistical Learning.
Kiedy stosować
Użyj regularyzowanej regresji liniowej, gdy przewidujesz ciągły wynik na podstawie wielu cech numerycznych i podejrzewasz przynajmniej pewien stopień współliniowości, lub gdy liczba cech jest duża w stosunku do rozmiaru próbki. Ridge jest domyślnym wyborem, gdy wszystkie cechy są prawdopodobnie istotne; Lasso lub Elastic Net, gdy potrzebna jest automatyczna selekcja cech. Preferuj zwykłą (nieukaraną) regresję liniową tylko wtedy, gdy cech jest niewiele, są nieskorelowane, a próbka jest duża. Nie używaj żadnego wariantu liniowego, gdy wynik jest wyraźnie nieliniowy lub gdy jest binarny lub kategoryczny — zamiast tego użyj regresji logistycznej lub metod opartych na drzewach.
Ograniczenia i uwagi
- Zakłada liniową zależność między cechami a ciągłym celem; pomija wzorce nieliniowe, chyba że cechy są ręcznie inżynieryzowane.
- Standaryzacja cech jest obowiązkowa przed dopasowaniem; zapomnienie o tym kroku zniekształca oszacowania współczynników.
- Lasso działa słabo, gdy istnieje wiele prawdziwie istotnych skorelowanych predyktorów — arbitralnie wybiera jeden z nich i odrzuca pozostałe; Elastic Net jest bezpieczniejszym wyborem w takiej sytuacji.
- Ridge zachowuje wszystkie cechy i nie tworzy modelu rzadkiego, co może komplikować interpretację, gdy przestrzeń cech jest bardzo wysokowymiarowa.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Generuje w pełni interpretowalne współczynniki liniowe z jawnymi rozmiarami i kierunkami efektów.
- Elegancko radzi sobie z współliniowością — Ridge redystrybuuje współczynniki między skorelowane predyktory; Lasso wybiera jeden z grupy.
- Lasso i Elastic Net wykonują wbudowaną selekcję cech, ustawiając nieistotne współczynniki dokładnie na zero.
- Efektywny obliczeniowo nawet na dużych zbiorach danych; skaluje się do milionów obserwacji dzięki metodzie spadku współrzędnych.
- Selekcja lambda za pomocą walidacji krzyżowej jest dobrze wspierana we wszystkich głównych programach statystycznych (scikit-learn, glmnet, statsmodels).
Zastosowania
- Genomika i bioinformatyka: przewidywanie ciągłych fenotypów na podstawie tysięcy markerów genetycznych, gdzie p >> n.
- Ekonomia i nauki społeczne: szacowanie wpływu wielu zmiennych politycznych na ciągłe wyniki, kontrolując jednocześnie współliniowość.
- Inżynieria: przewidywanie wielkości fizycznych na podstawie tablic czujników z skorelowanymi pomiarami.
- Potok selekcji cech: Lasso lub Elastic Net używane na wcześniejszym etapie do identyfikacji małego zbioru predyktorów przed dopasowaniem bardziej złożonego modelu.
- Finanse: prognozowanie zwrotów lub miar ryzyka na podstawie wielu czynników makroekonomicznych i rynkowych.
- Opieka zdrowotna: przewidywanie ciągłych wyników klinicznych na podstawie dużych paneli wartości laboratoryjnych lub cech pochodzących z obrazowania.
Jak to działa
Jak to działa
Przed dopasowaniem wszystkie predyktory są standaryzowane (średnia zero, wariancja jednostkowa). Jest to obowiązkowe, ponieważ kara jest stosowana jednakowo do każdego współczynnika — bez standaryzacji cechy o większych skalach byłyby karane silniej, zniekształcając oszacowania współczynników.
Praktyk wybiera typ kary: Ridge używa sumy kwadratów współczynników (norma L2), co zmniejsza wszystkie współczynniki, ale nigdy nie zeruje żadnego. Lasso używa sumy wartości bezwzględnych (norma L1), co może zmniejszyć niektóre współczynniki dokładnie do zera, wykonując automatyczną selekcję cech. Elastic Net liniowo łączy L1 i L2, kontrolowane przez parametr mieszania alpha, i jest szczególnie użyteczny, gdy kilka skorelowanych predyktorów jest istotnych.
Wzór
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2Model minimalizuje ukaraną funkcję celu — sumę kwadratów reszt plus wybraną karę skalowaną przez siłę regularyzacji lambda. Dla Ridge ma to rozwiązanie w postaci zamkniętej; Lasso i Elastic Net wymagają optymalizacji metodą spadku współrzędnych lub subgradientu, ponieważ kara L1 nie jest różniczkowalna w zerze.
Wzór
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]Siła regularyzacji lambda jest hiperparametrem, który musi być dostrojony za pomocą walidacji krzyżowej, zazwyczaj w siatce logarytmicznej. Lambda równa zero przywraca zwykłą metodę najmniejszych kwadratów; bardzo duża lambda "ściąga" wszystkie współczynniki w kierunku zera. Optymalna lambda równoważy obciążenie i wariancję dla danego zbioru danych.
Po ustaleniu lambda i oszacowaniu współczynników, predykcja dla nowych obserwacji jest identyczna jak w zwykłej regresji liniowej: iloczyn skalarny cech i oszacowanych współczynników. Model pozostaje w pełni interpretowalny pod względem efektów liniowych.
Wzór
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}Częste pułapki
- Dopasowanie bez standaryzacji predyktorów, przez co cechy o większych skalach są bardziej karane, a współczynniki nie są porównywalne.
- Użycie domyślnej lambdy zamiast wyboru jej za pomocą walidacji krzyżowej — błędna lambda albo niedostatecznie regularyzuje (blisko zwykłej metody najmniejszych kwadratów), albo nadmiernie regularyzuje (współczynniki zbiegają do zera).
- Zastosowanie regularyzowanej regresji liniowej do wyniku binarnego lub zliczeniowego, gdy zamiast tego należy użyć regresji logistycznej lub regresji Poissona.
- Raportowanie wyników selekcji zmiennych przez Lasso tak, jakby były konfirmacyjne — selekcja Lasso jest wrażliwa na zbiór danych i lambdę, więc traktuj wybrane zmienne jako eksploracyjne.
- Ignorowanie założenia liniowości i raportowanie słabo dopasowanego modelu regularyzowanego bez sprawdzania reszt.
Najczęściej zadawane pytania
Kiedy powinienem wybrać Ridge zamiast Lasso?
Wybierz Ridge, gdy uważasz, że większość predyktorów przyczynia się do wyniku i chcesz stabilnych oszacowań współczynników bez zerowania żadnego — na przykład, gdy predyktory są silnie skorelowane i chcesz zachować wszystkie z nich. Wybierz Lasso lub Elastic Net, gdy spodziewasz się, że wiele cech będzie nieistotnych i chcesz automatycznej selekcji cech.
Czy nadal otrzymuję wartości p i przedziały ufności?
Klasyczne wartości p i błędy standardowe nie są dostępne bezpośrednio z regresji z karą, ponieważ oszacowania współczynników są z założenia obciążone. Istnieją metody wnioskowania po selekcji (np. desparsified Lasso), ale rzadko są używane w praktyce; zamiast tego raportuje się przedziały ufności bootstrap lub miary stabilności walidacji krzyżowej.
Jak wybrać siłę regularyzacji lambda?
Wybierz lambda za pomocą k-krotnej walidacji krzyżowej (zazwyczaj k = 5 lub 10) w siatce logarytmicznej. Biblioteki takie jak RidgeCV i LassoCV w scikit-learn lub glmnet w R robią to automatycznie. Zgłoś wybraną lambdę i zanotuj, czy została wybrana przez minimalny błąd walidacji krzyżowej, czy przez regułę jednego błędu standardowego.
Czy regularyzowana regresja liniowa wymaga normalnie rozłożonych cech?
Nie. Podobnie jak w zwykłej metodzie najmniejszych kwadratów, założenie dotyczy reszt (w przybliżeniu normalne, homoskedastyczne), a nie predyktorów. Silnie skośne lub obciążone wartościami odstającymi predyktory nadal mogą zniekształcać oszacowania, więc transformacja logarytmiczna skośnych danych wejściowych jest często stosowanym krokiem wstępnego przetwarzania.
Czym jest Elastic Net i kiedy jest preferowany?
Elastic Net łączy kary L1 i L2, kontrolowane przez parametr mieszania alpha (alpha = 1 to czyste Lasso; alpha = 0 to czyste Ridge). Jest preferowany, gdy grupy skorelowanych predyktorów są wszystkie istotne — Lasso arbitralnie wybrałoby jeden z grupy i odrzuciło resztę, podczas gdy Elastic Net ma tendencję do utrzymywania grupy razem.
Pokrewne metody
Źródła
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
Otwórz odnośnik DOISkopiowano.Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.
ISBN: 978-0-387-84858-7Skopiowano.