Regularyzacja grzbietowa (Ridge Regression)
- Autor metody
- Hoerl, A.E. & Kennard, R.W.
- Rok
- 1970
- Typ
- L2-regularized linear regression
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Regularyzacja grzbietowa (Ridge Regression) to metoda regresji liniowej z regularyzacją L2, wprowadzona przez Arthura Hoerla i Roberta Kennarda w 1970 roku, która redukuje współliniowość poprzez dodanie kary za wielkość współczynników.
Zmniejsza ona współczynniki w kierunku zera, nie zerując żadnego z nich dokładnie, co prowadzi do stabilniejszych estymacji, gdy predyktory są silnie skorelowane.
Intuicja stojąca za metodą
Gdy predyktory są silnie skorelowane, współczynniki zwykłej metody najmniejszych kwadratów stają się niestabilne i mogą gwałtownie zmieniać się między próbkami. Regularyzacja grzbietowa świadomie akceptuje niewielki błąd systematyczny w zamian za znacznie niższą wariancję: poprzez dodanie kary za kwadratową wielkość współczynników, łagodzi te gwałtowne zmiany i utrzymuje wszystkie zmienne w modelu, jedynie z mniejszymi, stabilniejszymi wagami.
Historia
Regularyzacja grzbietowa została wprowadzona przez Arthura E. Hoerla i Roberta W. Kennarda w 1970 roku jako sposób na uzyskanie obciążonych, ale bardziej stabilnych estymacji dla problemów nieortogonalnych (współliniowych), gdzie zwykła metoda najmniejszych kwadratów zawodzi. Idea dodania kary L2 stała się fundamentalnym narzędziem regularyzowanej regresji i bezpośrednim prekursorem późniejszych metod, takich jak LASSO i Elastic Net, które łączą lub kontrastują jej zachowanie zmniejszające z jawną selekcją zmiennych.
Kiedy stosować
Używaj regularyzacji grzbietowej do prognozowania z predyktorami ciągłymi, binarnymi lub zliczeniowymi, gdy występuje współliniowość — na przykład, gdy współczynnik inflacji wariancji przekracza 10 — i chcesz zachować wszystkie zmienne zamiast wybierać spośród nich. Zakłada ona w przybliżeniu liniową zależność i co najmniej około 30 obserwacji. Cechy muszą być wcześniej standaryzowane. Gdy próbek jest mało, a współliniowość jest łagodna, zwykła regresja liniowa jest bardziej interpretowalna; gdy celem jest selekcja zmiennych, preferowane jest LASSO lub Elastic Net.
Ograniczenia i uwagi
- Nie przeprowadza selekcji zmiennych; nie może zerować nieistotnych predyktorów, tak jak LASSO.
- Wymaga standaryzacji cech, w przeciwnym razie kara niesprawiedliwie faworyzuje zmienne o dużej skali.
- Zakłada liniową zależność między predyktorami a zmienną zależną.
- Przy małych próbkach (n poniżej około 30) strojenie alpha za pomocą walidacji krzyżowej jest niewiarygodne, a zwykła metoda OLS może wystarczyć.
- Gdy współliniowość faktycznie nie stanowi problemu, zmniejszenie jest niepotrzebne i zmniejsza interpretowalność.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Redukuje współliniowość i stabilizuje estymacje współczynników poprzez dodanie kary L2.
- Zachowuje każdego predyktora w modelu — współczynniki są zmniejszane, ale żaden nie jest zerowany.
- Obniża wariancję kosztem niewielkiego, kontrolowanego wzrostu błędu systematycznego, często poprawiając prognozę.
- Posiada pojedynczy, łatwy do dostrojenia hiperparametr (alpha) wybierany za pomocą walidacji krzyżowej.
- Działa z predyktorami ciągłymi, binarnymi i zliczeniowymi bez wymogu normalnego rozkładu danych.
Zastosowania
- Prognozowanie z wieloma skorelowanymi predyktorami, gdzie współliniowość zawyża wariancję OLS.
- Stabilizacja współczynników regresji, gdy współczynniki inflacji wariancji są wysokie (VIF powyżej 10).
- Modelowanie, gdy wszystkie predyktory powinny zostać zachowane, a nie wybrane.
- Regularyzowana linia bazowa przed porównaniem z LASSO lub Elastic Net.
Jak to działa
Jak to działa
Zwykła metoda najmniejszych kwadratów dopasowuje współczynniki, minimalizując jedynie błąd kwadratowy. Gdy dwa lub więcej predyktorów jest niemal redundantnych (współliniowość), współczynniki są słabo określone i wysoce wrażliwe na szum. Regularyzacja grzbietowa rozwiązuje ten problem, zniechęcając do dużych współczynników, wymieniając niewielki błąd systematyczny na znacznie większą stabilność.
Regularyzacja grzbietowa minimalizuje zwykłą sumę błędów kwadratowych plus karę równą stałej strojenia alpha pomnożonej przez sumę kwadratów współczynników. Ta kara L2 zmniejsza wszystkie współczynniki w kierunku zera proporcjonalnie do ich wielkości, ale w przeciwieństwie do LASSO nigdy nie wymusza zerowania żadnego współczynnika, więc każdy predyktor jest zachowany. Wymagane jest wcześniejsze standaryzowanie cech, aby kara traktowała każdy predyktor sprawiedliwie.
Wzór
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2Siła kary jest kontrolowana przez alpha: większe wartości bardziej zmniejszają współczynniki. Właściwa wartość jest wybierana za pomocą walidacji krzyżowej, zazwyczaj poprzez skanowanie zakresu alpha i wybór tej wartości, która minimalizuje średni błąd kwadratowy z walidacji krzyżowej.
Częste pułapki
- Dopasowanie regularyzacji grzbietowej na surowych, niestandaryzowanych cechach, tak aby kara zniekształcała współczynniki.
- Wybór alpha ręcznie zamiast wybierania go za pomocą walidacji krzyżowej.
- Stosowanie regularyzacji grzbietowej, gdy nie istnieje rzeczywista współliniowość, zmniejszając współczynniki bez korzyści.
- Oczekiwanie selekcji zmiennych — regularyzacja grzbietowa zachowuje wszystkie zmienne, więc sięgnij po LASSO lub Elastic Net, jeśli potrzebujesz rzadkości.
- Pomijanie diagnostyki reszt (normalność, homoskedastyczność) po dopasowaniu.
Najczęściej zadawane pytania
Czym regularyzacja grzbietowa różni się od LASSO?
Obie metody dodają karę do zmniejszania współczynników, ale regularyzacja grzbietowa używa kary L2, która zmniejsza współczynniki w kierunku zera, nigdy go nie osiągając, więc wszyscy predyktorzy pozostają w modelu. LASSO używa kary L1, która może ustawić współczynniki dokładnie na zero, przeprowadzając selekcję zmiennych. Wybierz regularyzację grzbietową do stabilizacji skorelowanych predyktorów, a LASSO, gdy potrzebujesz rzadkiego modelu.
Czy muszę standaryzować moje cechy?
Tak. Standaryzacja cech jest wymagana, ponieważ kara L2 działa na wielkość współczynników; bez standaryzacji kara niesprawiedliwie zmniejszałaby zmienne mierzone w większych skalach.
Jak wybrać siłę kary alpha?
Wybierz alpha za pomocą walidacji krzyżowej: przeskanuj zakres wartości i wybierz tę, która minimalizuje średni błąd kwadratowy z walidacji krzyżowej. Wykres krzywej MSE z walidacji krzyżowej w funkcji alpha pokazuje, gdzie leży optimum.
Kiedy nie powinienem używać regularyzacji grzbietowej?
Jeśli nie ma rzeczywistej współliniowości, regularyzacja grzbietowa dodaje niepotrzebne zmniejszenie, a zwykła regresja liniowa jest bardziej interpretowalna. Przy bardzo małych próbkach (n poniżej około 30) strojenie alpha jest niewiarygodne, a jeśli musisz usunąć nieistotne zmienne, powinieneś zamiast tego użyć LASSO lub Elastic Net.
Pokrewne metody
Źródła
Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.
Otwórz odnośnik DOISkopiowano.