Regresja Lasso
- Autor metody
- Tibshirani, R.
- Rok
- 1996
- Typ
- Regularized linear regression (L1 penalty)
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Regresja Lasso, wprowadzona przez Roberta Tibshiraniego w 1996 roku, jest metodą regresji liniowej dodającą karę L1 do funkcji straty, co powoduje kurczenie się współczynników i jednoczesne wykonywanie selekcji zmiennych, prowadząc do uzyskania modelu rzadkiego (sparse model).
Poprzez zerowanie niektórych współczynników, metoda zachowuje tylko istotnych predyktorów.
Intuicja stojąca za metodą
Metoda najmniejszych kwadratów dopasowuje każdy predyktor i może rozkładać wagę na wiele skorelowanych lub nieistotnych zmiennych, co zwiększa wariancję i zaciemnia, które cechy faktycznie wpływają na wynik. Lasso dodaje ograniczenie na całkowitą wielkość współczynników: w miarę zaostrzania tego ograniczenia, słabe predyktory są całkowicie zerowane i usuwane z modelu. Rezultatem jest mniejszy, bardziej stabilny zbiór zmiennych, który jest łatwiejszy do interpretacji.
Historia
Lasso zostało wprowadzone przez Roberta Tibshiraniego w 1996 roku jako sposób na połączenie kurczenia regresji z karą z automatyczną selekcją zmiennych, przy użyciu kary L1 na współczynniki. Stało się ono kamieniem węgielnym statystyki wysokowymiarowej i zainspirowało powiązane metody, takie jak regresja grzbietowa i sieć elastyczna, które stosują kompromis lub kombinację kar L1 i L2.
Kiedy stosować
Dobre dopasowanie, gdy potrzebny jest rzadki, interpretowalny model liniowy do predykcji lub wyjaśnienia, z wielu ciągłych, binarnych lub zliczeniowych predyktorów i co najmniej około 30 obserwacji. Jest szczególnie użyteczny, gdy występuje współliniowość (na przykład VIF powyżej 10) i chcemy, aby metoda sama wybrała zmienne do zachowania. Zakłada w przybliżeniu liniową zależność i wymaga standaryzacji cech. Poniżej około 30 obserwacji selekcja zmiennych staje się niestabilna, a regresja grzbietowa (ridge regression) jest bezpieczniejsza; gdy liczba predyktorów przekracza wielkość próby, preferowana jest sieć elastyczna (elastic net).
Ograniczenia i uwagi
- Zakłada liniową zależność między predyktorami a wynikiem.
- Cechy muszą być najpierw standaryzowane, w przeciwnym razie kara traktuje zmienne o różnych skalach niesprawiedliwie.
- W małych próbach (n poniżej około 30) wybrane zmienne są niestabilne i niepowtarzalne.
- Gdy liczba predyktorów przekracza wielkość próby, może wybrać co najwyżej n zmiennych, dlatego preferowana jest sieć elastyczna.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wykonuje selekcję zmiennych i kurczenie współczynników w jednym dopasowaniu, dając rzadki, interpretowalny model.
- Zeruje słabe predyktory, co upraszcza model i redukuje nadmierne dopasowanie.
- Naturalna odpowiedź na współliniowość (wysoki VIF) bez ręcznego usuwania zmiennych.
- Nie wymaga danych o rozkładzie normalnym i obsługuje predyktory ciągłe, binarne i zliczeniowe.
- Tylko jeden parametr strojenia (lambda), który jest łatwy do ustawienia za pomocą walidacji krzyżowej.
Zastosowania
- Budowanie rzadkich, interpretowalnych modeli predykcyjnych z wielu kandydatów na predyktory.
- Automatyczna selekcja zmiennych przy obecności współliniowości (wysoki VIF).
- Ustawienia wysokowymiarowe, w których oczekuje się, że tylko podzbiór cech będzie miał znaczenie.
- Regularna baza przed próbą zastosowania sieci elastycznej lub bardziej złożonych modeli.
Jak to działa
Jak to działa
Lasso minimalizuje zwykłą sumę kwadratów reszt powiększoną o karę równą lambda razy sumę wartości bezwzględnych współczynników. Ta kara L1 jest cechą definiującą: im większa jest lambda, tym bardziej współczynniki są przyciągane do zera.
Wzór
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|Ponieważ kara L1 ma ostre narożniki, robi więcej niż tylko przyciąganie współczynników do zera – ustawia wiele z nich dokładnie na zero. Zmienne ze współczynnikiem zero są efektywnie usuwane, więc dopasowanie i selekcja zmiennych odbywają się w jednym kroku, a końcowy model jest rzadki.
Siła kary lambda kontroluje kompromis między dopasowaniem a rzadkością, dlatego jest wybierana za pomocą walidacji krzyżowej: próbuje się zakres wartości lambda i zachowuje tę, która minimalizuje błąd średniokwadratowy walidacji krzyżowej. Cechy muszą być najpierw standaryzowane, aby pojedyncza kara działała sprawiedliwie na predyktory o różnych skalach.
Częste pułapki
- Dopasowanie Lasso bez wcześniejszej standaryzacji cech.
- Wybieranie lambda ręcznie zamiast strojenia za pomocą walidacji krzyżowej.
- Ufanie wybranym zmiennym w bardzo małej próbie, gdzie selekcja jest niestabilna.
- Zapominanie o sprawdzeniu wykresów reszt pod kątem normalności i jednorodności po dopasowaniu.
- Ignorowanie faktu, że przy większej liczbie predyktorów niż obserwacji, Lasso ogranicza liczbę wybranych zmiennych.
Najczęściej zadawane pytania
Jak wybierana jest lambda?
Lambda kontroluje, jak silnie są karane współczynniki. Jest wybierana za pomocą walidacji krzyżowej: próbuje się zakres wartości i zachowuje tę, która minimalizuje błąd średniokwadratowy walidacji krzyżowej.
Dlaczego muszę standaryzować cechy?
Pojedyncza kara L1 stosuje się równo do każdego współczynnika, więc predyktory mierzone w większych skalach byłyby inaczej mniej karane. Wcześniejsza standaryzacja cech sprawia, że kara jest sprawiedliwa dla zmiennych.
Czym Lasso różni się od regresji grzbietowej?
Lasso używa kary L1, która może ustawić współczynniki dokładnie na zero, wykonując selekcję zmiennych, podczas gdy regresja grzbietowa używa kary L2, która kurczy współczynniki, ale ich nie zeruje. W małych próbach lub gdy selekcja jest niestabilna, regresja grzbietowa jest bezpieczniejszym wyborem.
Co należy sprawdzić po dopasowaniu?
Należy zbadać krzywą MSE walidacji krzyżowej, aby potwierdzić wybraną lambdę, przejrzeć, które zmienne zostały zachowane, a które wyzerowane, oraz przeanalizować wykresy reszt pod kątem normalności i jednorodności.
Pokrewne metody
Źródła
Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
Otwórz odnośnik DOISkopiowano.