Przejdź do treści
Wróć do wyników wyszukiwania

Regularyzowana regresja logistyczna

Autor metody
Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
Rok
1996–2005
Typ
Penalized classification model
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Regularyzowana regresja logistyczna rozszerza standardową regresję logistyczną o dodanie kary L1 (lasso), L2 (ridge) lub elastic net do log-wiarygodności, kurcząc współczynniki w kierunku zera i zapobiegając przeuczeniu.

Jest to domyślny wybór dla klasyfikacji binarnej lub wielomianowej, gdy pożądane są interpretowalne, rzadkie lub stabilne oszacowania współczynników w przestrzeniach cech o wysokiej wymiarowości lub skorelowanych.

Intuicja stojąca za metodą

Standardowa regresja logistyczna maksymalizuje prawdopodobieństwo obserwowanych etykiet klas. W ustawieniach o wysokiej wymiarowości — wiele cech, mało obserwacji lub skorelowane predyktory — oszacowane współczynniki mogą eksplodować lub gwałtownie się wahać, powodując słabą generalizację. Regularyzacja ogranicza wielkości współczynników, dodając karę, która rośnie wraz z wielkością współczynnika, wymieniając niewielką ilość dopasowania do zbioru treningowego na znacznie lepszą generalizację. Kara L1 zeruje niektóre współczynniki (automatyczny wybór cech), kara L2 płynnie kurczy wszystkie współczynniki bez ich zerowania, a elastic net łączy oba zachowania.

Historia

Regresja ridge została sformalizowana przez Hoerla i Kennarda w 1970 roku i zastosowana do uogólnionych modeli liniowych, w tym regresji logistycznej. Praca Tibshiraniego z 1996 roku nad lasso wprowadziła regularyzację L1 z rzadkimi rozwiązaniami, przekształcając modelowanie o wysokiej wymiarowości. Zou i Hastie (2005) połączyli obie kary w elastic net, rozwiązując ograniczenie lasso w przypadku grup skorelowanych cech. Obecnie regularyzowana regresja logistyczna jest podstawowym algorytmem w scikit-learn, glmnet (R) i LIBLINEAR, i jest rutynowo używana jako model porównawczy w zastosowaniach biomedycznych i NLP.

Kiedy stosować

Używaj regularyzowanej regresji logistycznej do klasyfikacji binarnej lub wielomianowej, gdy potrzebujesz interpretowalnych probabilistycznych wyników, gdy liczba cech jest duża w stosunku do wielkości próby, lub gdy predyktory są skorelowane. Jest to preferowany model początkowy w predykcji klinicznej, klasyfikacji tekstu z cechami bag-of-words i badaniach biomarkerów o wysokiej wymiarowości. Wybierz L1, gdy potrzebny jest automatyczny wybór cech, L2 dla stabilnego oszacowania współczynników, a elastic net, gdy cechy występują w skorelowanych grupach. Unikaj go, gdy zależność między wynikiem a cechą jest silnie nieliniowa lub gdy istnieją silne efekty interakcji, których liniowa formuła log-odds nie może uchwycić; wtedy bardziej odpowiednie mogą być zespoły drzew lub metody jądrowe.

Ograniczenia i uwagi

  • Zakłada liniową zależność między cechami a logarytmem szansy; nie może uchwycić nieliniowych efektów ani efektów interakcji bez ręcznego inżynierii cech.
  • Wymaga, aby wynik był kategoryczny; wyniki ciągłe wymagają regresji liniowej (nie logistycznej).
  • Wydajność spada, gdy istotne cechy silnie oddziałują na siebie, ponieważ model jest addytywny w logarytmie szansy.
  • Optymalna lambda musi być wybrana przez walidację krzyżową, co dodaje obliczeń i krok strojenia.
  • Silnie niezbalansowane klasy mogą zniekształcać przewidywane prawdopodobieństwa w kierunku klasy większościowej bez ponownego ważenia.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Generuje skalibrowane prawdopodobieństwa klas i interpretowalne, podpisane współczynniki, w przeciwieństwie do większości klasyfikatorów typu black-box.
  • Kara L1 wykonuje automatyczny wybór cech, dając rzadkie modele, które są łatwe do zgłoszenia.
  • Solidnie radzi sobie z przestrzeniami cech o wysokiej wymiarowości (p >> n) dzięki kurczeniu współczynników.
  • Kara elastic net sprawnie radzi sobie z grupami skorelowanych cech, rozkładając wagę na powiązane predyktory.
  • Bardzo szybkie dopasowanie nawet na dużych zbiorach danych przy użyciu solverów zstępowania współrzędnych; skaluje się do milionów obserwacji.

Zastosowania

  • Kliniczne wyniki ryzyka i klasyfikatory diagnostyczne z wysokowymiarowych paneli biomarkerów.
  • Klasyfikacja tekstu z cechami bag-of-words lub TF-IDF, gdzie L1 daje interpretowalne, rzadkie wagi słów.
  • Genomika i proteomika, gdzie liczba cech znacznie przewyższa wielkość próby.
  • Ocena zdolności kredytowej i wykrywanie oszustw wymagające wyników prawdopodobieństwa dla decyzji opartych na progu.
  • Podstawowy model porównawczy klasyfikacji przed oceną bardziej złożonych modeli zespołowych lub głębokiego uczenia.

Jak to działa

Jak to działa

1

Liniowa kombinacja cech przewiduje logarytm szansy (log-odds) klasy pozytywnej. Funkcja sigmoidalna przekształca logarytm szansy w prawdopodobieństwo między 0 a 1, dzięki czemu wynik jest bezpośrednio interpretowalny jako prawdopodobieństwo klasy.

Wzór
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}
2

Celem optymalizacji jest ujemna log-wiarygodność (entropia krzyżowa) plus człon kary. Kara skaluje się wraz z wielkościami współczynników, kontrolowana przez hiperparametr lambda (siła) i alpha (mieszanka L1/L2). Większa lambda nakłada cięższe kurczenie; alpha=1 daje czyste lasso, alpha=0 daje czyste ridge.

Wzór
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]
3

Wybór kary determinuje zachowanie: L1 (lasso) daje rzadkie rozwiązania, zerując nieistotne cechy i jest preferowane, gdy pożądany jest wybór cech. L2 (ridge) jest preferowane, gdy oczekuje się, że wszystkie cechy będą miały wkład, a korelacja jest wysoka. Elastic net (alpha między 0 a 1) lepiej radzi sobie z grupami skorelowanych cech niż samo lasso.

4

Kara strat jest minimalizowana za pomocą algorytmów iteracyjnych, takich jak zstępowanie współrzędnych (solvery liblinear/saga w scikit-learn). Optymalna lambda jest określana przez walidację krzyżową, zazwyczaj na siatce logarytmicznej. Standaryzacja cech przed dopasowaniem jest niezbędna, aby kara była stosowana konsekwentnie do wszystkich predyktorów.

5

Przewidywane prawdopodobieństwa są konwertowane na etykiety klas za pomocą progu decyzyjnego, zazwyczaj domyślnie 0,5. W niezbalansowanych ustawieniach próg powinien być dostosowany, aby zrównoważyć precyzję i czułość zgodnie z strukturą kosztów aplikacji.

Wzór
\hat{y} = \mathbf{1}[\hat{p} \ge t]

Częste pułapki

  • Dopasowanie bez standaryzacji cech: kara traktuje wszystkie współczynniki jednakowo, więc cechy o różnych skalach otrzymują nierównomierne kurczenie, zniekształcając rozwiązanie.
  • Użycie domyślnego progu 0,5 bez sprawdzania kalibracji i równowagi klas, co po cichu obniża czułość dla klasy mniejszościowej.
  • Raportowanie tylko dokładności zamiast AUC, F1 i metryk kalibracji, maskując słabą wydajność klasy mniejszościowej.
  • Pominięcie walidacji krzyżowej do wyboru lambda i zamiast tego ocena na danych treningowych, co prowadzi do przeuczenia modeli.
  • Interpretowanie współczynników wybranych przez lasso jako przyczynowych bez uwzględnienia błędu zmiennych pominiętych i niestabilności wyboru zmiennych w pobliżu granicy decyzyjnej.

Najczęściej zadawane pytania

Jak wybrać między L1, L2 i elastic net?

Użyj L1, gdy uważasz, że tylko podzbiór cech jest istotny i chcesz automatycznego wyboru. Użyj L2, gdy wszystkie cechy prawdopodobnie mają wkład lub predyktory są silnie skorelowane, ponieważ ridge rozkłada wagę na skorelowane grupy. Użyj elastic net, gdy potrzebujesz rzadkości, ale masz również bloki skorelowanych cech; dostrój alpha wraz z lambda za pomocą zagnieżdżonej walidacji krzyżowej.

Czy muszę standaryzować cechy przed dopasowaniem?

Tak, zawsze. Człon kary traktuje wszystkie współczynniki jednakowo, więc cecha o dużych wartościach liczbowych otrzyma proporcjonalnie mniejsze kurczenie, chyba że zostanie zestandaryzowana. Wyrównaj i przeskaluj każdą cechę do średniej zero i jednostkowej wariancji przed dopasowaniem i zastosuj tę samą transformację do danych testowych.

Jak wybierana jest lambda?

Lambda jest hiperparametrem wybieranym przez walidację krzyżową, zazwyczaj k-krotną (k=5 lub 10) na siatce logarytmicznej. W R glmnet cv.glmnet automatyzuje ten proces. W scikit-learn LogisticRegressionCV lub GridSearchCV z walidacją krzyżową na odwrotnej sile regularyzacji C (C=1/lambda) powinny być używane.

Czy regularyzowana regresja logistyczna daje skalibrowane prawdopodobieństwa?

Generalnie tak, lepiej niż zespoły drzew, ponieważ regresja logistyczna bezpośrednio modeluje prawdopodobieństwa klas za pomocą sigmoidy. Jednak ekstremalna regularyzacja może skompresować przewidywane prawdopodobieństwa w kierunku 0,5. Skalowanie Platza lub regresja izotoniczna mogą skalibrować w razie potrzeby.

Jak radzić sobie z niezbalansowanymi klasami?

Ustaw class_weight='balanced' (scikit-learn), aby obserwacje klasy mniejszościowej otrzymały wyższą wagę straty, lub ręcznie przeskaluj zbiór treningowy. Dostrój również próg decyzyjny za pomocą krzywej precyzja-czułość, zamiast ustalać go na 0,5.

Pokrewne metody

Źródła

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.

    ISBN: 978-0-387-84857-0
    Skopiowano.