Przejdź do treści
Wróć do wyników wyszukiwania

Regresja logistyczna (ML)

Autor metody
Cox, D. R.
Rok
1958
Typ
Probabilistic linear classifier
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Regresja logistyczna to podstawowy klasyfikator probabilistyczny, który modeluje logarytm szans (log-odds) binarnego (lub wielomianowego) wyniku jako liniową funkcję predyktorów.

Wprowadzona przez D. R. Coxa w 1958 r., pozostaje jedną z najszerzej stosowanych i najbardziej interpretowalnych metod klasyfikacji zarówno w statystyce, jak i uczeniu maszynowym, cenioną za skalibrowane prawdopodobieństwa wyjściowe i jasną interpretację współczynników.

Intuicja stojąca za metodą

Regresja logistyczna odpowiada na pytanie: przy danym zbiorze cech, jakie jest prawdopodobieństwo, że obserwacja należy do określonej klasy? Dopasowuje prostą linię do logarytmu szans wyniku, a następnie ściska ten liniowy wynik za pomocą krzywej sigmoidalnej (kształt litery S), aby uzyskać prawdopodobieństwo między 0 a 1. Współczynnik każdego predyktora bezpośrednio informuje, jak zmiana tej cechy o jedną jednostkę przesuwa logarytm szans klasy pozytywnej, co czyni model wysoce przejrzystym. Przewidywane prawdopodobieństwo powyżej 0,5 klasyfikuje się jako klasa pozytywna, chociaż ten próg jest regulowany.

Historia

David Cox sformalizował regresję logistyczną dla wyników binarnych w 1958 r., rozszerzając wcześniejsze prace nad modelami probitowymi. W latach 70.–80. XX wieku stała się standardowym klasyfikatorem w epidemiologii i naukach społecznych. Ramy maksymalnej wiarygodności, rozszerzone na wyniki wielomianowe i warianty z regularyzacją, zostały skonsolidowane przez Lasso Tibshiraniego (1996) i przez The Elements of Statistical Learning Hastiego, Tibshiraniego i Friedmana (2001). Dziś pozostaje kanonicznym interpretowalnym klasyfikatorem i jest wymaganą bazą w wielu wytycznych recenzenckich.

Kiedy stosować

Stosuj regresję logistyczną, gdy wynik jest binarny lub kategoryczny, wielkość próby jest co najmniej umiarkowana (reguła kciuka: n > 10 zdarzeń na predyktor) i wymagane są interpretowalne współczynniki lub skalibrowane prawdopodobieństwa. Jest to domyślny klasyfikator bazowy w naukach społecznych, medycynie i epidemiologii i powinien być wypróbowany przed bardziej złożonymi modelami. Unikaj, gdy granica decyzyjna jest silnie nieliniowa, gdy potrzebnych byłoby wiele członów interakcyjnych lub gdy dokładność predykcji na złożonych danych tabelarycznych jest ważniejsza niż interpretowalność – w takich przypadkach zespoły drzewiaste lub SVM zazwyczaj osiągają lepsze wyniki.

Ograniczenia i uwagi

  • Zakłada liniową zależność między cechami a logarytmem szans wyniku; nieliniowe wzorce wymagają ręcznego inżynierii cech lub modelu nieliniowego.
  • Wrażliwy na współliniowość między predyktorami: skorelowane cechy zwiększają błędy standardowe współczynników i destabilizują estymaty.
  • Wymaga rozsądnej liczby zdarzeń na predyktor (reguła kciuka: co najmniej 10); rzadkie klasy wyników powodują problemy ze zbieżnością i przeuczenie.
  • Może osiągać gorsze wyniki niż metody zespołowe (random forest, gradient boosting) na złożonych danych tabelarycznych z wieloma interakcjami.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Generuje skalibrowane prawdopodobieństwa klas, a nie tylko etykiety, które można bezpośrednio wykorzystać do szeregowania i ustalania progów decyzyjnych.
  • Współczynniki są interpretowalne jako ilorazy szans, spełniając standardy oczekiwane w badaniach klinicznych, społecznych i politycznych.
  • Szybki obliczeniowo i pamięciowo wydajny nawet na dużych zbiorach danych.
  • Warianty z regularyzacją (Ridge, Lasso, Elastic Net) radzą sobie z cechami o wysokiej wymiarowości i wykonują automatyczny wybór cech.
  • Wymagania dotyczące założeń są mniejsze niż w analizie dyskryminacyjnej: nie wymaga wielowymiarowej normalności predyktorów.
  • Solidny i dobrze zrozumiały; stanowi silną, wiarygodną bazę, z którą należy porównywać złożone modele.

Zastosowania

  • Diagnostyka chorób i ocena ryzyka klinicznego (np. przewidywanie ponownej hospitalizacji lub śmiertelności).
  • Ryzyko kredytowe i wykrywanie oszustw w finansach.
  • Modelowanie binarnej odpowiedzi na ankietę w naukach społecznych i epidemiologii.
  • Klasyfikacja spamu i sentymentu jako szybka, interpretowalna baza tekstowa.
  • Klasyfikator bazowy przed wdrożeniem bardziej złożonych modeli zespołowych.

Jak to działa

Jak to działa

1

Obliczana jest ważona suma wszystkich cech wejściowych. Każda cecha otrzymuje współczynnik (wagę), który jest uczony na podstawie danych; wyraz wolny uwzględnia bazowy logarytm szans, gdy wszystkie cechy są zerowe. Forma jest identyczna jak w regresji liniowej, ale wynik jest interpretowany jako wynik logarytmu szans, a nie bezpośrednia predykcja numeryczna.

Wzór
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

Wynik liniowy jest transformowany przez funkcję sigmoidę, która mapuje dowolną liczbę rzeczywistą na otwarty przedział (0, 1). Daje to dobrze skalibrowane prawdopodobieństwo klasy. W przypadku problemów wieloklasowych funkcja softmax generalizuje ten krok, aby uzyskać rozkład prawdopodobieństwa dla wszystkich klas.

Wzór
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}
3

Parametry modelu są estymowane przez maksymalizację log-wiarygodności zaobserwowanych etykiet przy danych przewidywanych prawdopodobieństwach. Jest to równoważne minimalizacji straty entropii krzyżowej binarnej. W przeciwieństwie do metody najmniejszych kwadratów, nie ma analitycznego rozwiązania: stosuje się iteracyjny algorytm optymalizacji (zazwyczaj Newtona-Raphsona lub spadek gradientu).

Wzór
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]
4

Iteracyjny solwer – taki jak L-BFGS, Newton-Raphson lub stochastyczny spadek gradientu – aktualizuje wektor współczynników do momentu zbieżności. Do funkcji celu można dodać terminy regularyzacji (L1 lub L2), aby zmniejszyć współczynniki, zapobiegając przeuczeniu i umożliwiając automatyczny wybór cech (L1 / Lasso).

5

Dopasowane prawdopodobieństwo jest porównywane z progiem klasyfikacji (domyślnie 0,5), aby przypisać etykietę klasy. W niezbalansowanych ustawieniach lub gdy koszty fałszywie pozytywnych i fałszywie negatywnych są różne, próg ten powinien być dostrojony za pomocą krzywej precyzja-czułość lub analizy ROC, a nie pozostawiony na poziomie 0,5.

Wzór
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]

Częste pułapki

  • Pominięcie podziału na zbiór treningowy i testowy lub walidacji krzyżowej i ocena na danych treningowych, co zawyża pozorny wynik.
  • Używanie dokładności jako jedynej metryki przy niezbalansowanych klasach zamiast raportowania AUC-ROC, F1 i macierzy pomyłek.
  • Ignorowanie założenia liniowości i stosowanie regresji logistycznej do danych z silnie nieliniowymi granicami klas bez kontroli diagnostycznych.
  • Niestosowanie regularyzacji, gdy liczba predyktorów jest duża w stosunku do wielkości próby, co prowadzi do przeuczenia.
  • Nie sprawdzanie współliniowości (za pomocą VIF) przed interpretacją wielkości współczynników.

Najczęściej zadawane pytania

Kiedy powinienem preferować regresję logistyczną zamiast random forest?

Gdy potrzebujesz skalibrowanych prawdopodobieństw, interpretowalnych współczynników lub musisz spełnić standardy raportowania wymagające jawnych ilorazów szans – jak w badaniach klinicznych lub ocenie polityki. Random forest zazwyczaj osiąga wyższą dokładność predykcyjną, ale nie zapewnia bezpośredniej interpretacji współczynników.

Ile obserwacji potrzebuję?

Często cytowana reguła kciuka mówi o co najmniej 10 zdarzeniach (pozytywnych wynikach) na zmienną predyktora. Przy mniejszej liczbie zdarzeń estymaty parametrów stają się niestabilne, a przedziały ufności niewiarygodne. Regularyzacja lub maksymalizacja wiarygodności z karą może nieco rozszerzyć użyteczny zakres.

Czy powinienem standaryzować moje cechy?

Standaryzacja cech nie jest wymagana do predykcji, ale jest ważna przy porównywaniu wielkości współczynników między predyktorami lub przy stosowaniu regularyzacji (L1 lub L2), ponieważ kary traktują wszystkie współczynniki na tej samej skali.

Jaka jest różnica między binarną a wielomianową regresją logistyczną?

Binarna regresja logistyczna modeluje dwuklasowy wynik za pomocą funkcji sigmoidy. Wielomianowa regresja logistyczna (softmax) generalizuje to do trzech lub więcej nieuporządkowanych klas, szacując jeden zestaw współczynników dla każdej klasy względem klasy referencyjnej.

Jak sobie radzić z niezbalansowanymi klasami?

Ustaw `class_weight='balanced'` w scikit-learn, aby zważyć funkcję straty, lub nadpróbuj mniejszościową klasę (SMOTE). Zawsze oceniaj za pomocą krzywych AUC-ROC i precyzja-czułość zamiast dokładności i dostrajaj próg klasyfikacji na zbiorze walidacyjnym.

Pokrewne metody

Źródła

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.

    Otwórz odnośnik DOI
    Skopiowano.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.

    ISBN: 978-1-4614-7138-7
    Skopiowano.