Regresja liniowa (ML)
- Autor metody
- Legendre, A.-M. & Gauss, C.F.
- Rok
- 1805–1809
- Typ
- Supervised regression
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Regresja liniowa dopasowuje liniową zależność między jedną lub wieloma zmiennymi objaśniającymi a ciągłym numerycznym wynikiem poprzez minimalizację sumy kwadratów błędów predykcji.
Jako model uczenia maszynowego jest trenowana na przykładach z etykietami i oceniana na danych odłożonych na bok, co czyni ją najprostszym punktem odniesienia uczenia nadzorowanego dla każdego zadania regresji.
Intuicja stojąca za metodą
Wyobraźmy sobie rysowanie linii najlepiej dopasowanej do wykresu punktowego. Regresja liniowa robi dokładnie to dla wielu predyktorów jednocześnie: znajduje kombinację wag cech, która minimalizuje całkowitą kwadratową odległość między predykcjami linii a rzeczywistymi wartościami. Ponieważ zależność jest wyrażona jako prosta ważona suma wejść, każdy współczynnik bezpośrednio informuje, o ile zmienia się przewidywany wynik, gdy dana cecha wzrasta o jedną jednostkę, przy założeniu stałości pozostałych. Ta przejrzystość sprawia, że regresję liniową można wyjątkowo łatwo wyjaśnić i audytować, nawet jeśli będzie ona niedopasowana (underfit) zawsze, gdy rzeczywista zależność jest zakrzywiona lub obejmuje interakcje.
Historia
Metoda najmniejszych kwadratów została niezależnie opublikowana przez Legendre'a w 1805 roku i Gaussa około 1809 roku. Do połowy XX wieku regresja liniowa stała się fundamentalną techniką statystyki stosowanej. Jej rekontekstualizacja jako modelu uczenia maszynowego — trenowanego na przykładach, ocenianego na danych odłożonych na bok i regularyzowanego w celu zapobiegania nadmiernemu dopasowaniu — nadała jej drugie życie w modelowaniu predykcyjnym, gdzie pozostaje kanonicznym pierwszym krokiem odniesienia dla każdego problemu regresji.
Kiedy stosować
Używaj regresji liniowej, gdy wynik jest ciągły, oczekiwana zależność między predyktorami a wynikiem jest w przybliżeniu liniowa, a potrzebne są interpretowalne współczynniki. Jest to właściwy punkt wyjścia przed próbą zastosowania bardziej złożonych modeli, a także dobry model końcowy, gdy jego założenia są spełnione. Nie należy jej stosować do wyników binarnych lub kategorycznych (zamiast tego użyj regresji logistycznej), gdy dominują silne wzorce nieliniowe lub interakcje, ani gdy liczba predyktorów przekracza wielkość próby bez regularyzacji.
Ograniczenia i uwagi
- Zakłada liniową zależność; pomija krzywe, progi i interakcje, chyba że zostaną one ręcznie zakodowane.
- Wrażliwa na wartości odstające, ponieważ podnoszenie błędów do kwadratu wzmacnia wpływ ekstremalnych punktów.
- Współliniowość predyktorów zwiększa błędy standardowe i destabilizuje oszacowania współczynników.
- Wymaga, aby reszty były w przybliżeniu normalnie rozłożone i homoskedastyczne dla ważnych wniosków.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Współczynniki są bezpośrednio interpretowalne: każda wartość jest efektem marginalnym w jednostkach wyniku.
- Trywialna obliczeniowo — dopasowuje się niemal natychmiast, nawet na dużych zbiorach danych.
- Dostarcza błędy standardowe i wartości p, wspierając formalne testowanie hipotez.
- Służy jako niezbędny punkt odniesienia, z którym należy porównywać bardziej złożone modele.
- Działa dobrze i jest w pełni uzasadniona, gdy założenie liniowości jest spełnione.
- Wysoka kompatybilność z rozszerzeniami regularyzacyjnymi (Ridge, Lasso, Elastic Net), gdy predyktorów jest wielu.
Zastosowania
- Predykcja ciągłego numerycznego wyniku na podstawie cech tabelarycznych w dowolnej dziedzinie.
- Ustanowienie bazowego poziomu wydajności przed testowaniem modeli gradient boosting lub sieci neuronowych.
- Szacowanie wielkości efektów i wpływu marginalnego w badaniach obserwacyjnych, gdy liniowość jest spełniona.
- Prognozowanie popytu, modelowanie cen i szacowanie zasobów w analizie biznesowej.
- Szybkie modelowanie eksploracyjne w celu identyfikacji najważniejszych predyktorów przed bardziej złożoną analizą.
- Interpretowalne funkcje punktacji w sytuacjach, gdy przejrzystość modelu jest wymagana prawnie lub etycznie.
Jak to działa
Jak to działa
Model wyraża predykcję jako ważoną sumę cech wejściowych plus wyraz wolny. Zmienna docelowa musi być ciągła i numeryczna; zmienne kategoryczne muszą zostać zakodowane jako zmienne fikcyjne (dummy) lub numeryczne przed dopasowaniem.
Wzór
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_pMetoda najmniejszych kwadratów znajduje wektor współczynników minimalizujący sumę kwadratów reszt. Dla zbiorów danych o umiarkowanej wielkości rozwiązuje się to analitycznie za pomocą równań normalnych; dla bardzo dużych zbiorów danych stosuje się solvery iteracyjne lub stochastyczny spadek gradientu.
Wzór
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}R-kwadrat (współczynnik determinacji) podsumowuje, jaka część wariancji wyniku jest wyjaśniana przez model. Uzupełniają go pierwiastek z błędu średniokwadratowego (RMSE) i średni błąd bezwzględny (MAE), które raportują błędy w oryginalnych jednostkach wyniku.
Wzór
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}Dopasowanie jest oceniane na odłożonym zbiorze testowym lub poprzez k-krotną walidację krzyżową w celu wykrycia nadmiernego dopasowania (overfitting). Wykresy reszt — reszty w zależności od wartości dopasowanych i wykres Q-Q reszt — są analizowane w celu sprawdzenia liniowości, homoskedastyczności i normalności błędów przed zaufaniem wnioskom.
Częste pułapki
- Ekstrapolacja predykcji daleko poza zakres danych treningowych, gdzie przybliżenie liniowe załamuje się.
- Ignorowanie diagnostyki reszt i zakładanie, że model jest poprawny bez sprawdzania wykresów.
- Włączanie silnie skorelowanych predyktorów bez adresowania współliniowości (sprawdź VIF).
- Mylenie R-kwadrat z dokładnością predykcji na nowych danych — zawsze oceniaj na odłożonym zbiorze.
- Stosowanie regresji liniowej do wyniku binarnego lub zliczeniowego zamiast regresji logistycznej lub Poissona.
Najczęściej zadawane pytania
Czym różni się regresja liniowa od regresji logistycznej?
Regresja liniowa bezpośrednio przewiduje wynik ciągły. Regresja logistyczna modeluje logarytm szans (log-odds) wyniku binarnego i zwraca prawdopodobieństwa ograniczone między 0 a 1. Użycie regresji liniowej dla wyniku binarnego może prowadzić do predykcji poza zakresem [0, 1] i narusza założenie o stałej wariancji.
Czy muszę standaryzować moje cechy?
Standaryzacja nie jest wymagana do predykcji, ale sprawia, że współczynniki są bezpośrednio porównywalne, gdy cechy mają bardzo różne skale. Jest szczególnie zalecana przy stosowaniu wariantów regularyzowanych, takich jak Ridge lub Lasso.
Jak sobie radzić z wieloma predyktorami w stosunku do wielkości próby?
Przejdź do regularyzowanej regresji liniowej (Ridge dla kurczenia, Lasso dla rzadkości, Elastic Net dla obu). OLS staje się niewiarygodny lub niezdefiniowany, gdy liczba predyktorów zbliża się do liczby obserwacji lub ją przekracza.
Jakie wykresy reszt należy sprawdzić?
Minimum: (1) reszty w zależności od wartości dopasowanych, aby sprawdzić wzorce sugerujące nieliniowość lub heteroskedastyczność, oraz (2) wykres Q-Q reszt, aby ocenić normalność. Wykres skali-lokacji i statystyki dźwigni/wpływu (odległość Cooka) są również informatywne.
Czy wysoki R-kwadrat wystarczy, aby uznać model za dobry?
Nie. R-kwadrat mierzy dopasowanie w próbie i może być zawyżony przez nieistotne predyktory. Zawsze raportuj skroswalidowany RMSE lub RMSE na zbiorze testowym obok R-kwadrat i sprawdzaj diagnostykę reszt, aby potwierdzić spełnienie założeń modelu.
Pokrewne metody
Źródła
Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.
ISBN: 978-0-387-84858-7Skopiowano.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.
ISBN: 978-1-4614-7138-7Skopiowano.