Regresja liniowa online
- Autor metody
- Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
- Rok
- 1960 (LMS); 1950 (RLS formalization)
- Typ
- Incremental supervised regression
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Regresja liniowa online dopasowuje model liniowy pojedynczo, obserwacja po obserwacji, aktualizując wagi przyrostowo w miarę napływania każdego nowego punktu danych.
W przeciwieństwie do metody najmniejszych kwadratów w wersji wsadowej, nigdy nie wymaga przechowywania ani ponownego przetwarzania całego zbioru danych, co czyni ją naturalnym wyborem dla danych strumieniowych, bardzo dużych zbiorów danych oraz środowisk, w których proces generowania danych może ulegać zmianom w czasie.
Intuicja stojąca za metodą
Wyobraźmy sobie dostosowywanie pokręteł predyktora liniowego po każdym pojedynczym pomiarze, zamiast czekania na zebranie wszystkich danych. Każda nowa obserwacja informuje nas, jak bardzo błędna była nasza obecna prognoza, i nieznacznie przesuwamy wektor wag w kierunku, który zmniejszyłby ten błąd. Po wielu obserwacjach wagi zbiegają się do wartości zbliżonych do rozwiązania uzyskanych metodą najmniejszych kwadratów — ale osiągnęliśmy to, nigdy nie ładując całego zbioru danych do pamięci, i możemy nadal się dostosowywać, jeśli podstawowa zależność dryfuje.
Historia
Podstawy teoretyczne sięgają metody najmniejszych kwadratów Gaussa (początek XIX wieku) i rekursywnej formuły Placketta z 1950 roku. Praktyczny wariant online pojawił się wraz z algorytmem LMS (Least Mean Squares) Widrowa i Hoffa w 1960 roku, pierwotnie opracowanym do adaptacyjnego przetwarzania sygnałów. Teoria online optymalizacji wypukłej, sformalizowana przez Zinkevicha (2003) i kompleksowo omówiona przez Shalev-Shwartza (2012), umieściła regresję liniową online w rygorystycznych ramach minimalizacji strat i wykazała jej niemal optymalne gwarancje zbieżności.
Kiedy stosować
Używaj regresji liniowej online, gdy dane napływają jako ciągły strumień i przewidywania muszą być dostarczane natychmiast, gdy zbiór danych jest zbyt duży, aby zmieścić się w pamięci do dopasowania wsadowego, lub gdy zależność między predyktorami a wynikiem może dryfować w czasie i model musi się dostosowywać. Jest to również dobry wybór jako lekki model bazowy w systemach produkcyjnych czasu rzeczywistego. Unikaj jej, gdy zależność jest silnie nieliniowa, gdy inżynieria cech musi być przeprowadzana holistycznie na całym zbiorze danych, lub gdy potrzebujesz dokładnych współczynników OLS z przedziałami ufności do wnioskowania statystycznego — w takich przypadkach użyj regresji liniowej wsadowej.
Ograniczenia i uwagi
- Wrażliwa na wybór szybkości uczenia się: zbyt duża powoduje oscylacje, zbyt mała powoduje powolną zbieżność.
- Nie zapewnia analitycznych błędów standardowych ani wartości p, więc klasyczne wnioskowanie statystyczne nie jest bezpośrednio dostępne.
- Może mieć problemy z silnie skorelowanymi cechami (współliniowość), chyba że dodano regularyzację L2.
- Wydajność spada w porównaniu do OLS wsadowego, gdy wszystkie dane są już dostępne i nie ma dryfu koncepcji.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Przetwarza dane pojedynczo, obserwacja po obserwacji, z pamięcią O(p), gdzie p to liczba cech — nie jest wymagany cały zbiór danych.
- Ciągle adaptuje się do dryfu koncepcji, co czyni ją odpowiednią dla środowisk niestacjonarnych, takich jak szeregi czasowe finansowe lub strumienie danych z czujników.
- Obliczeniowo tani na aktualizację: pojedynczy iloczyn skalarny i dodanie wektora wag.
- Naturalnie możliwa do równoległego przetwarzania w wielu strumieniach lub partycjach.
- Generuje predykcje w czasie rzeczywistym bez oczekiwania na ponowne dopasowanie wsadowe.
Zastosowania
- Predykcja cen w czasie rzeczywistym i prognozowanie popytu w handlu elektronicznym i rynkach energetycznych.
- Adaptacyjne przetwarzanie sygnałów i eliminacja szumów przy użyciu rekursywnej metody najmniejszych kwadratów.
- Ciągła aktualizacja modelu w środowiskach IoT i sieci czujników, gdzie ponowne dopasowanie wsadowe jest niewykonalne.
- Regresja na danych tickowych finansowych, gdzie proces generowania danych często się zmienia.
- Wagi cech w systemach rekomendacji na dużą skalę aktualizowane w miarę napływania zdarzeń użytkowników.
- Model strumieniowy bazowy w potokach AutoML przed rozważeniem bardziej złożonych modeli.
Jak to działa
Jak to działa
Ustaw wektor wag na zero (lub małą losową wartość) i wybierz szybkość uczenia się eta, która kontroluje wielkość kroku. Opcjonalnie zainicjuj składnik regularyzacji, taki jak L2 (Ridge), aby zapobiec nieograniczonemu wzrostowi wag w niestacjonarnych strumieniach.
Wzór
\mathbf{w}_0 = \mathbf{0},\; \eta > 0Dla każdej napływającej obserwacji x_t oblicz przewidywaną wartość wyjściową jako iloczyn skalarny bieżącego wektora wag z wektorem cech. Ta predykcja jest dokonywana przed ujawnieniem prawdziwej etykiety y_t, odzwierciedlając sekwencyjny charakter rzeczywistych ustawień strumieniowych.
Wzór
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_tPo ujawnieniu prawdziwej etykiety oblicz kwadrat błędu predykcji. Ta chwilowa strata napędza sygnał gradientu; gradient kwadratu straty względem wag jest po prostu błędem pomnożonym przez wektor cech.
Wzór
\ell_t = (y_t - \hat{y}_t)^2Zastosuj regułę aktualizacji LMS (najmniejszych średnich kwadratów): przesuń wagi w kierunku ujemnego gradientu straty. Szybkość uczenia się eta kontroluje kompromis między szybkością adaptacji a wrażliwością na szum. Mniejsze eta zapewnia płynniejszą zbieżność; większe eta adaptuje się szybciej, ale grozi oscylacjami.
Wzór
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_tPrzetwarzaj natychmiast następną obserwację lub buforuj małą mini-wsadę dla wariantu online z mini-wsadami. W ustawieniach niestacjonarnych malejąca szybkość uczenia się lub współczynnik zapominania w przesuwającym się oknie utrzymuje model wrażliwym na dryf koncepcji. Nie jest wymagane żadne pełne ponowne dopasowanie.
Częste pułapki
- Używanie stałej szybkości uczenia się na danych o bardzo różnych skalach cech — zawsze standaryzuj cechy online (np. bieżąca średnia i wariancja) przed aktualizacją.
- Zapominanie o dodaniu regularyzacji w ustawieniach wysokowymiarowych lub blisko współliniowych, co pozwala na rozbieganie wag w rzadkich strumieniach.
- Traktowanie wag online jako równoważnych estymatom OLS i raportowanie ich z przedziałami ufności OLS — nie są one identyczne.
- Ignorowanie wykrywania dryfu koncepcji: jeśli rozkład danych gwałtownie się zmienia, stała szybkość uczenia się może śledzić szum zamiast sygnału.
- Ocenianie dokładności tylko na końcu długiego strumienia zamiast używania ewaluacji prekwencyjnej (testuj-następnie-trenuj) przez cały czas.
Najczęściej zadawane pytania
Czym różni się regresja liniowa online od standardowej (wsadowej) regresji liniowej?
Regresja liniowa wsadowa rozwiązuje równania normalne na całym zbiorze danych naraz, dając dokładne rozwiązanie OLS. Regresja liniowa online aktualizuje wagi przyrostowo po każdej obserwacji, używając kroku gradientowego, zbiegając do rozwiązania zbliżonego do OLS bez ładowania wszystkich danych — kosztem utraty dokładnych statystyk wnioskowania.
Jakiej szybkości uczenia się powinienem użyć?
Częstym punktem wyjścia jest eta = 0,01 podzielone przez oczekiwaną normę kwadratową wektorów cech. Wyszukiwanie siatkowe lub metody adaptacyjne (AdaGrad, Adam) automatycznie skalują szybkość uczenia się dla każdej cechy i są często łatwiejsze do dostrojenia niż stała globalna szybkość.
Czy regresja liniowa online może sobie poradzić z dryfem koncepcji?
Tak. Stała (nie malejąca) szybkość uczenia się utrzymuje model wrażliwym na dryf. W przypadku nagłych zmian, jawne testy wykrywania dryfu (np. ADWIN) mogą wywołać częściowe resetowanie wag. Malejąca szybkość jest lepsza, gdy zależność jest stacjonarna i chcemy ostatecznej zbieżności.
Czy regularyzacja jest możliwa w ustawieniu online?
Tak. Dodanie kary L2 daje online'ową aktualizację Ridge (Tikhonova): odejmij małą część bieżącego wektora wag na każdym kroku. Zapobiega to dużemu wzrostowi wag w rzadkich lub zaszumionych strumieniach i jest zdecydowanie zalecane w ustawieniach wysokowymiarowych.
Jak mogę sprawiedliwie ocenić model online?
Użyj ewaluacji prekwencyjnej (testuj-następnie-trenuj): zapisz błąd predykcji na każdej obserwacji przed użyciem jej do aktualizacji modelu. Daje to nieobciążone, sekwencyjne oszacowanie błędu generalizacji bez oddzielnego zbioru testowego.
Pokrewne metody
Źródła
Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.
Otwórz odnośnik DOISkopiowano.Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.
ISBN: 978-0130901262Skopiowano.