Przejdź do treści
Wróć do wyników wyszukiwania

Regresja wektorów nośnych

Autor metody
Smola, A.J. & Schölkopf, B.
Rok
2004
Typ
Kernel-based supervised model (epsilon-insensitive regression)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Regresja wektorów nośnych (SVR), opisana w samouczku Smoli i Schölkopfa z 2004 roku, przewiduje ciągły wynik poprzez dopasowanie funkcji, która mieści się w rurze o szerokości epsilon wokół danych, generując jednocześnie jak najmniejszy błąd.

Rozszerza ona ideę maszyny wektorów nośnych z klasyfikacji na regresję, wykorzystując jądro do uchwycenia nieliniowych zależności.

Intuicja stojąca za metodą

Zamiast karać każde odchylenie od dopasowanej linii, SVR ignoruje błędy mniejsze niż tolerancja epsilon — rysuje rurę o szerokości epsilon wokół przewidywanej funkcji i tylko punkty wypadające poza rurę są brane pod uwagę. Model dąży następnie do uzyskania możliwie najbardziej płaskiej funkcji, która utrzymuje większość punktów wewnątrz rury. Nieliczne punkty znajdujące się na krawędziach rury lub poza nimi stają się wektorami nośnymi, które definiują przewidywanie.

Historia

Regresja wektorów nośnych rozszerza maszynę wektorów nośnych, pierwotnie metodę klasyfikacji, na zadanie regresji. Formuła niewrażliwa na epsilon i jej rozwiązanie jądrowe są przedstawione w samouczku Smoli i Schölkopfa z 2004 roku w "Statistics and Computing", który stał się standardowym odniesieniem dla tej metody.

Kiedy stosować

Użyj SVR do przewidywania ciągłego (lub zliczalnego) wyniku na podstawie cech, gdy zależność może być nieliniowa i masz co najmniej około 50 obserwacji. Cechy muszą być znormalizowane, a jądro i parametr C wymagają strojenia. Przy mniej niż 50 przypadkach przewidywanie opiera się na zbyt małej liczbie wektorów nośnych i staje się niestabilne, dlatego preferowana jest regresja grzbietowa lub liniowa.

Ograniczenia i uwagi

  • Wymaga co najmniej około 50 obserwacji; przy mniejszej liczbie przewidywania opierają się na zbyt małej liczbie wektorów nośnych i są niestabilne.
  • Wydajność zależy od strojenia jądra i parametru C, co wymaga wystarczającej ilości danych do walidacji krzyżowej.
  • Cechy muszą być znormalizowane z wyprzedzeniem, w przeciwnym razie odległości jądrowe są zniekształcone.
  • Nie oferuje interpretowalnych współczynników.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Funkcja straty niewrażliwa na epsilon sprawia, że dopasowanie jest odporne na małe odchylenia i na wartości odstające wewnątrz rury.
  • Jądra pozwalają SVR modelować nieliniowe zależności bez jawnego tworzenia nowych cech.
  • Nie wymaga danych o rozkładzie normalnym.
  • Ostateczny model zależy tylko od wektorów nośnych, co utrzymuje przewidywanie w kompaktowej formie.

Zastosowania

  • Przewidywanie ciągłych wyników, gdzie zależność z cechami jest nieliniowa.
  • Zadania prognozowania i przewidywania, gdzie istotna jest odporność na małe odchylenia.
  • Modelowanie celów zliczalnych lub ciągłych w danych dotyczących zdrowia, społeczeństwa, inżynierii i biznesu.
  • Służy jako alternatywa dla regresji liniowej lub grzbietowej, oparta na jądrze, gdy podejrzewa się nieliniowość.

Jak to działa

Jak to działa

1

SVR definiuje margines tolerancji, rurę epsilon, wokół funkcji regresji: odchylenia w granicach epsilon są traktowane jako brak błędu. Dzięki temu dopasowanie jest niewrażliwe na małe fluktuacje i koncentruje model na obserwacjach, które faktycznie wypadają poza pasmo.

Wzór
|y_i - f(x_i)| \le \varepsilon
2

Model równoważy płaskość funkcji z błędem generowanym przez punkty znajdujące się poza rurą. Parametr regularyzacji C kontroluje, jak silnie karane są odchylenia poza rurą, podczas gdy jądro (takie jak jądro RBF) pozwala funkcji zginać się, aby uchwycić nieliniową strukturę. Ponieważ zarówno C, jak i jądro muszą być dostrojone, cechy powinny być znormalizowane przed dopasowaniem.

Wzór
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

Przewidywania dla nowych danych wejściowych są tworzone jako kombinacja wektorów nośnych ważona jądrem — punktów treningowych leżących na krawędziach rury lub poza nimi — plus przesunięcie. Tylko te wektory nośne wchodzą w skład ostatecznego przewidywania, co sprawia, że dopasowany model jest kompaktowy.

Wzór
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

Częste pułapki

  • Dopasowywanie SVR do nieznormalizowanych cech, co zniekształca odległości jądrowe.
  • Akceptowanie domyślnych wartości jądra i C bez strojenia ich za pomocą walidacji krzyżowej.
  • Używanie SVR na małej próbce, gdzie brakuje danych do optymalizacji hiperparametrów.
  • Traktowanie dopasowania opartego na jądrze tak, jakby dawało ono interpretowalne wielkości efektów.

Najczęściej zadawane pytania

Co kontroluje parametr epsilon?

Epsilon ustala połowę szerokości rury tolerancji wokół dopasowanej funkcji. Odchylenia mniejsze niż epsilon są traktowane jako zerowy błąd, więc większy epsilon daje bardziej płaski, prostszy model z mniejszą liczbą wektorów nośnych, podczas gdy mniejszy epsilon ściślej dopasowuje dane.

Dlaczego muszę normalizować cechy?

SVR opiera się na odległościach obliczanych za pomocą jądra. Jeśli cechy mają bardzo różne skale, te o większych zakresach dominują w odległościach, dlatego cechy powinny być standaryzowane przed dopasowaniem.

Jak mała próbka jest zbyt mała?

Przy mniej niż około 50 obserwacjach dopasowanie zależy od zbyt małej liczby wektorów nośnych i staje się niestabilne, a także brakuje danych do strojenia hiperparametrów jądra; bezpieczniejszym wyborem jest regresja grzbietowa lub liniowa.

Czym SVR różni się od metody najmniejszych kwadratów?

Metoda najmniejszych kwadratów kwadratowo karze każdą resztę, podczas gdy SVR ignoruje reszty wewnątrz rury epsilon i karze tylko te poza nią. W połączeniu z jądrem, pozwala to SVR na uchwycenie nieliniowych zależności i zachowanie odporności na małe odchylenia.

Pokrewne metody

Źródła

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    Otwórz odnośnik DOI
    Skopiowano.