Przejdź do treści
Wróć do wyników wyszukiwania

Maszyna wektorów nośnych (klasyfikacja)

Autor metody
Cortes, C. & Vapnik, V.
Rok
1995
Typ
Maximum-margin classifier (kernel method)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Maszyna wektorów nośnych (SVM), wprowadzona przez Corinnę Cortes i Vladimira Vapnika w 1995 roku, jest klasyfikatorem, który znajduje optymalną hiperpłaszczyznę separującą między klasami w przestrzeni wielowymiarowej.

Wybiera granicę, która pozostawia najszerszy możliwy margines do najbliższych punktów treningowych, co sprawia, że jej decyzje są odporne na nowe dane.

Intuicja stojąca za metodą

Wyobraźmy sobie rozdzielenie dwóch grup punktów prostą granicą. Wiele linii mogłoby to zrobić, ale SVM szuka tej, która jest umieszczona jak najdalej od najbliższych punktów każdej klasy — najszerszej 'ulicy' między nimi. Tylko te najbliższe punkty, wektory nośne, faktycznie kształtują granicę; wszystko, co jest dalej, jest nieistotne. Gdy klasy nie można rozdzielić prostą linią, jądro przekształca przestrzeń tak, aby możliwe stało się czyste rozdzielenie.

Historia

Maszyna wektorów nośnych została wprowadzona przez Corinnę Cortes i Vladimira Vapnika w ich artykule z 1995 roku 'Support-Vector Networks', który połączył ideę maksymalnego marginesu z trikiem jądra do obsługi danych nieliniowo separowalnych. Stała się jedną z najbardziej wpływowych metod klasyfikacji swojej epoki i standardowym punktem odniesienia dla uczenia nadzorowanego w wysokich wymiarach.

Kiedy stosować

Używaj SVM do klasyfikacji binarnej lub kategorycznej na danych tabelarycznych z około 50 lub więcej obserwacjami, zwłaszcza gdy przestrzeń cech jest wielowymiarowa, a dokładność predykcyjna jest ważniejsza niż jawne współczynniki. Nie wymaga danych o rozkładzie normalnym, ale cechy muszą być standaryzowane, a jądro i C muszą być dostrojone za pomocą walidacji krzyżowej. Na bardzo małych próbkach preferuj prostszy klasyfikator, taki jak regresja logistyczna lub naiwny Bayes.

Ograniczenia i uwagi

  • Wrażliwy na wybór jądra i parametr C, które muszą być dostrojone za pomocą walidacji krzyżowej.
  • Wymaga starannej standaryzacji cech; nieskalowane cechy zniekształcają margines.
  • Staje się niestabilny na małych próbkach, gdzie jest zbyt mało wektorów nośnych do zdefiniowania wiarygodnej granicy.
  • Nie dostarcza bezpośrednio interpretowalnych współczynników ani natywnych oszacowań prawdopodobieństwa klas.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Skuteczny w wielowymiarowych przestrzeniach cech, nawet gdy cech jest więcej niż sugerowałaby złożoność granicy.
  • Zasada maksymalnego marginesu i wykorzystanie tylko wektorów nośnych dają odporne, generalizowalne granice.
  • Jądra pozwalają na uchwycenie nieliniowych granic klas bez ręcznego tworzenia nowych cech.
  • Założenia są lekkie: nie wymaga danych o rozkładzie normalnym.

Zastosowania

  • Klasyfikacja binarna i wieloklasowa na danych tabelarycznych.
  • Wielowymiarowe problemy klasyfikacji, gdzie cechy przewyższają możliwości prostego modelu.
  • Zadania predykcyjne, gdzie odporna, dobrze rozdzielona granica decyzyjna jest ważniejsza niż interpretowalne współczynniki.
  • Problemy z nieliniowymi granicami klas, rozwiązywane za pomocą funkcji jądra.

Jak to działa

Jak to działa

1

SVM szuka hiperpłaszczyzny, która rozdziela klasy z największym marginesem — największą odległością do najbliższych punktów danych po obu stronach. Te najbliższe punkty to wektory nośne i tylko one decydują o położeniu granicy. Szeroki margines zazwyczaj lepiej generalizuje się na nieznane dane niż granica ściśnięta blisko punktów treningowych.

2

Gdy klasy nie są liniowo separowalne, funkcja jądra (np. radialna funkcja bazowa) niejawnie odwzorowuje cechy w przestrzeń o wyższym wymiarze, gdzie istnieje hiperpłaszczyzna separująca. Dlatego cechy muszą być najpierw standaryzowane (wymagany jest StandardScaler), a jądro i parametr regularyzacji C powinny być wybierane za pomocą walidacji krzyżowej.

3

Granica jest znajdowana poprzez minimalizację powyższego celu: zmniejsza wektor wag (poszerzając margines), jednocześnie płacąc karę C za każdy punkt, który znajduje się po niewłaściwej stronie lub wewnątrz marginesu (tzw. luz ξ). Duże C wymaga ścisłego dopasowania do danych treningowych; małe C toleruje więcej naruszeń dla szerszego, gładszego marginesu. W przypadku niezbalansowanych klas, class_weight='balanced' zapobiega ignorowaniu klasy mniejszościowej.

Wzór
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i

Częste pułapki

  • Dopasowanie SVM do surowych, nieskalowanych cech zamiast ich wcześniejszej standaryzacji.
  • Akceptowanie domyślnych wartości jądra i C zamiast wybierania ich za pomocą walidacji krzyżowej (np. przeszukiwania siatki).
  • Ignorowanie niezbalansowania klas zamiast ustawiania class_weight='balanced'.
  • Stosowanie SVM na próbce poniżej ~50 obserwacji, gdzie granica jest niestabilna i podatna na przetrenowanie.
  • Raportowanie tylko dokładności bez macierzy pomyłek, precyzji/czułości/F1 i ROC-AUC.

Najczęściej zadawane pytania

Dlaczego muszę standaryzować cechy?

SVM mierzy odległości do hiperpłaszczyzny separującej, więc cechy o większych skalach liczbowych dominują nad marginesem. Standaryzacja każdej cechy (StandardScaler) umieszcza je na porównywalnych skalach, dzięki czemu granica odzwierciedla rzeczywistą strukturę klas, a nie arbitralne jednostki.

Co kontroluje parametr C?

C równoważy szerokość marginesu z błędami klasyfikacji. Duże C wymusza ścisłe dopasowanie do danych treningowych z wąskim marginesem; małe C dopuszcza więcej naruszeń marginesu w zamian za szerszą, gładszą granicę. Właściwa wartość jest znajdowana za pomocą walidacji krzyżowej.

Do czego służy jądro?

Gdy klasy nie mogą być rozdzielone prostą granicą, jądro (takie jak radialna funkcja bazowa) niejawnie odwzorowuje dane w przestrzeń o wyższym wymiarze, gdzie istnieje hiperpłaszczyzna separująca, pozwalając SVM modelować nieliniowe granice. Wybór jądra powinien być walidowany za pomocą walidacji krzyżowej.

Kiedy nie powinienem używać SVM?

Na bardzo małych próbkach — poniżej około 50 obserwacji — jest zbyt mało wektorów nośnych do zdefiniowania stabilnej granicy i nie ma wystarczająco dużo danych do dostrojenia jądra i C, więc model ryzykuje przetrenowanie. W takim przypadku preferowany jest prostszy klasyfikator, taki jak regresja logistyczna lub naiwny Bayes.

Pokrewne metody

Źródła

  1. Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.

    Otwórz odnośnik DOI
    Skopiowano.