Support Vector Machine (Klassifikation)
- Eingeführt von
- Cortes, C. & Vapnik, V.
- Jahr
- 1995
- Typ
- Maximum-margin classifier (kernel method)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Die Support Vector Machine (SVM), eingeführt von Corinna Cortes und Vladimir Vapnik im Jahr 1995, ist ein Klassifikator, der in einem hochdimensionalen Raum die optimale trennende Hyperebene zwischen Klassen findet.
Sie wählt die Grenze, die den größtmöglichen Abstand zu den nächstgelegenen Trainingspunkten lässt, was ihre Entscheidungen auf neuen Daten robust macht.
Die Intuition hinter der Methode
Stellen Sie sich vor, Sie trennen zwei Gruppen von Punkten mit einer geraden Grenze. Viele Linien könnten dies tun, aber SVM sucht nach derjenigen, die so weit wie möglich von den nächsten Punkten jeder Klasse entfernt positioniert ist – die breiteste „Straße“ zwischen ihnen. Nur diese nächstgelegenen Punkte, die Support-Vektoren, prägen tatsächlich die Grenze; alles, was weiter entfernt ist, ist irrelevant. Wenn die Klassen nicht durch eine gerade Linie getrennt werden können, formt ein Kernel den Raum neu, sodass eine klare Trennung möglich wird.
Geschichte
Die Support Vector Machine wurde von Corinna Cortes und Vladimir Vapnik in ihrem Paper 'Support-Vector Networks' aus dem Jahr 1995 vorgestellt, das die Idee des maximalen Randes mit dem Kernel-Trick kombinierte, um nichtlinear separierbare Daten zu behandeln. Sie wurde zu einer der einflussreichsten Klassifikationsmethoden ihrer Zeit und einem Standard-Benchmark für hochdimensionales überwachtes Lernen.
Wann wird sie eingesetzt?
Verwenden Sie SVM für binäre oder kategoriale Klassifikation auf tabellarischen Daten mit etwa 50 oder mehr Beobachtungen, insbesondere wenn der Merkmalsraum hochdimensional ist und die Vorhersagegenauigkeit wichtiger ist als explizite Koeffizienten. Sie erfordert keine normalverteilten Daten, aber die Merkmale müssen standardisiert und der Kernel sowie C müssen mittels Kreuzvalidierung abgestimmt werden. Bei sehr kleinen Stichproben ist ein einfacherer Klassifikator wie logistische Regression oder Naive Bayes vorzuziehen.
Grenzen und Hinweise
- Empfindlich gegenüber der Wahl des Kernels und des C-Parameters, die mittels Kreuzvalidierung abgestimmt werden müssen.
- Erfordert sorgfältige Standardisierung der Merkmale; unskalierte Merkmale verzerren den Rand.
- Wird bei kleinen Stichproben instabil, wenn zu wenige Support-Vektoren vorhanden sind, um eine zuverlässige Grenze zu definieren.
- Liefert keine direkt interpretierbaren Koeffizienten und keine nativen Klassenschätzungen der Wahrscheinlichkeit.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Effektiv in hochdimensionalen Merkmalsräumen, selbst wenn es mehr Merkmale gibt als die Komplexität der Grenze vermuten ließe.
- Das Prinzip des maximalen Randes und die Verwendung nur von Support-Vektoren ergeben robuste, generalisierbare Grenzen.
- Kernel ermöglichen die Erfassung nichtlinearer Klassengrenzen, ohne manuell neue Merkmale zu entwickeln.
- Wenige Annahmen: Erfordert keine normalverteilten Daten.
Anwendungen
- Binäre und multiklasse Klassifikation auf tabellarischen Daten.
- Hochdimensionale Klassifikationsprobleme, bei denen die Merkmale die Kapazität eines einfachen Modells übersteigen.
- Vorhersageaufgaben, bei denen eine robuste, gut getrennte Entscheidungsgrenze wichtiger ist als interpretierbare Koeffizienten.
- Probleme mit nichtlinearen Klassengrenzen, die durch Kernel-Funktionen behandelt werden.
So funktioniert es
So funktioniert es
SVM sucht nach der Hyperebene, die die Klassen mit dem größten Rand (Margin) trennt – dem größten Abstand zu den nächstgelegenen Datenpunkten auf beiden Seiten. Diese nächstgelegenen Punkte sind die Support-Vektoren, und sie allein bestimmen, wo die Grenze liegt. Ein breiter Rand tendiert dazu, besser auf ungesehene Daten zu generalisieren als eine Grenze, die nahe an den Trainingspunkten gequetscht ist.
Wenn die Klassen nicht linear separierbar sind, bildet eine Kernel-Funktion (z. B. die Radialbasisfunktion) die Merkmale implizit in einen höherdimensionalen Raum ab, in dem eine trennende Hyperebene existiert. Deshalb müssen die Merkmale zuerst standardisiert werden (StandardScaler ist erforderlich) und deshalb sollten der Kernel und der Regularisierungsparameter C mittels Kreuzvalidierung ausgewählt werden.
Die Grenze wird durch Minimierung der obigen Zielfunktion gefunden: Sie verkleinert den Gewichtsvektor (verbreitert den Rand), während sie eine Strafe C für jeden Punkt zahlt, der auf der falschen Seite oder innerhalb des Randes liegt (die Schlupfvariable ξ). Ein großes C erfordert eine enge Anpassung an die Trainingsdaten; ein kleines C toleriert mehr Verletzungen für einen breiteren, glatteren Rand. Bei unausgeglichenen Klassen sorgt class_weight='balanced' dafür, dass die Minderheitsklasse nicht ignoriert wird.
Formel
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_iHäufige Fallstricke
- Anpassung von SVM an rohen, unskalierten Merkmalen anstelle ihrer vorherigen Standardisierung.
- Akzeptieren von Standard-Kernel- und C-Werten anstelle ihrer Auswahl mittels Kreuzvalidierung (z. B. Grid Search).
- Ignorieren von Klassenungleichgewichten anstelle der Einstellung von class_weight='balanced'.
- Anwendung von SVM auf einer Stichprobe von unter ca. 50 Beobachtungen, bei der die Grenze instabil und anfällig für Überanpassung ist.
- Berichterstattung nur der Genauigkeit ohne Konfusionsmatrix, Präzision/Recall/F1 und ROC-AUC.
Häufig gestellte Fragen
Warum muss ich die Merkmale standardisieren?
SVM misst Abstände zur trennenden Hyperebene, daher dominieren Merkmale auf größeren numerischen Skalen den Rand. Die Standardisierung jedes Merkmals (StandardScaler) bringt sie auf vergleichbare Skalen, sodass die Grenze die tatsächliche Klassenstruktur und nicht willkürliche Einheiten widerspiegelt.
Was steuert der C-Parameter?
C tauscht die Randbreite gegen Klassifikationsfehler ein. Ein großes C erzwingt eine enge Anpassung an die Trainingsdaten mit einem schmalen Rand; ein kleines C erlaubt mehr Randverletzungen im Austausch für eine breitere, glattere Grenze. Der richtige Wert wird durch Kreuzvalidierung ermittelt.
Wofür ist der Kernel da?
Wenn die Klassen nicht durch eine gerade Grenze getrennt werden können, bildet ein Kernel (wie die Radialbasisfunktion) die Daten implizit in einen höherdimensionalen Raum ab, in dem eine trennende Hyperebene existiert, wodurch SVM nichtlineare Grenzen modellieren kann. Die Wahl des Kernels sollte mittels Kreuzvalidierung validiert werden.
Wann sollte ich SVM nicht verwenden?
Bei sehr kleinen Stichproben – unter etwa 50 Beobachtungen – gibt es zu wenige Support-Vektoren, um eine stabile Grenze zu definieren, und es gibt nicht genügend Daten, um den Kernel und C abzustimmen, sodass das Modell Gefahr läuft, überangepasst zu werden. In diesem Fall ist ein einfacherer Klassifikator wie logistische Regression oder Naive Bayes vorzuziehen.
Verwandte Methoden
Quellen
Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.
DOI-Referenz öffnenKopiert.