Zum Inhalt springen
Zurück zu den Suchergebnissen

Support Vector Regression

Eingeführt von
Smola, A.J. & Schölkopf, B.
Jahr
2004
Typ
Kernel-based supervised model (epsilon-insensitive regression)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Support Vector Regression (SVR), wie in Smola und Schölkops Tutorial von 2004 beschrieben, sagt ein kontinuierliches Ergebnis voraus, indem eine Funktion angepasst wird, die innerhalb eines Epsilon-breiten Schlauchs um die Daten liegt und dabei möglichst geringe Fehler verursacht.

Sie erweitert die Idee der Support Vector Machines von der Klassifikation zur Regression und nutzt einen Kernel, um nichtlineare Beziehungen zu erfassen.

Die Intuition hinter der Methode

Anstatt jede Abweichung von der angepassten Linie zu bestrafen, ignoriert SVR Fehler, die kleiner als eine Toleranz Epsilon sind – sie zieht einen Schlauch der Breite Epsilon um die vorhergesagte Funktion, und nur Punkte, die außerhalb des Schlauchs liegen, werden negativ gewertet. Das Modell sucht dann nach der flachsten möglichen Funktion, die die meisten Punkte innerhalb des Schlauchs hält. Die wenigen Punkte am oder außerhalb der Schlauchränder werden zu den Support-Vektoren, die die Vorhersage definieren.

Geschichte

Support Vector Regression erweitert die Support Vector Machine, ursprünglich eine Klassifikationsmethode, auf die Aufgabe der Regression. Die Epsilon-unempfindliche Formulierung und ihre kernelisierte Lösung werden in Smola und Schölkops Tutorial von 2004 in Statistics and Computing dargelegt, das zur Standardreferenz für die Methode geworden ist.

Wann wird sie eingesetzt?

Verwenden Sie SVR zur Vorhersage eines kontinuierlichen (oder Zähl-)Ergebnisses aus Merkmalen, wenn die Beziehung nichtlinear sein kann und Sie mindestens etwa 50 Beobachtungen haben. Merkmale müssen normalisiert werden, und der Kernel sowie der C-Parameter müssen abgestimmt werden. Bei weniger als 50 Fällen beruht die Vorhersage auf zu wenigen Support-Vektoren und wird instabil, daher ist eine Ridge- oder lineare Regression vorzuziehen.

Grenzen und Hinweise

  • Benötigt mindestens etwa 50 Beobachtungen; bei weniger beruht die Vorhersage auf zu wenigen Support-Vektoren und ist instabil.
  • Die Leistung hängt von der Abstimmung des Kernels und des C-Parameters ab, was genügend Kreuzvalidierungsdaten erfordert.
  • Merkmale müssen vorher normalisiert werden, da sonst die Kernel-Distanzen verzerrt werden.
  • Bietet keine interpretierbaren Koeffizienten.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Der Epsilon-unempfindliche Verlust macht die Anpassung robust gegenüber kleinen Abweichungen und Ausreißern innerhalb des Schlauchs.
  • Kernel ermöglichen es SVR, nichtlineare Beziehungen zu modellieren, ohne explizit neue Merkmale zu konstruieren.
  • Erfordert keine normalverteilten Daten.
  • Das endgültige Modell hängt nur von den Support-Vektoren ab, wodurch die Vorhersage kompakt bleibt.

Anwendungen

  • Vorhersage kontinuierlicher Ergebnisse, bei denen die Beziehung zu den Merkmalen nichtlinear ist.
  • Prognose- und Vorhersageaufgaben, bei denen Robustheit gegenüber kleinen Abweichungen wichtig ist.
  • Modellierung von Zähl- oder kontinuierlichen Zielvariablen in Gesundheits-, Sozial-, Ingenieur- und Wirtschaftsdaten.
  • Als kernelbasierte Alternative zu linearer oder Ridge-Regression, wenn Nichtlinearität vermutet wird.

So funktioniert es

So funktioniert es

1

SVR definiert einen Toleranzbereich, den Epsilon-Schlauch, um die Regressionsfunktion: Abweichungen innerhalb von Epsilon werden als kein Fehler behandelt. Dies macht die Anpassung unempfindlich gegenüber kleinen Schwankungen und konzentriert das Modell auf die Beobachtungen, die tatsächlich außerhalb des Bandes liegen.

Formel
|y_i - f(x_i)| \le \varepsilon
2

Das Modell balanciert die Flachheit der Funktion gegen den Fehler, der durch Punkte außerhalb des Schlauchs verursacht wird. Ein Regularisierungsparameter C steuert, wie stark Abweichungen außerhalb des Schlauchs bestraft werden, während ein Kernel (wie der RBF-Kernel) der Funktion erlaubt, sich zu krümmen, um nichtlineare Strukturen zu erfassen. Da sowohl C als auch der Kernel abgestimmt werden müssen, sollten die Merkmale vor der Anpassung normalisiert werden.

Formel
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)
3

Vorhersagen für neue Eingaben werden als eine kernelgewichtete Kombination der Support-Vektoren – die Trainingspunkte, die auf oder jenseits der Schlauchränder liegen – plus einem Offset gebildet. Nur diese Support-Vektoren fließen in die endgültige Vorhersage ein, was das angepasste Modell kompakt macht.

Formel
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b

Häufige Fallstricke

  • Anpassung von SVR an nicht normalisierte Merkmale, was die Kernel-Distanzen verzerrt.
  • Akzeptieren von Standard-Kernel- und C-Werten, ohne sie mittels Kreuzvalidierung abzustimmen.
  • Verwendung von SVR auf einer kleinen Stichprobe, bei der nicht genügend Daten für die Hyperparameter-Optimierung vorhanden sind.
  • Behandlung der kernelbasierten Anpassung, als ob sie interpretierbare Effektstärken ergäbe.

Häufig gestellte Fragen

Was steuert der Epsilon-Parameter?

Epsilon legt die halbe Breite des Toleranzschlauchs um die angepasste Funktion fest. Abweichungen, die kleiner als Epsilon sind, werden als Nullfehler behandelt, sodass ein größeres Epsilon zu einem flacheren, einfacheren Modell mit weniger Support-Vektoren führt, während ein kleineres Epsilon die Daten enger anpasst.

Warum muss ich die Merkmale normalisieren?

SVR basiert auf Distanzen, die über den Kernel berechnet werden. Wenn Merkmale auf sehr unterschiedlichen Skalen liegen, dominieren diejenigen mit größeren Bereichen die Distanzen, daher sollten die Merkmale vor der Anpassung standardisiert werden.

Wie klein ist eine zu kleine Stichprobe?

Bei weniger als etwa 50 Beobachtungen hängt die Anpassung von zu wenigen Support-Vektoren ab und wird instabil, und es sind nicht genügend Daten vorhanden, um die Kernel-Hyperparameter abzustimmen; eine Ridge- oder lineare Regression ist eine sicherere Wahl.

Wie unterscheidet sich SVR von der gewöhnlichen kleinsten Quadrate-Methode?

Die Methode der kleinsten Quadrate bestraft jeden Residuen quadratisch, während SVR Residuen innerhalb des Epsilon-Schlauchs ignoriert und nur die außerhalb bestraft. In Kombination mit einem Kernel ermöglicht dies SVR, nichtlineare Beziehungen zu erfassen und robust gegenüber kleinen Abweichungen zu bleiben.

Verwandte Methoden

Quellen

  1. Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.

    DOI-Referenz öffnen
    Kopiert.