One-Class SVM
- Eingeführt von
- Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
- Jahr
- 1999–2001
- Typ
- Anomaly / novelty detection (unsupervised)
- Familie
- Machine learning
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
One-class SVM ist ein unüberwachter Algorithmus zur Anomalie- und Neuheitserkennung, der eine enge Grenze um normale Trainingsdaten in einem kernel-induzierten Merkmalsraum lernt und neue Beobachtungen, die außerhalb dieser Grenze liegen, als Ausreißer kennzeichnet.
Eingeführt von Scholkopf et al. in den Jahren 1999–2001, erweitert er das SVM-Framework auf den Ein-Klassen-Fall, bei dem keine gelabelten Anomalien verfügbar sind.
Die Intuition hinter der Methode
Stellen Sie sich vor, Sie blasen einen Ballon auf, um alle Ihre Trainingspunkte in einem transformierten Raum zu umschließen, der durch eine Kernel-Funktion definiert ist. Sobald der Ballon angepasst ist, wird jeder neue Punkt, der außerhalb landet, als Anomalie deklariert. Der Parameter nu steuert, wie eng der Ballon ist: ein kleines nu erlaubt nur sehr wenigen Trainingspunkten, innerhalb der Marge zu liegen (strikte Grenze), während ein großes nu mehr Punkte außerhalb zulässt (lockerere Grenze). Der Kernel-Trick ermöglicht es, dass die Grenze im ursprünglichen Eingaberaum nichtlinear ist, sodass One-class SVM komplexe Formen der Normalität erfassen kann, die eine einfache Schwellenwert- oder Distanzregel übersehen würde.
Geschichte
Die One-class SVM wurde von Scholkopf, Platt, Smola und Williamson in einem technischen Bericht von 1999 eingeführt und 2001 in Neural Computation als 'Estimating the support of a high-dimensional distribution' veröffentlicht. Eine eng verwandte Formulierung, Support Vector Data Description (SVDD), wurde gleichzeitig von Tax und Duin (2004) entwickelt. Beide Methoden erweiterten das überwachte SVM-Framework auf den unüberwachten Anomalieerkennungsfall und wurden zu grundlegenden Referenzen in der Neuheitserkennungsliteratur. Die Scikit-learn-Implementierung von OneClassSVM machte die Methode in der angewandten Forschung weithin zugänglich.
Wann wird sie eingesetzt?
Verwenden Sie One-class SVM, wenn keine gelabelten Anomaliebeispiele verfügbar oder sehr spärlich sind und Sie eine nichtlineare Grenze um normales Verhalten wünschen – typisch für Betrugserkennung, Intrusion Detection, industrielle Fehlerüberwachung und medizinische Neuheitsprüfung mit kontinuierlichen numerischen Merkmalen. Sie funktioniert am besten auf mittelgroßen Datensätzen (Hunderte bis Zehntausende von Stichproben) und hochdimensionalen oder komplex geformten Normalitätsverteilungen, bei denen lineare oder distanzbasierte Detektoren versagen. Vermeiden Sie sie, wenn: der Trainingsdatensatz sehr groß ist (n > ~100.000), da die quadratische Lösung schlecht skaliert; die Daten stark kategorisch sind; oder wenn schnelle, interpretierbare Regeln erforderlich sind. In diesen Fällen bevorzugen Sie Isolation Forest, Local Outlier Factor oder ein schwellenwertbasiertes statistisches Modell.
Grenzen und Hinweise
- Der Solver für quadratische Programmierung skaliert als O(n^2) bis O(n^3) in Bezug auf die Trainingsstichproben, was ihn für sehr große Datensätze unpraktisch macht.
- Empfindlich gegenüber der Wahl des Kernels und seiner Hyperparameter (z. B. RBF-Gamma); schlechte Wahl führt entweder zu einer zu engen oder zu lockeren Grenze.
- Benötigt saubere normale Trainingsdaten – kontaminierte Trainingsdatensätze verschieben die Grenze und erhöhen die falsch-negativen Raten.
- Erzeugt nicht von Natur aus kalibrierte Wahrscheinlichkeitsschätzungen; der Entscheidungsscore ist keine Wahrscheinlichkeit.
- Die Interpretierbarkeit ist begrenzt; die Erklärung, warum ein bestimmter Punkt markiert wird, ist ohne zusätzliche nachträgliche Werkzeuge schwierig.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Funktioniert ohne gelabelte Anomaliebeispiele – nur normale Trainingsdaten sind erforderlich.
- Nichtlineare Kernel (typischerweise RBF) erfassen komplexe, gekrümmte Normalitätsgrenzen, die distanzbasierte Methoden übersehen.
- Der nu-Parameter gibt eine direkte, interpretierbare Kontrolle über den erwarteten Ausreißeranteil.
- Skaliert dank des Kernel-Tricks gut auf hochdimensionale Merkmalsräume.
- Der kontinuierliche Entscheidungsscore ermöglicht eine flexible nachträgliche Kalibrierung des Schwellenwerts.
- Bewährt in Hochrisikobereichen wie Intrusion Detection, Fehlerüberwachung und medizinischer Bildgebung.
Anwendungen
- Netzwerk-Intrusion-Erkennung: Kennzeichnung von Verkehrsmustern, die während des normalen Betriebs nicht gesehen wurden.
- Industrielle Fehlerüberwachung: Erkennung von Maschinensensorwerten, die von Profilen im gesunden Zustand abweichen.
- Betrugserkennung: Identifizierung ungewöhnlicher Transaktionsmuster, wenn betrügerische Beispiele zu selten sind, um einen überwachten Klassifikator zu trainieren.
- Medizinische Neuheitserkennung: Kennzeichnung von Bildgebungs- oder Biomarker-Messwerten außerhalb der Verteilung gesunder Probanden.
- Natürliche Sprachverarbeitung: Erkennung von Dokumenten oder Anfragen außerhalb des Bereichs mithilfe von Text-Embeddings als Eingabemerkmale.
So funktioniert es
So funktioniert es
Alle Trainingsbeobachtungen werden über eine Kernel-Funktion wie die Radial Basis Function (RBF) in einen hochdimensionalen (potenziell unendlichdimensionalen) Merkmalsraum abgebildet. Die inneren Produkte in diesem Raum können ausgewertet werden, ohne die Abbildung explizit zu berechnen, was den Ansatz auch für komplexe Grenzen handhabbar macht.
Formel
\phi: \mathcal{X} \to \mathcal{F}Ein quadratisches Programm findet eine Hyperebene im Merkmalsraum, die die abgebildeten Trainingsdaten mit maximalem Abstand zum Ursprung trennt. Der nu-Parameter (zwischen 0 und 1) begrenzt gleichzeitig den Anteil der als Ausreißer behandelten Trainingspunkte und den Anteil der Stützvektoren, wodurch der Praktiker direkte Kontrolle über den Kompromiss zwischen Modellengheit und Toleranz gegenüber Trainingskontamination erhält.
Formel
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_iDie gelernte Hyperebene definiert eine signierte Entscheidungsfunktion. Punkte auf der positiven Seite werden als normal klassifiziert; Punkte auf der negativen Seite (unterhalb des Schwellenwerts rho) werden als Anomalien oder Neuheiten gekennzeichnet. Der Rohwert kann auch als kontinuierlicher Anomalie-Score für die Rangfolge dienen.
Formel
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)Die Wahl von nu ist die wichtigste Modellierungsentscheidung: Die Einstellung nahe dem erwarteten Kontaminationsanteil im Trainingsdatensatz ist eine praktische Faustregel. Kreuzvalidierung auf einem zurückgehaltenen normalen Validierungsdatensatz oder Domänenwissen über die erwartete Ausreißerrate sollte die Wahl leiten und nicht allein eine Gitter-Suche auf ungelabelten Daten.
Im Einsatz wird ein Anomalie-Score-Schwellenwert auf die Ausgabe der Entscheidungsfunktion angewendet. Der Schwellenwert kann nachträglich angepasst werden, um die Präzision gegen den Recall für Anomalien abzuwägen, wodurch die Methode für Anwendungen geeignet ist, bei denen die Kosten für falsch positive Ergebnisse erheblich von den Kosten für falsch negative Ergebnisse abweichen.
Häufige Fallstricke
- Training auf Daten, die einen signifikanten Anteil unerkannter Anomalien enthalten, was die gelernte Grenze korrumpiert.
- Einstellung von nu ohne Bezug auf die erwartete Kontaminationsrate, was entweder zu übermäßigen falsch positiven Ergebnissen oder zu übersehenen Anomalien führt.
- Verwendung des Standard-RBF-Gamma ohne Abstimmung, was die Grenze entweder zu eng (alle neuen Punkte sind Anomalien) oder zu locker (keine Anomalien erkannt) machen kann.
- Anwendung von One-class SVM auf sehr große Datensätze, ohne Alternativen zur Skalierbarkeit wie SGD-basierte Annäherungen (sklearn's SGDOneClassSVM) zu berücksichtigen.
- Berichterstattung nur über eine binäre Anomalie-Markierung, ohne die Verteilung des kontinuierlichen Scores zur Kalibrierung des Schwellenwerts zu untersuchen.
Häufig gestellte Fragen
Was ist der Unterschied zwischen One-class SVM und Isolation Forest für die Anomalieerkennung?
One-class SVM lernt eine kernelbasierte Grenze um normale Daten und erzielt gute Ergebnisse bei hochdimensionalen, komplex geformten Verteilungen, skaliert aber schlecht mit der Datensatzgröße. Isolation Forest verwendet zufällige Partitionierung und ist auf großen Datensätzen viel schneller, ist aber im Allgemeinen weniger empfindlich für subtile, nichtlineare Anomalie-Muster.
Wie sollte ich den nu-Parameter wählen?
Setzen Sie nu auf den Anteil der Trainingsbeobachtungen, von denen Sie erwarten, dass sie kontaminiert oder atypisch sind. Wenn Sie glauben, dass weniger als 5 % Ihrer Trainingsstichproben Ausreißer sind, beginnen Sie mit nu=0,05. Verwenden Sie einen zurückgehaltenen Satz bekannter normaler Beispiele, um die Enge der Grenze zu bewerten, anstatt sich allein auf die Gitter-Suche zu verlassen.
Welchen Kernel sollte ich verwenden?
Der RBF (Gaußsche) Kernel ist der Standard-Ausgangspunkt und eignet sich gut für die meisten kontinuierlichen numerischen Datensätze. Der Gamma-Hyperparameter des RBF-Kernels steuert den Einflussradius; kreuzvalidieren Sie über ein logarithmisch verteiltes Gitter. Lineare Kernel sind schneller, beschränken die Grenze aber auf eine Hyperebene.
Kann One-class SVM kategorische Merkmale verarbeiten?
Nicht direkt. Kategorische Variablen müssen numerisch kodiert werden (z. B. binäre oder ordinale Kodierung), bevor sie verwendet werden können, was Verzerrungen der Distanzmetrik einführen kann. Für Datensätze, die hauptsächlich aus kategorischen Merkmalen bestehen, sollten Sie baumbasierte Detektoren wie Isolation Forest in Betracht ziehen.
Mein Trainingsdatensatz enthält möglicherweise einige Anomalien. Macht das das Modell kaputt?
Kontaminierte Trainingsdaten verschieben die Grenze nach außen und können dazu führen, dass das Modell anomale Muster als normal lernt. One-class SVM ist dafür empfindlicher als Isolation Forest. Wenn Kontamination vermutet wird, sollten Sie SVDD mit einem höheren nu verwenden oder den Trainingsdatensatz mit einem vorläufigen Durchlauf eines schnellen Detektors bereinigen.
Verwandte Methoden
Quellen
Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
DOI-Referenz öffnenKopiert.Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.
DOI-Referenz öffnenKopiert.