Halb-überwachtes One-Class-SVM
- Eingeführt von
- Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
- Jahr
- 2001–2004
- Typ
- Semi-supervised anomaly / novelty detection
- Familie
- Machine learning
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Das halb-überwachte One-Class-SVM erweitert den klassischen One-Class-SVM-Anomaliedetektor durch die Einbeziehung unbeschrifteter Beobachtungen neben einer kleinen Menge bekannter normaler Beispiele.
Die unbeschrifteten Daten helfen dem Modell, eine engere, informativere Entscheidungsgrenze im Merkmalsraum zu lernen, wodurch Fehlalarme reduziert und der Anomalie-Recall im Vergleich zur rein unüberwachten Basislinie verbessert wird.
Die Intuition hinter der Methode
Ein Standard-One-Class-SVM zieht eine Grenze um beschriftete normale Daten in einem kernel-transformierten Merkmalsraum und kennzeichnet alles außerhalb als anomal. Das Problem ist, dass bei wenigen beschrifteten Beispielen die Grenze locker und verrauscht ist. Das halb-überwachte One-Class-SVM nutzt einen Pool von unbeschrifteten Beispielen – von denen die meisten wahrscheinlich normal sind –, um diese Grenze nach innen in dichtere Regionen zu ziehen. Stellen Sie es sich so vor, als würden Sie dem Modell beibringen, wo 'normal' wirklich lebt, indem Sie ihm mehr Beispiele zeigen, auch wenn diese Beispiele keine bestätigten Klassenbeschriftungen haben. Das Ergebnis ist eine engere, zuverlässigere Anomaliegrenze bei geringen Beschriftungskosten.
Geschichte
Das One-Class-SVM wurde 2001 von Schölkopf et al. als Methode zur Schätzung der Unterstützung einer hochdimensionalen Verteilung eingeführt und entwickelte sich schnell zu einem Standard für Neuheits- und Anomalieerkennung. Forscher erkannten Mitte der 2000er Jahre, dass selbst ein kleiner beschrifteter normaler Saatgut die Entscheidungsgrenze erheblich straffen könnte, und mehrere halb-überwachte Erweiterungen wurden vorgeschlagen, die auf zeitgenössischen Arbeiten zu transductiven SVMs und Label-Propagation basierten. Der Ansatz wird in Bereichen, in denen die Beschriftung von Anomalien prohibitiv teuer ist, weiterhin aktiv erforscht.
Wann wird sie eingesetzt?
Wählen Sie das halb-überwachte One-Class-SVM, wenn Anomalien selten sind, die Beschriftung aller Daten zu teuer ist, aber ein kleiner bestätigter normaler Saatgut verfügbar ist – zum Beispiel bei der Erkennung von Netzwerkintrusionen, der Qualitätskontrolle medizinischer Bilder oder der Prüfung von Herstellungsfehlern. Es übertrifft das unüberwachte OC-SVM, wenn der beschriftete Saatgut sauber ist und der unbeschriftete Pool groß und repräsentativ für normales Verhalten ist. Verwenden Sie es nicht, wenn der beschriftete Saatgut verrauscht oder verzerrt ist, wenn die Anomalierate im unbeschrifteten Pool hoch ist (ungefähr über 10–20 %), wenn Sie viele bestätigte Anomaliebeispiele haben (überwachte SVM oder Ensemble-Methoden sind besser) oder wenn Interpretierbarkeit und explizite Koeffizienten von Gutachtern gefordert werden.
Grenzen und Hinweise
- Die Leistung verschlechtert sich stark, wenn der beschriftete Saatgut klein, verrauscht oder nicht repräsentativ für das tatsächliche normale Verhalten ist.
- Hohe Kontaminationsraten im unbeschrifteten Pool verursachen Pseudobeschriftungsdrift und Grenzkorruption.
- Die quadratische Programmierung skaliert schlecht: Standard-SVM-Löser haben Schwierigkeiten bei mehr als Zehntausenden von Beobachtungen.
- Erfordert sorgfältige Kernel- und nu-Hyperparameter-Abstimmung; Standardwerte ergeben selten optimale Grenzen.
- Iterative Pseudobeschriftung erhöht die Implementierungskomplexität und erfordert prinzipielle Abbruchkriterien.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Nutzt reichlich vorhandene unbeschriftete Daten zur Verbesserung der Grenzqualität ohne teure vollständige Annotation.
- Erbt die Kernel-Flexibilität des Standard-One-Class-SVM und erfasst nichtlineare Normaldaten-Mannigfaltigkeiten.
- Besser kalibrierte Anomalie-Scores als rein unüberwachtes OC-SVM, wenn ein sauberer beschrifteter Saatgut existiert.
- Funktioniert gut in hochdimensionalen Merkmalsräumen, in denen normale Daten kompakte Cluster bilden.
- Die Größe des Anomalie-Scores liefert eine natürliche Konfidenzrangliste für Triage und Priorisierung.
Anwendungen
- Erkennung von Netzwerkintrusionen und Cyberangriffen unter Verwendung von beschriftetem normalem Datenverkehr plus unbeschrifteten Betriebs-Logs.
- Qualitätskontrolle medizinischer Bilder, bei denen bestätigte gute Scans verfügbar sind, Anomalien jedoch selten sind.
- Industrielle Fehlererkennung mit normalen Betriebsbedingungssensorwerten als beschriftetem Saatgut.
- Betrugserkennung bei Finanztransaktionen, wenn nur nicht-betrügerische Beispiele bestätigt sind.
- Filterung von Text- oder Dokumentenanomalien unter Verwendung bekannter sauberer Dokumentensätze zur Verankerung der Grenze.
So funktioniert es
So funktioniert es
Teilen Sie die Trainingsdaten in eine kleine beschriftete Menge bestätigter normaler Instanzen und einen viel größeren unbeschrifteten Pool auf. Der unbeschriftete Pool besteht typischerweise aus realen Betriebsdaten aus der Zieldomäne, die nicht manuell verifiziert wurden. Die Qualität des beschrifteten Saatguts beeinflusst die endgültige Leistung stark.
Bilden Sie alle Beobachtungen mithilfe einer Kernelfunktion – am häufigsten der RBF-Kern – in einen hochdimensionalen reproduzierenden Hilbertraum ab. In diesem Raum werden Cluster normaler Daten kompakt und vom Ursprung trennbar, was der geometrische Trick ist, der dem One-Class-SVM zugrunde liegt.
Formel
\phi: \mathcal{X} \rightarrow \mathcal{F}Passen Sie ein initiales One-Class-SVM nur mit den beschrifteten normalen Beispielen an. Dies ergibt eine vorläufige Hyperebene, die durch den Gewichtungsvektor w, den Schwellenwert rho und die Schlupfvariablen xi definiert ist, gesteuert durch den nu-Parameter, der den Anteil der Trainingsfehler begrenzt.
Formel
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rhoWenden Sie das initiale Modell auf den unbeschrifteten Pool an und weisen Sie weiche oder harte Pseudobeschriftungen zu: Als normal klassifizierte Instanzen werden vorläufig zur normalen Menge hinzugefügt; als Anomalien eingestufte Instanzen können verworfen oder heruntergewichtet werden. Die Zuverlässigkeit von Pseudobeschriftungen kann durch Konfidenzschwellen oder Label-Propagation über einen Ähnlichkeitsgraphen verbessert werden.
Trainieren Sie das One-Class-SVM auf der erweiterten beschrifteten Menge (ursprüngliche Beschriftungen plus akzeptierte Pseudobeschriftungen) neu. Wiederholen Sie die Pseudobeschriftungs- und Neutrainingsschleife für eine feste Anzahl von Iterationen oder bis sich die Grenze stabilisiert. Ein vorzeitiges Beenden verhindert ein Abdriften, das durch kaskadierende Pseudobeschriftungsfehler verursacht wird.
Bei der Inferenz wird jede neue Beobachtung durch denselben Kernel abgebildet und die Entscheidungsfunktion f(x) ausgewertet. Instanzen mit f(x) < 0 werden als Anomalien gekennzeichnet; die Größe des Scores spiegelt den Abstand zur normalen Grenze wider und kann als Anomalie-Konfidenzrangliste dienen.
Formel
f(x) = \text{sign}(w^\top \phi(x) - \rho)Häufige Fallstricke
- Verwendung eines beschrifteten Saatguts, das aus einer anderen Verteilung als der unbeschriftete Pool gezogen wurde, was zu systematischen Pseudobeschriftungsfehlern führt.
- Festlegung des Kontaminationsparameters nu ohne Schätzung der tatsächlichen Anomalierate, was zu Über- oder Untererkennung führt.
- Bedingungslose Annahme von Pseudobeschriftungen anstelle der Anwendung von Konfidenzschwellen oder weicher Gewichtung.
- Verzicht auf die Auswertung an einem zurückgehaltenen annotierten Anomaliesatz und ausschließliche Verlass auf unüberwachte Cluster-Metriken.
- Verwechslung dieser Methode mit transductivem SVM (S3VM), das ein anderes Problem der halb-überwachten Klassifizierung löst und nicht die One-Class-Erkennung.
Häufig gestellte Fragen
Wie groß muss der beschriftete Saatgut sein?
In der Praxis können selbst einige Dutzend bestätigte normale Beispiele eine nützliche Grenze initialisieren, aber der beschriftete Satz sollte die Hauptmodi des normalen Verhaltens abdecken. Wenn der Saatgut kleiner als etwa 20–30 Beobachtungen ist, wird die anfängliche Grenze unzuverlässig sein und Pseudobeschriftungsfehler werden sich verstärken.
Was passiert, wenn der unbeschriftete Pool stark mit Anomalien kontaminiert ist?
Hohe Kontamination (über etwa 10–20 % Anomalien) führt dazu, dass die iterative Verfeinerung allmählich Anomalien in die normale Klasse aufnimmt und die Grenze korrumpiert. In solchen Fällen verwenden Sie einen niedrigeren Schwellenwert für die Pseudobeschriftungsannahme, wenden Sie Ensemble-Voting über mehrere Läufe an oder greifen Sie auf das rein überwachte One-Class-SVM nur auf dem beschrifteten Saatgut zurück.
Wie wähle ich den Kernel und den nu-Parameter aus?
Der RBF-Kernel ist der Standard-Standard; stimmen Sie seine Bandbreite (gamma) zusammen mit nu mithilfe von Kreuzvalidierung auf dem beschrifteten Satz ab. Nu steuert die Obergrenze für den Anteil der Trainingsfehler und den Anteil der Stützvektoren – setzen Sie ihn ungefähr auf die erwartete Anomalierate, falls bekannt.
Unterscheidet sich dies von einem transductiven SVM (S3VM)?
Ja. Transductive SVM (S3VM) führt eine halb-überwachte binäre Klassifizierung durch, bei der beide Klassen teilweise beschriftet sind. Halb-überwachtes One-Class-SVM befasst sich mit Anomalieerkennung: Es verwendet nur normale Klassenbeschriftungen und behandelt unbeschriftete Beobachtungen als potenzielle Normale, nicht als zweite zu klassifizierende Klasse.
Kann ich diese Methode skalierbar einsetzen?
Standard-SVM-Löser haben eine Komplexität von O(n^2) bis O(n^3). Für Datensätze mit mehr als etwa 50.000 Beobachtungen verwenden Sie ungefähre Löser (z. B. SGD-basierte Online-Updates, Kernel-Approximationen über Nystrom- oder zufällige Fourier-Merkmale) oder wechseln Sie zu skalierbaren Alternativen wie Isolation Forest oder Deep Autoencoder-basierten Anomalieerkennungsmethoden.
Verwandte Methoden
Quellen
Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.
Publikationsreferenz öffnenKopiert.Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
DOI-Referenz öffnenKopiert.