Skip to content
Torna ai risultati

One-Class SVM

Introdotto da
Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
Anno
1999–2001
Tipo
Anomaly / novelty detection (unsupervised)
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

La One-class SVM è un algoritmo di rilevamento di anomalie e novità non supervisionato che apprende un confine stretto attorno ai dati di addestramento normali in uno spazio delle caratteristiche indotto da kernel, segnalando le nuove osservazioni che cadono al di fuori di tale confine come outlier.

Introdotta da Scholkopf et al. nel 1999-2001, estende il framework SVM all'impostazione a singola classe in cui non sono disponibili anomalie etichettate.

L’intuizione alla base del metodo

Immaginate di gonfiare un palloncino per racchiudere tutti i vostri punti di addestramento in uno spazio trasformato definito da una funzione kernel. Una volta che il palloncino è adattato, qualsiasi nuovo punto che atterra all'esterno viene dichiarato un'anomalia. Il parametro nu controlla quanto stretto sia il palloncino: un nu piccolo permette a pochissimi punti di addestramento di trovarsi all'interno del margine (confine stretto), mentre un nu grande permette a più punti di trovarsi all'esterno (confine più lasco). Il trucco del kernel permette al confine di essere non lineare nello spazio di input originale, quindi la One-class SVM può catturare forme complesse di normalità che una semplice regola di soglia o di distanza trascurerebbe.

Storia

La one-class SVM è stata introdotta da Scholkopf, Platt, Smola e Williamson in un rapporto tecnico del 1999 e pubblicata su Neural Computation nel 2001 come 'Estimating the support of a high-dimensional distribution.' Una formulazione strettamente correlata, Support Vector Data Description (SVDD), è stata sviluppata contemporaneamente da Tax e Duin (2004). Entrambi i metodi hanno esteso il framework SVM supervisionato all'impostazione di rilevamento di anomalie non supervisionato e sono diventati riferimenti fondamentali nella letteratura sul rilevamento di novità. L'implementazione OneClassSVM di Scikit-learn ha reso il metodo ampiamente accessibile nella ricerca applicata.

Quando usarlo

Utilizzare la One-class SVM quando esempi di anomalie etichettate non sono disponibili o sono molto scarsi e si desidera un confine non lineare attorno al comportamento normale — tipico nel rilevamento di frodi, rilevamento di intrusioni, monitoraggio di guasti industriali e screening di novità mediche con caratteristiche numeriche continue. Funziona meglio su set di dati di dimensioni moderate (centinaia a decine di migliaia di campioni) e distribuzioni di normalità ad alta dimensionalità o con forme complesse dove i rilevatori lineari o basati sulla distanza falliscono. Evitarla quando: il set di addestramento è molto grande (n > ~100 000), poiché la soluzione quadratica scala male; i dati sono altamente categorici; o quando sono necessarie regole rapide e interpretabili. In questi casi preferire Isolation Forest, Local Outlier Factor o un modello statistico basato su soglia.

Limiti e considerazioni

  • Il risolutore di programmazione quadratica scala da O(n^2) a O(n^3) in termini di campioni di addestramento, rendendolo impraticabile per set di dati molto grandi.
  • Sensibile alla scelta del kernel e ai suoi iperparametri (ad es. gamma RBF); scelte errate producono un confine troppo stretto o troppo lasco.
  • Richiede dati di addestramento normali puliti — set di addestramento contaminati spostano il confine e aumentano i tassi di falsi negativi.
  • Non produce naturalmente stime di probabilità calibrate; il punteggio di decisione non è una probabilità.
  • L'interpretabilità è limitata; spiegare perché un punto specifico viene segnalato è difficile senza strumenti post-hoc aggiuntivi.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Funziona senza esempi di anomalie etichettate — sono richiesti solo dati di addestramento normali.
  • Il kernel non lineare (tipicamente RBF) cattura confini di normalità complessi e curvi che i metodi basati sulla distanza trascurano.
  • Il parametro nu fornisce un controllo diretto e interpretabile sulla frazione attesa di outlier.
  • Scala con grazia a spazi delle caratteristiche ad alta dimensionalità tramite il trucco del kernel.
  • Il punteggio di decisione continuo consente una flessibile calibrazione della soglia downstream.
  • Provato in domini ad alto rischio come il rilevamento di intrusioni, il monitoraggio di guasti e l'imaging medico.

Applicazioni

  • Rilevamento di intrusioni di rete: segnalazione di pattern di traffico non visti durante il normale funzionamento.
  • Monitoraggio di guasti industriali: rilevamento di letture di sensori di macchine che deviano dai profili di stato sano.
  • Rilevamento di frodi: identificazione di pattern di transazione insoliti quando esempi fraudolenti sono troppo rari per addestrare un classificatore supervisionato.
  • Rilevamento di novità mediche: segnalazione di letture di immagini o biomarcatori al di fuori della distribuzione dei soggetti sani.
  • Elaborazione del linguaggio naturale: rilevamento di documenti o query fuori dominio utilizzando embedding di testo come caratteristiche di input.

Come funziona

Come funziona

1

Tutte le osservazioni di addestramento vengono mappate in uno spazio delle caratteristiche ad alta dimensionalità (potenzialmente infinito-dimensionale) tramite una funzione kernel come la funzione di base radiale (RBF). I prodotti scalari in quello spazio possono essere valutati senza calcolare esplicitamente la mappatura, il che rende l'approccio trattabile anche per confini complessi.

Formula
\phi: \mathcal{X} \to \mathcal{F}
2

Un programma quadratico trova un iperpiano nello spazio delle caratteristiche che separa i dati di addestramento mappati dall'origine con margine massimo. Il parametro nu (tra 0 e 1) limita simultaneamente la frazione di punti di addestramento trattati come outlier e la frazione di vettori di supporto, dando al professionista un controllo diretto sul compromesso tra la rigidità del modello e la tolleranza alla contaminazione dell'addestramento.

Formula
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_i
3

L'iperpiano appreso definisce una funzione di decisione con segno. I punti sul lato positivo sono classificati come normali; i punti sul lato negativo (sotto la soglia rho) sono segnalati come anomalie o novità. Il punteggio grezzo può anche servire come punteggio di anomalia continuo per la classificazione.

Formula
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)
4

La scelta di nu è la decisione di modellazione chiave: impostarlo vicino alla frazione di contaminazione attesa nel set di addestramento è una regola pratica. La validazione incrociata su un set di validazione normale tenuto da parte o la conoscenza del dominio sulla frequenza attesa di outlier dovrebbe guidare la scelta piuttosto che la ricerca a griglia sui soli dati non etichettati.

5

In fase di distribuzione, viene applicata una soglia di punteggio di anomalia all'output della funzione di decisione. La soglia può essere regolata post-hoc per scambiare precisione e richiamo per le anomalie, rendendo il metodo adatto per applicazioni in cui il costo dei falsi positivi differisce sostanzialmente da quello dei falsi negativi.

Errori comuni

  • Addestramento su dati che contengono una frazione significativa di anomalie non rilevate, che corrompono il confine appreso.
  • Impostazione di nu senza riferimento alla frequenza di contaminazione attesa, con conseguenti eccessivi falsi positivi o anomalie mancate.
  • Utilizzo del gamma RBF predefinito senza ottimizzazione, che può rendere il confine troppo stretto (tutti i nuovi punti sono anomalie) o troppo lasco (nessuna anomalia rilevata).
  • Applicazione della One-class SVM a set di dati molto grandi senza considerare alternative di scalabilità come approssimazioni basate su SGD (SGDOneClassSVM di sklearn).
  • Riportare solo un flag binario di anomalia senza esaminare la distribuzione del punteggio continuo per calibrare la soglia.

Domande frequenti

Qual è la differenza tra One-class SVM e Isolation Forest per il rilevamento di anomalie?

La One-class SVM apprende un confine basato su kernel attorno ai dati normali e funziona bene su distribuzioni ad alta dimensionalità e forme complesse, ma scala male con la dimensione del dataset. Isolation Forest utilizza partizionamento casuale ed è molto più veloce su dataset di grandi dimensioni, ma è generalmente meno sensibile a pattern di anomalie sottili e non lineari.

Come dovrei scegliere il parametro nu?

Impostare nu alla frazione di osservazioni di addestramento che ci si as sia contaminata o atipica. Se si ritiene che meno del 5% dei campioni di addestramento siano outlier, iniziare con nu=0.05. Utilizzare un set tenuto da parte di esempi normali noti per valutare la rigidità del confine piuttosto che fare affidamento solo sulla ricerca a griglia.

Quale kernel dovrei usare?

Il kernel RBF (Gaussiano) è il punto di partenza standard e gestisce bene la maggior parte dei dataset numerici continui. L'iperparametro gamma del kernel RBF controlla il raggio di influenza; eseguire la validazione incrociata su una griglia log-spaziata. I kernel lineari sono più veloci ma limitano il confine a un iperpiano.

La One-class SVM può gestire caratteristiche categoriche?

Non direttamente. Le variabili categoriche devono essere codificate numericamente (ad es. codifica binaria o ordinale) prima dell'uso, il che può introdurre distorsioni della metrica di distanza. Per dataset dominati da caratteristiche categoriche, considerare invece rilevatori basati su alberi come Isolation Forest.

Il mio set di addestramento potrebbe contenere alcune anomalie. Questo compromette il modello?

Dati di addestramento contaminati spostano il confine verso l'esterno e possono indurre il modello ad apprendere pattern anomali come normali. La One-class SVM è più sensibile a questo rispetto a Isolation Forest. Se si sospetta contaminazione, considerare l'uso di SVDD con un nu più alto o la pulizia del set di addestramento con un passaggio preliminare di un rilevatore veloce.

Metodi correlati

Fonti

  1. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    Apri il riferimento DOI
    Copiato.
  2. Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.

    Apri il riferimento DOI
    Copiato.