One-class SVM semi-supervisionato
- Introdotto da
- Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
- Anno
- 2001–2004
- Tipo
- Semi-supervised anomaly / novelty detection
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il One-class SVM semi-supervisionato estende il classico rilevatore di anomalie One-class SVM incorporando osservazioni non etichettate accanto a un piccolo insieme di esempi normali noti.
I dati non etichettati aiutano il modello ad apprendere un confine decisionale più stretto e informativo nello spazio delle caratteristiche, riducendo i falsi positivi e migliorando il richiamo delle anomalie rispetto alla linea di base puramente non supervisionata.
L’intuizione alla base del metodo
Un One-class SVM standard traccia un confine attorno ai dati normali etichettati in uno spazio delle caratteristiche trasformato tramite kernel e segnala tutto ciò che si trova all'esterno come anomalo. Il problema è che con pochi esempi etichettati il confine è lasco e rumoroso. Il One-class SVM semi-supervisionato sfrutta un pool di esempi non etichettati — la maggior parte dei quali sono probabilmente normali — per tirare quel confine verso l'interno, verso regioni più dense. Pensala come insegnare al modello dove risiede veramente il 'normale' mostrandogli più esempi, anche quando questi esempi mancano di etichette di classe confermate. Il risultato è un confine di anomalie più stretto e affidabile a basso costo di etichettatura.
Storia
Il One-class SVM è stato introdotto da Scholkopf et al. nel 2001 come metodo per stimare il supporto di una distribuzione ad alta dimensionalità, diventando rapidamente uno standard per il rilevamento di novità e anomalie. I ricercatori a metà degli anni 2000 hanno riconosciuto che anche un piccolo seme normale etichettato poteva stringere sostanzialmente il confine decisionale, e sono state proposte diverse estensioni semi-supervisionate, attingendo al lavoro contemporaneo sugli SVM trasduttivi e sulla propagazione delle etichette. L'approccio rimane attivamente studiato in domini in cui l'etichettatura delle anomalie è proibitivamente costosa.
Quando usarlo
Scegliere il One-class SVM semi-supervisionato quando le anomalie sono rare, etichettare tutti i dati è troppo costoso, ma è disponibile un piccolo seme normale confermato — ad esempio, rilevamento di intrusioni di rete, controllo di qualità di immagini mediche o screening di difetti di produzione. Supera l'OC-SVM non supervisionato quando il seme etichettato è pulito e il pool non etichettato è ampio e rappresentativo del comportamento normale. Non usarlo quando il seme etichettato è rumoroso o distorto, quando il tasso di anomalie nel pool non etichettato è elevato (sopra circa il 10–20%), quando si dispone di molti esempi di anomalie confermate (meglio SVM supervisionati o metodi d'insieme), o quando l'interpretabilità e i coefficienti espliciti sono richiesti dai revisori.
Limiti e considerazioni
- Le prestazioni degradano rapidamente se il seme etichettato è piccolo, rumoroso o non rappresentativo del vero comportamento normale.
- Alti tassi di contaminazione nel pool non etichettato causano deriva delle pseudo-etichette e corruzione del confine.
- La programmazione quadratica scala male: i risolutori SVM standard faticano sopra decine di migliaia di osservazioni.
- Richiede un'attenta messa a punto del kernel e dei parametri nu; i valori predefiniti raramente producono confini ottimali.
- La pseudo-etichettatura iterativa aggiunge complessità di implementazione e richiede criteri di arresto rigorosi.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Sfrutta abbondanti dati non etichettati per migliorare la qualità del confine senza costose annotazioni complete.
- Eredita la flessibilità del kernel del One-class SVM standard, catturando le varietà non lineari dei dati normali.
- Punteggi di anomalia meglio calibrati rispetto all'OC-SVM puramente non supervisionato quando esiste un seme etichettato pulito.
- Funziona bene in spazi delle caratteristiche ad alta dimensionalità dove i dati normali formano cluster compatti.
- La magnitudine del punteggio di anomalia fornisce una classifica di confidenza naturale per triage e prioritizzazione.
Applicazioni
- Rilevamento di intrusioni di rete e attacchi informatici utilizzando traffico normale etichettato più log operativi non etichettati.
- Controllo di qualità di immagini mediche dove sono disponibili scansioni buone confermate ma le anomalie sono rare.
- Rilevamento di guasti industriali con letture di sensori in condizioni operative normali come seme etichettato.
- Rilevamento di frodi nelle transazioni finanziarie quando solo esempi non fraudolenti sono confermati.
- Filtraggio di anomalie di testo o documenti utilizzando set di documenti puliti noti per ancorare il confine.
Come funziona
Come funziona
Partizionare i dati di addestramento in un piccolo insieme etichettato di istanze normali confermate e un pool non etichettato molto più ampio. Il pool non etichettato è tipicamente costituito da dati operativi reali del dominio di destinazione che non sono stati verificati manualmente. La qualità del seme etichettato influenza fortemente le prestazioni finali.
Mappare tutte le osservazioni in uno spazio di Hilbert riproduttivo ad alta dimensionalità utilizzando una funzione kernel — più comunemente il kernel RBF. In quello spazio, i cluster di dati normali diventano compatti e separabili dall'origine, che è il trucco geometrico alla base del One-class SVM.
Formula
\phi: \mathcal{X} \rightarrow \mathcal{F}Addestrare un One-class SVM iniziale utilizzando solo gli esempi normali etichettati. Questo fornisce un iperpiano preliminare definito dal vettore dei pesi w, dalla soglia rho e dalle variabili di slack xi, controllato dal parametro nu che limita la frazione di errori di addestramento.
Formula
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rhoApplicare il modello iniziale al pool non etichettato e assegnare pseudo-etichette morbide o dure: le istanze classificate come normali vengono aggiunte provvisoriamente all'insieme normale; quelle valutate come anomalie possono essere scartate o sottopesate. L'affidabilità delle pseudo-etichette può essere migliorata con soglie di confidenza o propagazione di etichette su un grafo di similarità.
Ri-addestrare il One-class SVM sull'insieme etichettato ampliato (etichette originali più pseudo-etichette accettate). Ripetere il ciclo di pseudo-etichettatura e ri-addestramento per un numero fisso di iterazioni o finché il confine non si stabilizza. L'arresto anticipato previene la deriva causata da errori a cascata nelle pseudo-etichette.
In inferenza, mappare ogni nuova osservazione attraverso lo stesso kernel e valutare la funzione di decisione f(x). Le istanze con f(x) < 0 vengono segnalate come anomalie; la magnitudine del punteggio riflette la distanza dal confine normale e può servire come classifica di confidenza delle anomalie.
Formula
f(x) = \text{sign}(w^\top \phi(x) - \rho)Errori comuni
- Utilizzo di un seme etichettato estratto da una distribuzione diversa da quella del pool non etichettato, causando errori sistematici nelle pseudo-etichette.
- Impostazione del parametro di contaminazione nu senza stimare il vero tasso di anomalie, portando a sovra- o sotto-rilevamento.
- Fidarsi incondizionatamente delle pseudo-etichette invece di applicare soglie di confidenza o ponderazione morbida.
- Saltare la valutazione su un insieme di anomalie annotate tenuto da parte e fare affidamento solo su metriche di clustering non supervisionate.
- Confondere questo metodo con SVM trasduttivo (S3VM), che risolve un problema diverso di classificazione semi-supervisionata piuttosto che di rilevamento one-class.
Domande frequenti
Quanto deve essere grande il seme etichettato?
In pratica, anche poche decine di esempi normali confermati possono inizializzare un confine utile, ma l'insieme etichettato dovrebbe coprire le principali modalità di comportamento normale. Se il seme è più piccolo di circa 20–30 osservazioni, il confine iniziale sarà inaffidabile e gli errori di pseudo-etichettatura si accumuleranno.
Cosa succede se il pool non etichettato è pesantemente contaminato da anomalie?
Un'alta contaminazione (sopra circa il 10–20% di anomalie) fa sì che il raffinamento iterativo assorba gradualmente le anomalie nella classe normale, corrompendo il confine. In tali casi, utilizzare una soglia di accettazione delle pseudo-etichette più bassa, applicare il voto d'insieme su più esecuzioni o tornare al One-class SVM puramente supervisionato solo sul seme etichettato.
Come scelgo il kernel e il parametro nu?
Il kernel RBF è il predefinito standard; regolare la sua larghezza di banda (gamma) insieme a nu utilizzando la cross-validation sull'insieme etichettato. Nu controlla il limite superiore sulla frazione di errori di addestramento e sulla frazione di vettori di supporto — impostarlo approssimativamente al tasso di anomalie atteso, se noto.
È diverso da un SVM trasduttivo (S3VM)?
Sì. L'SVM trasduttivo (S3VM) esegue la classificazione binaria semi-supervisionata in cui entrambe le classi sono parzialmente etichettate. Il One-class SVM semi-supervisionato affronta il rilevamento di anomalie: utilizza solo etichette di classe normale e tratta le osservazioni non etichettate come potenziali normali, non come una seconda classe da classificare.
Posso usare questo metodo su larga scala?
I risolutori SVM standard hanno complessità da O(n^2) a O(n^3). Per dataset superiori a circa 50.000 osservazioni, utilizzare risolutori approssimati (ad esempio, aggiornamenti online basati su SGD, approssimazioni del kernel tramite caratteristiche di Nystrom o Fourier casuali) o passare ad alternative scalabili come Isolation Forest o rilevatori di anomalie basati su autoencoder profondi.
Metodi correlati
Fonti
Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.
Apri il riferimento della pubblicazioneCopiato.Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
Apri il riferimento DOICopiato.