[UNTRANSLATED: Active Learning One-class SVM]
- Introdotto da
- Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
- Anno
- 2000s
- Tipo
- Semi-supervised anomaly/novelty detection with iterative labeling
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Active Learning One-class SVM combina la one-class support vector machine — un rilevatore di novità basato su kernel che apprende il confine dei dati normali — con un ciclo di active learning che seleziona le istanze non etichettate più informative per l'annotazione da parte di un esperto.
Il risultato è un rilevatore di anomalie efficiente dal punto di vista dei dati che migliora il suo confine decisionale con uno sforzo di etichettatura minimo.
L’intuizione alla base del metodo
Una standard One-class SVM traccia un confine stretto attorno alla regione normale conosciuta di uno spazio delle caratteristiche. La difficoltà è che la qualità del confine dipende fortemente da quali esempi vengono etichettati. L'active learning risolve questo problema chiedendo a un oracolo di etichettare solo gli esempi che cadono vicino, o appena fuori, dal confine decisionale corrente — i punti sui quali il modello è più incerto. Interrogando strategicamente piuttosto che casualmente, il modello ottiene un set di addestramento più informativo con molti meno esempi etichettati, risparmiando sui costi di annotazione e affilando il confine tra normale e anomalo.
Storia
La One-class SVM è stata introdotta da Schölkopf e colleghi nel 1999-2001 come un metodo kernel principiale per stimare il supporto di una distribuzione, ed è rapidamente diventata un algoritmo di riferimento per il rilevamento di novità e anomalie. Il paradigma dell'active learning — interrogare sistematicamente un oracolo per etichette informative — è stato formalizzato nella survey di Settles (2009). Ricercatori negli anni 2000 e 2010 hanno unito le due idee, applicando strategie di query basate sull'incertezza e sul margine a OCSVM in domini come il rilevamento di intrusioni, la diagnosi di guasti e lo screening medico, dove le anomalie etichettate sono intrinsecamente scarse.
Quando usarlo
Utilizzare quando anomalie o novità devono essere rilevate ma gli esempi etichettati sono costosi, rari o inizialmente non disponibili — tipico nel rilevamento di frodi, monitoraggio di guasti di apparecchiature, rilevamento di intrusioni nella cybersecurity e screening di malattie rare in ambito medico. Il metodo è ben adatto quando esiste una fornitura ragionevole di dati normali non etichettati accanto a un piccolo seme di istanze normali confermate, e quando un oracolo (esperto umano o tester automatico) può etichettare i punti interrogati. Evitare quando il tasso di anomalie è così basso che anche le query attive raramente colpiscono anomalie, quando lo spazio delle caratteristiche è estremamente ad alta dimensionalità senza una mappatura kernel significativa, o quando è richiesta una pipeline completamente automatizzata senza intervento umano.
Limiti e considerazioni
- Le prestazioni sono sensibili alla scelta del kernel e all'iperparametro nu; impostazioni predefinite errate possono produrre un confine troppo stretto o troppo lasco.
- La scalabilità è limitata: il costo di addestramento OCSVM cresce approssimativamente quadraticamente con il numero di vettori di supporto, rendendolo lento su dataset di grandi dimensioni.
- Se il seme iniziale etichettato non è rappresentativo della vera regione normale, le prime query possono fuorviare il modello.
- L'active learning presuppone la disponibilità e l'affidabilità dell'oracolo; etichettature rumorose o incoerenti degradano il confine.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Riduce drasticamente il numero di etichette di esperti necessarie per costruire un efficace rilevatore di anomalie.
- Gestisce bene dati ad alta dimensionalità tramite mappature kernel, in particolare il kernel RBF.
- Non richiede esempi di anomalie all'inizializzazione — si avvia solo con dati normali.
- La strategia di query attiva concentra lo sforzo di annotazione sulla regione dello spazio più rilevante per la decisione.
- Il confine OCSVM è robusto agli outlier nel set di addestramento tramite l'iperparametro nu.
Applicazioni
- Rilevamento di anomalie di intrusioni di rete e cybersecurity con etichette di attacco limitate.
- Monitoraggio di guasti di apparecchiature industriali utilizzando flussi di sensori con eventi di guasto rari.
- Rilevamento di frodi nelle transazioni finanziarie dove i casi di frode confermati sono rari e costosi da etichettare.
- Screening di malattie rare o eventi rari in ambito medico dove il tempo di annotazione dell'esperto è un vincolo stringente.
- Rilevamento di novità in immagini o testi quando inizialmente è disponibile solo un corpus di esempi normali.
Come funziona
Come funziona
Una One-class SVM iniziale viene addestrata sul piccolo set di esempi normali etichettati disponibili all'inizio. Il kernel (tipicamente RBF) e l'iperparametro nu — che controlla la frazione di punti di addestramento al di fuori del confine — vengono impostati prima che inizi l'iterazione.
La strategia di active learning valuta ogni istanza non etichettata in base alla sua distanza dal confine decisionale OCSVM. I punti più vicini al confine sono i più ambigui; vengono classificati e i candidati principali vengono selezionati come query per l'oracolo. Strategie comuni includono il margin sampling e varianti density-weighted.
Un esperto di dominio (o un surrogato a basso costo come una piattaforma di crowdsourcing) assegna un'etichetta — normale o anomala — a ciascuna istanza interrogata. Questo passaggio è il collo di bottiglia, quindi l'efficienza della selezione delle query determina il costo complessivo.
Le istanze appena etichettate vengono aggiunte al pool di addestramento e la One-class SVM viene riaddestrata. Se sono disponibili etichette di anomalie, queste possono essere incorporate attraverso un affinamento del confine a due classi; se vengono aggiunte solo etichette normali, il confine si stringe attorno ai dati normali confermati.
Il ciclo si ripete finché non si esaurisce un budget (numero massimo di query), le prestazioni su un set di validazione si stabilizzano, o la variazione del confine tra le iterazioni scende al di sotto di una soglia. L'OCSVM finale viene distribuita per lo scoring in produzione.
Errori comuni
- Regolazione di nu sul set di addestramento senza un set di validazione separato, il che porta a un confine troppo ottimistico.
- Selezione di query puramente per margine senza tenere conto della densità, causando al modello di interrogare punti in regioni sparse e non rappresentative.
- Trattare tutti i dati non etichettati come normali durante l'inizializzazione senza verificare la contaminazione.
- Interruzione del ciclo dopo troppo poche query e segnalazione delle prestazioni su un minuscolo set di validazione come se fosse stabile.
- Utilizzo di un kernel lineare su dati in cui la regione normale non è convessa — il kernel deve corrispondere alla geometria della classe normale.
Domande frequenti
Qual è la differenza tra questo metodo e una standard One-class SVM?
Una standard One-class SVM si addestra una volta su tutti i dati etichettati disponibili. La variante di active learning itera: si addestra su un piccolo seme, interroga i punti non etichettati più informativi, raccoglie etichette e si riaddestra. Questo rende il confine più accurato con molti meno esempi etichettati.
Quanti esempi etichettati mi servono per iniziare?
Anche una manciata di esempi normali confermati (appena 10-50) può avviare la prima OCSVM. Il ciclo attivo poi espande strategicamente il set etichettato. Iniziare con troppo pochi esempi rischia un confine iniziale instabile che indirizza male le prime query.
Quale strategia di query dovrei usare?
Il margin sampling — interrogare le istanze più vicine al confine decisionale OCSVM corrente — è la scelta più comune. Varianti density-weighted che preferiscono anche punti in regioni dense dello spazio di input tendono a superare il puro margin sampling quando i dati hanno una struttura a cluster.
Come valuto le prestazioni quando le etichette di anomalie sono scarse?
Utilizzare l'area sotto la curva ROC (AUC-ROC) o l'area sotto la curva precision-recall (AUC-PR) su un set di validazione separato che include anomalie confermate. L'accuratezza è fuorviante quando le anomalie sono rare. Se non esistono affatto etichette di anomalie, utilizzare l'ispezione visiva del confine in una proiezione a bassa dimensionalità.
Quando dovrei passare a un diverso rilevatore di anomalie?
Se il dataset ha più di qualche migliaio di istanze, Isolation Forest o rilevatori basati su Autoencoder scalano meglio. Se si dispone di un numero sufficiente di anomalie etichettate per l'addestramento supervisionato, una standard SVM binaria o un classificatore gradient boosted supererà generalmente OCSVM.
Metodi correlati
Fonti
Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.
Apri il riferimento DOICopiato.Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Apri il riferimento della pubblicazioneCopiato.