Rilevamento di anomalie con autoencoder semi-supervisionato
- Introdotto da
- Ruff, L. et al.; Zong, B. et al.
- Anno
- 2018–2020
- Tipo
- Semi-supervised deep anomaly detection
- Famiglia
- Machine learning
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il rilevamento di anomalie con autoencoder semi-supervisionato addestra una rete neurale autoencoder principalmente su dati normali (non etichettati), quindi utilizza un piccolo set di anomalie etichettate per affinare i confini decisionali, rilevando le anomalie come campioni con elevato errore di ricostruzione.
Colma il divario tra autoencoder puramente non supervisionati e classificatori completamente supervisionati quando le etichette sono scarse ma esistono alcune anomalie note.
L’intuizione alla base del metodo
Un autoencoder standard impara a comprimere e ricostruire bene i dati normali; le anomalie che non ha mai visto vengono ricostruite male, quindi l'errore di ricostruzione le segnala. Gli autoencoder puramente non supervisionati non hanno un punto di riferimento per ciò che conta come anomalo — sanno solo cosa è normale. La variante semi-supervisionata utilizza il piccolo set di anomalie etichettate come esempi negativi durante il fine-tuning, avvicinando il confine decisionale del modello alle anomalie del mondo reale senza richiedere una supervisione completa. Il risultato è un rilevatore che è sia efficiente dal punto di vista dei dati sia meglio calibrato rispetto a ciascuno degli estremi da solo.
Storia
Il rilevamento di anomalie con autoencoder non supervisionato ha guadagnato terreno dopo l'ascesa del deep learning intorno al 2014. Zong et al. (ICLR 2018) hanno integrato autoencoder con modelli di miscela gaussiana per il punteggio di anomalie non supervisionato. Ruff et al. (ICLR 2020) hanno formalizzato la variante semi-supervisionata, dimostrando che anche una manciata di anomalie etichettate migliora sostanzialmente il rilevamento rispetto ai baselines puramente non supervisionati, stabilendo il framework ampiamente utilizzato oggi.
Quando usarlo
Consigliato quando si dispone di abbondanti dati non etichettati prevalentemente normali, più un piccolo ma affidabile set di anomalie confermate, e i rilevatori di anomalie non supervisionati standard producono troppi falsi positivi. Particolarmente efficace per dati ad alta dimensionalità o non lineari come segnali di sensori, traffico di rete o immagini dove metodi tradizionali (es. one-class SVM) scalano male. Non utilizzare quando le anomalie etichettate non sono disponibili affatto (preferire autoencoder non supervisionati) o quando si hanno abbastanza etichette per un classificatore supervisionato completo. Evitare con set di dati molto piccoli (meno di qualche centinaio di campioni) dove la rete profonda non può generalizzare.
Limiti e considerazioni
- Richiede una partizione attenta: se il pool non etichettato contiene molte anomalie, il pre-addestramento viene compromesso e le prestazioni degradano significativamente.
- I deep autoencoder sono computazionalmente intensivi da addestrare e mettere a punto rispetto ai metodi superficiali.
- L'interpretabilità è limitata; il segnale di errore di ricostruzione non spiega quali feature hanno causato l'anomalia.
- Sensibile alla scelta della profondità dell'architettura, della dimensione latente e del peso della perdita tra gli obiettivi non supervisionati e supervisionati.
- La selezione della soglia non è banale e deve essere validata su dati etichettati tenuti da parte per evitare tagli arbitrari.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Sfrutta efficacemente grandi volumi di dati normali non etichettati insieme a scarse anomalie etichettate, massimizzando l'efficienza dei dati.
- Gestisce spazi di feature ad alta dimensionalità e non lineari molto meglio dei metodi basati su kernel come one-class SVM.
- Il punteggio di anomalia (errore di ricostruzione) è continuo, consentendo una messa a punto fine della soglia per adattarsi ai requisiti operativi.
- Il pre-addestramento su dati normali fornisce un forte prior, riducendo il numero di anomalie etichettate necessarie rispetto a un approccio completamente supervisionato.
- L'architettura è flessibile e può incorporare layer convoluzionali, ricorrenti o transformer per immagini, serie temporali o testo.
Applicazioni
- Rilevamento di guasti e difetti industriali su flussi di sensori o telemetria dove gli eventi difettosi sono rari ma documentati.
- Rilevamento di intrusioni di rete e anomalie nella cybersecurity con firme di attacco note come semi etichettati.
- Screening di immagini mediche o dati clinici dove i casi patologici confermati sono scarsi.
- Rilevamento di frodi finanziarie che combina abbondanti transazioni normali con un piccolo set di quelle fraudolente confermate.
- Pipeline di manutenzione predittiva dove i record storici di guasti servono come esempi di anomalie etichettate.
Come funziona
Come funziona
Il set di addestramento è diviso in un ampio pool di dati non etichettati (presumibilmente per lo più normali) e un piccolo set curato di anomalie etichettate. Questa partizione riflette la scarsità nel mondo reale di etichette di anomalie confermate, sfruttando comunque qualsiasi segnale di ground truth disponibile.
Una rete encoder-decoder viene pre-addestrata sul pool non etichettato per minimizzare la perdita di ricostruzione, apprendendo una rappresentazione latente compatta dei pattern normali. Questa fase costruisce la nozione fondamentale di come appare il normale senza richiedere alcuna etichetta.
Nella seconda fase, vengono incorporate le anomalie etichettate — o aggiungendo una testa di classificazione, o utilizzando una perdita contrastiva o ipersferica (come nelle estensioni Deep SVDD), o penalizzando un basso errore di ricostruzione per le anomalie note. Questo allontana il confine decisionale dai punti anomali confermati.
Al momento dell'inferenza, ogni campione viene passato attraverso l'autoencoder addestrato. Il punteggio di anomalia è tipicamente l'errore di ricostruzione (errore quadratico medio tra input e output). Opzionalmente, viene utilizzata anche la distanza nello spazio latente da un centroide della classe normale.
Formula
s(x) = \|x - \hat{x}\|^2Viene scelta una soglia sul punteggio di anomalia — utilizzando le anomalie etichettate, una curva precision-recall, o un tasso di falsi positivi target — per produrre etichette binarie normale/anomalia. La scelta della soglia governa direttamente il compromesso precision-recall.
Errori comuni
- Contaminazione del pool di pre-addestramento non etichettato con anomalie non rilevate, che mina la rappresentazione dei dati normali.
- Trattare l'errore di ricostruzione come una probabilità calibrata senza una corretta calibrazione della soglia rispetto agli esempi etichettati.
- Utilizzo di una singola suddivisione train/test senza cross-validation, producendo stime di prestazioni troppo ottimistiche su classi di anomalie rare.
- Selezione della dimensione latente senza sperimentazione, troppo piccola (perdita di informazioni) o troppo grande (l'autoencoder ricostruisce le anomalie così come i dati normali).
- Ignorare lo squilibrio delle classi nel calcolo delle metriche di valutazione — l'accuratezza è priva di significato con uno squilibrio estremo; utilizzare invece AUROC e precisione media.
Domande frequenti
Quante anomalie etichettate sono necessarie?
Il metodo può funzionare con appena una dozzina di anomalie confermate, ma le prestazioni migliorano sostanzialmente fino a qualche centinaio. La chiave è che le anomalie etichettate dovrebbero coprire i principali tipi di comportamento anomalo presenti nel dominio.
Cosa succede se il mio pool non etichettato contiene anomalie nascoste?
La contaminazione non etichettata è la modalità di fallimento più grave. Applicare un filtro preliminare non supervisionato (es. isolation forest) per rimuovere gli outlier evidenti dal pool di pre-addestramento prima del fine-tuning.
Come scelgo la soglia dell'errore di ricostruzione?
Utilizzare il set di anomalie etichettate e una curva precision-recall per scegliere una soglia che corrisponda alla tolleranza operativa per falsi positivi e falsi negativi. Non scegliere mai la soglia sugli stessi dati utilizzati per addestrare il modello.
È meglio di un one-class SVM o isolation forest?
Su dati ad alta dimensionalità o non lineari con almeno alcune anomalie etichettate, gli autoencoder semi-supervisionati superano tipicamente one-class SVM e isolation forest. Su dati tabulari a bassa dimensionalità con campioni molto piccoli, metodi più semplici possono eguagliare o superare le sue prestazioni a costi inferiori.
Quali metriche di valutazione dovrei riportare?
Riportare AUROC e precisione media (area sotto la curva precision-recall) su un set di test tenuto da parte che preservi la prevalenza reale delle anomalie. Accuratezza e F1 a una soglia fissa dovrebbero essere metriche secondarie, con giustificazione della soglia fornita.
Metodi correlati
Fonti
Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).
Apri il riferimento della pubblicazioneCopiato.Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).
Apri il riferimento della pubblicazioneCopiato.