Skip to content
Torna ai risultati

Rilevamento di anomalie basato su ensemble di autoencoder

Introdotto da
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
Anno
2017
Tipo
Ensemble unsupervised anomaly detection
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'ensemble di autoencoder per il rilevamento di anomalie addestra molteplici reti neurali autoencoder sui dati di classe normale e aggrega i loro errori di ricostruzione per produrre un punteggio di anomalia robusto.

Combinando autoencoder diversi anziché affidarsi a uno solo, il metodo stabilizza le classifiche degli outlier e riduce la sensibilità all'inizializzazione casuale o a scelte architetturali subottimali.

L’intuizione alla base del metodo

Un singolo autoencoder impara a comprimere e quindi ricostruire osservazioni normali; le anomalie si comprimono male e producono un elevato errore di ricostruzione. Il problema è che il punteggio di anomalia di un singolo autoencoder è fragile: dipende da una specifica inizializzazione casuale e architettura. Un ensemble addestra molti autoencoder su diversi sottoinsiemi casuali di caratteristiche o dati, quindi fa la media dei loro errori di ricostruzione. Le peculiarità individuali di ciascuna rete si annullano, producendo un segnale di anomalia più stabile e sicuro, più difficile da ingannare e più facile da sogliare.

Storia

Il rilevamento di anomalie basato su autoencoder è stato reso popolare a seguito del lavoro di Hinton e Salakhutdinov del 2006 sugli autoencoder profondi, dove l'elevato errore di ricostruzione è emerso come un segnale naturale di outlier. L'estensione dell'ensemble è stata formalizzata da Chen, Sathe, Aggarwal e Turaga alla conferenza SIAM Data Mining del 2017, i quali hanno dimostrato che la diversificazione degli autoencoder tramite feature bagging supera in modo affidabile qualsiasi singolo modello. L'approccio appare ora regolarmente nelle pipeline industriali di rilevamento di anomalie per intrusioni di rete, manutenzione predittiva e monitoraggio medico.

Quando usarlo

Utilizzare quando si dispone prevalentemente di dati non etichettati e si desidera rilevare anomalie rare in caratteristiche continue ad alta dimensionalità, ad esempio flussi di sensori, log di transazioni o segnali medici, e un singolo autoencoder ha mostrato instabilità tra le esecuzioni. Efficace anche quando non sono disponibili etichette di anomalie e si necessita di una baseline non supervisionata con maggiore stabilità rispetto a una singola rete. Evitare quando il set di dati è molto piccolo (meno di poche centinaia di osservazioni normali per caratteristica), poiché gli autoencoder non apprenderanno una varietà significativa. Non utilizzare per dati categorici o testuali sparsi senza un'adeguata pre-elaborazione di embedding, e non utilizzare quando un singolo isolation forest o one-class SVM ben ottimizzato è sufficiente, poiché gli ensemble aumentano il tempo di addestramento e la complessità.

Limiti e considerazioni

  • L'addestramento di K autoencoder moltiplica i requisiti di calcolo e memoria; grandi ensemble su reti profonde sono costosi.
  • Presuppone che le anomalie siano caratterizzate da un elevato errore di ricostruzione; anomalie avversarie o strutturate che si trovano sulla varietà appresa potrebbero essere mancate.
  • Sensibile alla proporzione di anomalie nei dati di addestramento; una contaminazione elevata degrada la varietà normale appresa.
  • Le scelte degli iperparametri (numero di modelli, architettura, funzione di aggregazione) richiedono dati di validazione o conoscenza del dominio.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Riduce la varianza nei punteggi di anomalia rispetto a un singolo autoencoder, fornendo classifiche più stabili tra i semi casuali.
  • L'aggregazione di diversi rilevatori cattura diversi aspetti della normalità, migliorando il richiamo su tipi di anomalie eterogenei.
  • Completamente non supervisionato: non sono richieste etichette di anomalie, solo dati normali o misti non etichettati.
  • Scalabile a dati continui ad alta dimensionalità dove i metodi basati sulla distanza come il rilevamento di anomalie k-NN degradano.
  • Compatibile con un'ampia gamma di architetture di autoencoder (vanilla, variazionale, convoluzionale) per adattarsi alla struttura dei dati.
  • Il punteggio dell'ensemble è più facile da sogliare in modo affidabile rispetto al punteggio di una singola rete, riducendo lo sforzo di calibrazione.

Applicazioni

  • Rilevamento di intrusioni di rete da caratteristiche di pacchetti o flussi ad alta dimensionalità.
  • Punteggio di anomalie per la manutenzione predittiva su serie temporali multivariate di sensori.
  • Rilevamento di frodi nelle transazioni finanziarie in flussi non etichettati o debolmente etichettati.
  • Monitoraggio di biosignali medici (ECG, EEG) per rari pattern patologici.
  • Controllo qualità nella produzione dove gli esempi di difetti sono scarsi.
  • Punteggio di outlier non supervisionato di base prima di campagne di etichettatura con active learning.

Come funziona

Come funziona

1

K autoencoder vengono addestrati indipendentemente sui dati di addestramento (presumibilmente) normali, ciascuno con una diversa inizializzazione casuale e, opzionalmente, diversi sottoinsiemi di caratteristiche di input o architetture di rete. L'addestramento incoraggia ciascuna rete a minimizzare la perdita di ricostruzione sui campioni normali, in modo che impari la varietà (manifold) del comportamento normale.

2

Per ogni osservazione di test, ogni autoencoder la codifica in una rappresentazione latente e la decodifica nuovamente. La distanza L2 al quadrato tra l'input originale e la ricostruzione è il punteggio di anomalia per rete: un errore elevato indica che l'osservazione si discosta dalla varietà normale appresa.

Formula
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2
3

I K punteggi individuali vengono aggregati in un unico punteggio di anomalia per osservazione, comunemente mediante media, prendendo il massimo o applicando una combinazione normalizzata per rango. La media riduce la varianza; il massimo è più sensibile al fatto che almeno un rilevatore catturi un'anomalia.

Formula
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})
4

Viene applicata una soglia al punteggio aggregato per etichettare le osservazioni come anomale. La soglia viene solitamente scelta in base a un tasso di falsi positivi target sui dati normali tenuti da parte, o trattando il p% superiore dei valori di punteggio come anomalie quando le etichette ground truth sono assenti.

Errori comuni

  • Inclusione di anomalie nel set di addestramento senza consapevolezza: ciò corrompe la varietà normale appresa e sopprime i punteggi di anomalia per la contaminazione.
  • Valutazione solo sul set di addestramento senza un campione normale tenuto da parte per calibrare la soglia, portando a etichette di anomalia eccessivamente sicure.
  • Utilizzo del solo errore di ricostruzione senza controllare i contributi per dimensione, mascherando quali caratteristiche guidano il punteggio di anomalia.
  • Trattare l'ensemble come se non richiedesse alcuna ottimizzazione: il numero di autoencoder, la loro profondità e la funzione di aggregazione influenzano tutti le prestazioni e dovrebbero essere validati.
  • Applicazione del metodo a set di dati con pochissime osservazioni rispetto al numero di caratteristiche, dove gli autoencoder non possono generalizzare e ogni punto appare anomalo.

Domande frequenti

Quanti autoencoder dovrebbe contenere l'ensemble?

La ricerca suggerisce rendimenti decrescenti oltre circa 10-20 reti diverse. Iniziare con 10 e monitorare se il punteggio aggregato si stabilizza tra le esecuzioni; se varia ancora, aggiungerne altri o aumentare la diversità tramite sotto-campionamento delle caratteristiche.

Come introduco la diversità tra gli autoencoder?

Le strategie comuni includono l'inizializzazione casuale, sottoinsiemi casuali di caratteristiche di input (feature bagging), diverse dimensioni latenti, tassi di dropout o diverse architetture (superficiali vs. profonde). Il feature bagging è il più semplice ed efficace per dati tabulari.

I dati di addestramento devono essere privi di anomalie?

Idealmente sì, ma una contaminazione moderata (inferiore a circa il 5%) è tollerabile. Se la proporzione di anomalie è più alta, l'autoencoder impara a ricostruirle bene e i punteggi di anomalia si riducono. Un pre-filtraggio con un rilevatore più semplice (isolation forest) prima di addestrare gli autoencoder può aiutare.

Come dovrei impostare la soglia di anomalia?

Se si dispone di un tasso di falsi positivi target (ad es. 1%), impostare la soglia al percentile corrispondente della distribuzione dei punteggi sui dati normali tenuti da parte. Senza alcuna etichetta, trattare il p% superiore dei punteggi come anomalie e validare con esperti di dominio o metriche di valutazione downstream.

Quando un singolo autoencoder è migliore di un ensemble?

Quando il calcolo è gravemente limitato, il set di dati è piccolo o un singolo autoencoder ben ottimizzato mostra già prestazioni stabili tra i semi. Gli ensemble aggiungono valore principalmente quando la varianza del singolo modello è elevata o ci si aspetta diversità nelle anomalie.

Metodi correlati

Fonti

  1. Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.

    ISBN: 978-3-319-47578-3
    Copiato.