Skip to content
Torna ai risultati

Rilevamento di anomalie con autoencoder e apprendimento attivo

Introdotto da
Multiple (Guo et al.; Pimentel et al.)
Anno
2014–2018
Tipo
Active learning + unsupervised deep anomaly detection hybrid
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

L'apprendimento attivo con autoencoder combina il punteggio dell'errore di ricostruzione non supervisionato di un autoencoder con un ciclo di interrogazione di apprendimento attivo.

Il modello contrassegna le istanze con errore elevato come potenziali anomalie, chiede selettivamente a un oracolo umano di etichettare quelle più informative e riaddestra iterativamente, ottenendo un forte rilevamento di anomalie con un budget di etichettatura limitato.

L’intuizione alla base del metodo

Un semplice autoencoder impara a ricostruire dati normali e contrassegna un elevato errore di ricostruzione come anomalo, ma non ha feedback sulla correttezza di tali contrassegni. L'apprendimento attivo aggiunge un passaggio di interrogazione intelligente: dopo aver valutato tutti i campioni non etichettati, il sistema seleziona i candidati più incerti o con errore più elevato e chiede a un esperto di etichettare solo quelli. Ogni istanza etichettata migliora immediatamente la percezione del modello di ciò che conta come vera anomalia rispetto a un outlier rumoroso, quindi il confine di rilevamento si affina con uno sforzo di annotazione minimo.

Storia

Il rilevamento di anomalie basato su autoencoder è emerso dalla letteratura sul rilevamento di novità negli anni 2010, esaminata in modo completo da Pimentel et al. (2014). L'integrazione con l'apprendimento attivo è stata guidata da vincoli pratici di etichettatura in domini come le intrusioni di rete e il monitoraggio medico. Entro la fine degli anni 2010, articoli di Guo, Görnitz e altri hanno formalizzato strategie di interrogazione su misura per i paesaggi dell'errore di ricostruzione, stabilendo l'approccio ibrido come un approccio riconosciuto nella letteratura sul rilevamento profondo di anomalie.

Quando usarlo

Utilizzare questo metodo quando si dispone di un ampio pool di dati non etichettati con anomalie rare, l'etichettatura è costosa o richiede giudizio esperto e si può permettere solo un piccolo budget di annotazione. È ben adatto al rilevamento di guasti industriali, allo screening di anomalie mediche, al rilevamento di frodi e al rilevamento di intrusioni, dove le anomalie sono sia rare che eterogenee. Evitarlo quando si dispone di dati etichettati in abbondanza (i metodi supervisionati supereranno questo metodo) o quando l'oracolo non è disponibile o inaffidabile. È inoltre inappropriato quando il concetto di anomalia cambia così rapidamente che il riaddestramento iterativo non può tenere il passo.

Limiti e considerazioni

  • Il ciclo di interrogazione introduce latenza umana nel ciclo; l'oracolo deve essere disponibile durante tutto l'addestramento.
  • Le prestazioni dipendono dalla qualità della strategia di interrogazione: una funzione di acquisizione scadente può sprecare il budget di etichettatura su campioni ridondanti.
  • Gli autoencoder possono non riuscire a rilevare anomalie che si ricostruiscono bene (ad esempio, outlier avversari o in-distribuzione).
  • Il riaddestramento iterativo di reti profonde può essere computazionalmente costoso, specialmente per modelli di grandi dimensioni o dati in streaming.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Ottiene prestazioni di rilevamento elevate con un budget etichettato limitato, rendendo l'annotazione esperta economicamente vantaggiosa.
  • La fase di autoencoder non richiede alcuna etichetta per l'addestramento iniziale, consentendo un utile avvio a freddo prima di qualsiasi interrogazione.
  • L'interrogazione attiva concentra lo sforzo di annotazione sui casi limite più informativi, migliorando la calibrazione della soglia di anomalia.
  • Architettura flessibile: il backbone dell'autoencoder può essere sostituito con varianti convoluzionali, ricorrenti o variazionali per adattarsi a diverse modalità di dati.
  • Combina la potenza di rappresentazione del deep learning con l'efficienza delle etichette dell'apprendimento attivo.

Applicazioni

  • Rilevamento di guasti e difetti industriali in cui esempi di guasti etichettati sono rari e costosi da ottenere.
  • Screening di anomalie in immagini mediche con annotazione iterativa di radiologi.
  • Rilevamento di intrusioni di rete con etichettatura di traffico sospetto da parte di analisti della sicurezza.
  • Rilevamento di frodi nelle transazioni finanziarie in cui i modelli di frode evolvono e i casi di frode etichettati sono scarsi.
  • Manutenzione predittiva per dati di sensori time-series con minimi eventi di guasto etichettati da ingegneri.

Come funziona

Come funziona

1

Un autoencoder viene inizialmente addestrato sui dati non etichettati disponibili, idealmente prevalentemente campioni normali. L'encoder comprime ogni input in una rappresentazione latente e il decoder lo ricostruisce. La rete apprende la varietà di pattern normali minimizzando l'errore di ricostruzione sull'intero set di addestramento.

2

Dopo l'addestramento, ogni istanza non etichettata riceve un punteggio di anomalia pari al suo errore di ricostruzione (errore quadratico medio o errore assoluto medio). Le istanze che l'autoencoder non riesce a ricostruire bene deviano dalla varietà normale appresa e ottengono i punteggi più alti.

Formula
s_i = \|x_i - \hat{x}_i\|^2
3

Una funzione di acquisizione di apprendimento attivo, come l'errore di ricostruzione più elevato, il campionamento del margine o l'incertezza da un classificatore downstream, seleziona le istanze non etichettate più informative e le presenta a un oracolo umano per l'etichettatura. Viene speso solo un piccolo budget di interrogazioni per iterazione.

4

Le istanze appena etichettate vengono incorporate nel set di addestramento. L'autoencoder (e qualsiasi testa supervisionata addestrata su coppie anomalia/normale etichettate) viene riaddestrato o affinato. I punteggi di anomalia vengono ricalcolati e il ciclo interrogazione-etichettatura-riaddestramento si ripete fino all'esaurimento del budget di annotazione.

5

Viene selezionata una soglia di decisione sull'errore di ricostruzione, spesso tramite validazione sul sottoinsieme etichettato, e tutte le istanze non etichettate al di sopra di essa vengono classificate come anomalie. Il feedback etichettato dall'apprendimento attivo rende questa scelta di soglia più rigorosa rispetto all'affidamento su un quantile arbitrario.

Errori comuni

  • L'addestramento dell'autoencoder su un set di dati che contiene già molte anomalie distorce la linea di base della ricostruzione e degrada il punteggio.
  • L'uso del solo errore di ricostruzione come funzione di interrogazione senza considerare la diversità porta a interrogazioni ridondanti in regioni normali dense.
  • Ignorare lo squilibrio delle classi durante l'affinamento sui dati etichettati; le etichette di anomalie rare necessitano di ponderazione o sovra-campionamento.
  • Impostare la soglia di anomalia sui dati non etichettati senza utilizzare le etichette fornite dall'oracolo vanifica lo scopo dell'apprendimento attivo.
  • Interrompere il ciclo di interrogazione troppo presto prima che il confine decisionale si sia stabilizzato, trattando i punteggi di ricostruzione iniziali come definitivi.

Domande frequenti

Quante interrogazioni etichettate sono tipicamente necessarie?

I risultati variano a seconda del set di dati e della rarità delle anomalie, ma studi mostrano comunemente guadagni significativi con appena 20-100 interrogazioni etichettate. La chiave è che la strategia di apprendimento attivo concentra queste interrogazioni sui campioni più incerti al confine decisionale piuttosto che su quelli casuali.

Quale strategia di interrogazione dovrei usare?

L'errore di ricostruzione più elevato è il punto di partenza più semplice e spesso competitivo. Opzioni più sofisticate includono il campionamento dell'incertezza da un classificatore binario downstream addestrato sul sottoinsieme etichettato, o strategie ibride che bilanciano l'informatività con la diversità per evitare di interrogare cluster ridondanti.

Ho bisogno di un autoencoder variazionale (VAE) invece di un semplice autoencoder?

Un autoencoder standard funziona per la maggior parte dei compiti tabulari e sequenziali. I VAE forniscono uno spazio latente probabilistico che può produrre migliori stime di incertezza per la selezione delle interrogazioni, rendendoli preferibili per dati di immagini o quando sono importanti punteggi di incertezza calibrati.

Come valuto le prestazioni quando la maggior parte dei dati non è etichettata?

Utilizzare il sottoinsieme etichettato dall'oracolo come set di validazione tenuto separato per calcolare precisione, richiamo e AUC-ROC. Per il pool non etichettato, riportare le distribuzioni dell'errore di ricostruzione prima e dopo le iterazioni di apprendimento attivo per verificare che il modello stia migliorando.

Posso usarlo in un ambiente di streaming o online?

Sì, ma il ciclo di interrogazione deve essere adattato a una finestra scorrevole o a un regime di mini-batch. L'autoencoder dovrebbe essere aggiornato incrementalmente e la gestione del budget deve tenere conto del drift del concetto: le anomalie viste all'inizio potrebbero differire da quelle che appaiono in seguito.

Metodi correlati

Fonti

  1. Pimentel, M. A. F., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215–249.

    Apri il riferimento DOI
    Copiato.
  2. Zhu, Y., Lukasiewicz, T. (2020). DPLAN: Discourse-level Plan-based Text Generation. Proceedings of the 28th International Conference on Computational Linguistics, 3464–3474. (See also: Guo et al. (2018). Deep Active Learning for Anomaly Detection. Neurocomputing, 290, 135–143.)

    Apri il riferimento della pubblicazione
    Copiato.