Skip to content
Torna ai risultati

Rilevamento anomalie con autoencoder

Introdotto da
Hinton, G. E. & Salakhutdinov, R. R. (autoencoders); applied to anomaly detection through multiple authors in the 2010s
Anno
2006–2014
Tipo
Unsupervised deep learning (reconstruction-based)
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il rilevamento delle anomalie con autoencoder addestra una rete neurale a comprimere e poi ricostruire dati normali.

Poiché il modello ha imparato solo come appare il normale, gli input anomali producono errori di ricostruzione notevolmente più elevati — e tali errori diventano il punteggio di anomalia. Il metodo non richiede anomalie etichettate e scala naturalmente a dati ad alta dimensionalità come flussi di sensori, immagini e registri.

L’intuizione alla base del metodo

Un autoencoder è costretto a descrivere i dati con meno numeri di quanti ne avesse all'inizio, per poi ricostruire l'originale. Quando addestrato esclusivamente su esempi normali, diventa molto bravo a ricostruire pattern normali e scarso nel ricostruire qualsiasi cosa insolita. L'errore di ricostruzione agisce quindi come un allarme naturale: un errore basso significa che l'input appare familiare; un errore alto segnala qualcosa che il modello non ha mai visto prima e quindi non può riprodurre fedelmente. Impostando una soglia su questo errore, si converte un punteggio continuo in un flag binario di anomalia.

Storia

Gli autoencoder come strumenti di riduzione della dimensionalità sono stati resi popolari dall'articolo del 2006 su Science di Hinton e Salakhutdinov sulle deep belief networks. La loro applicazione al rilevamento delle anomalie è cresciuta negli anni 2010 con la maturazione del deep learning; Vincent et al. (2010) hanno introdotto gli autoencoder denoising, e verso la metà degli anni 2010 gli autoencoder erano una baseline standard per il rilevamento delle anomalie non supervisionato nei domini industriali e della cybersecurity. La survey del 2019 di Chalapathy e Chawla ha consolidato le migliori pratiche del settore.

Quando usarlo

Utilizzare il rilevamento delle anomalie con autoencoder quando gli esempi di anomalie etichettate sono scarsi o assenti, quando la classe normale è ben rappresentata e quando la dimensionalità dei dati è troppo elevata per metodi classici come SVM a una classe. Eccelle su serie temporali di sensori, log di traffico di rete, imaging medico e controllo di qualità nella produzione. Evitarlo quando la distribuzione dei dati normali è estremamente diversificata o multimodale (l'autoencoder potrebbe non trovare una rappresentazione compatta), quando si dispone solo di un set di dati molto piccolo (le reti profonde necessitano di dati sufficienti per generalizzare), o quando è sufficiente una soglia semplice e interpretabile basata su regole. Non applicarlo quando dati di anomalie etichettate sono effettivamente disponibili — classificatori supervisionati o semi-supervisionati lo supereranno quasi sempre in tale contesto.

Limiti e considerazioni

  • Richiede un campione sufficientemente ampio e rappresentativo di dati normali; sottopattern normali rari potrebbero essere ricostruiti male anche senza essere anomali.
  • La selezione della soglia è euristica e sensibile: una tau scelta male porta a falsi positivi eccessivi o anomalie mancate.
  • L'interpretabilità è bassa — l'errore di ricostruzione rivela che un'anomalia esiste ma non quali caratteristiche l'hanno guidata senza analisi aggiuntive (ad esempio, decomposizione dell'errore per caratteristica).
  • L'addestramento di reti profonde richiede la messa a punto dell'architettura, del tasso di apprendimento e della regolarizzazione; il metodo non è così pronto all'uso come isolation forest o one-class SVM.
  • Se le anomalie contaminano il set di addestramento, il modello impara parzialmente a ricostruirle, degradando la sensibilità del rilevamento.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Non richiede esempi di anomalie etichettate — è necessario solo il set di dati normale per l'addestramento.
  • Scala naturalmente a input ad alta dimensionalità come immagini, serie temporali e flussi multisensore.
  • Produce un punteggio di anomalia continuo, consentendo allarmi classificati anziché un flag binario.
  • Può catturare pattern normali complessi e non lineari che metodi lineari come PCA non possono rappresentare.
  • L'architettura è flessibile: strati convoluzionali per immagini, strati LSTM per sequenze, strati feedforward per dati tabulari.

Applicazioni

  • Manutenzione predittiva industriale: rilevamento di guasti alle macchine da flussi di sensori di vibrazione e temperatura.
  • Cybersecurity: identificazione di traffico di rete anomalo o tentativi di intrusione da log a livello di pacchetto.
  • Imaging medico: segnalazione di regioni patologiche in scansioni MRI o CT quando i dati di lesioni annotati sono scarsi.
  • Rilevamento frodi finanziarie: individuazione di pattern di transazione insoliti nei dati di carte di credito o bancari.
  • Controllo qualità nella produzione: rilevamento di prodotti difettosi da immagini di telecamere su una linea di assemblaggio.
  • Operazioni IT: rilevamento di metriche anomale di server o applicazioni in pipeline AIOps.

Come funziona

Come funziona

1

Una rete autoencoder viene addestrata esclusivamente su dati che rappresentano condizioni operative normali. L'obiettivo è minimizzare la perdita di ricostruzione (tipicamente l'errore quadratico medio) su questo set di addestramento solo normale, in modo che la rete impari rappresentazioni interne compatte di ciò che appare normale. Non sono necessarie etichette di anomalia.

2

In inferenza, ogni input x viene passato attraverso un encoder che lo comprime in un vettore latente a bassa dimensionalità, quindi attraverso un decoder che ricostruisce l'input nello spazio originale. La coppia encoder-decoder è parametrizzata da pesi appresi e cattura la geometria della varietà dei dati normali.

Formula
\hat{x} = f_{\theta}(g_{\phi}(x))
3

L'errore di ricostruzione e(x) — la differenza al quadrato (o assoluta) tra l'input e la sua ricostruzione — viene calcolato per ogni osservazione. Poiché l'autoencoder ha appreso solo la varietà normale, gli input anomali si trovano lontani da tale varietà, producendo errori elevati.

Formula
e(x) = \|x - \hat{x}\|^2
4

Viene scelta una soglia di decisione tau, tipicamente dalla distribuzione degli errori di ricostruzione su un set di validazione normale tenuto da parte (ad esempio, il 95° o 99° percentile). Questa soglia converte il punteggio di errore continuo in un confine decisionale binario. La scelta di tau bilancia falsi positivi e anomalie mancate.

5

Qualsiasi osservazione il cui errore di ricostruzione superi tau viene segnalata come anomalia. La magnitudo dell'eccesso può anche servire come punteggio di confidenza, consentendo una prioritizzazione classificata degli allarmi piuttosto che una decisione binaria rigida.

Formula
\text{anomaly if } e(x) > \tau

Errori comuni

  • Addestramento su un set di dati che include anomalie senza prima ripulirlo, in modo che il modello impari a ricostruire proprio i pattern che dovrebbe segnalare.
  • Impostazione della soglia sul set di addestramento stesso anziché su un set di validazione tenuto da parte, producendo una soglia ottimistica che fallisce in fase di distribuzione.
  • Confronto degli errori di ricostruzione tra diverse scale di caratteristiche senza normalizzare gli input, facendo sì che l'errore sia dominato da caratteristiche ad alta varianza.
  • Utilizzo di un collo di bottiglia troppo grande, che consente all'autoencoder di apprendere una mappatura quasi identica che ricostruisce fedelmente tutto — comprese le anomalie.
  • Riportare solo metriche di classificazione binaria (accuratezza) invece di precisione-richiamo e AUROC, che sono molto più informative per compiti di rilevamento anomalie sbilanciati.

Domande frequenti

Come scelgo la dimensione del collo di bottiglia?

Il collo di bottiglia deve essere sufficientemente piccolo da forzare la compressione dei pattern normali, ma sufficientemente grande da non perdere la struttura essenziale. La pratica comune è iniziare con circa il 10-30% della dimensione dell'input e ottimizzare ispezionando la qualità della ricostruzione su dati normali tenuti da parte.

Cosa succede se i miei dati normali hanno più mode (ad esempio, diversi stati operativi della macchina)?

Un singolo autoencoder potrebbe non apprendere tutte le mode allo stesso modo, producendo falsi allarmi in stati normali sottorappresentati. Le opzioni includono l'addestramento di un autoencoder separato per ogni modo, l'uso di un approccio misto di autoencoder, o il condizionamento su un'etichetta di modo nota, se disponibile.

Come dovrei impostare la soglia di anomalia?

Calcolare gli errori di ricostruzione su un set di validazione pulito tenuto da parte di dati normali e impostare tau a un percentile elevato (95° o 99°, a seconda del tasso di falsi positivi accettabile). Se esistono alcune anomalie etichettate, ottimizzare tau per massimizzare F1 o il trade-off precisione-richiamo desiderato.

Come si confronta con isolation forest o one-class SVM?

Isolation forest e one-class SVM sono generalmente più facili da ottimizzare e più interpretabili su dati tabulari a bassa o media dimensionalità. Gli autoencoder diventano vantaggiosi quando la dimensionalità è molto elevata, quando la struttura temporale o spaziale è importante, o quando input grezzi come pixel o forme d'onda sono l'input.

Posso usare invece un autoencoder variazionale (VAE)?

Sì. I VAE apprendono uno spazio latente probabilistico e consentono il punteggio di anomalia tramite la probabilità di ricostruzione piuttosto che l'MSE grezzo, il che spesso migliora la calibrazione. Sono un'estensione naturale quando la distribuzione normale è complessa o quando si desiderano stime di incertezza ben calibrate.

Metodi correlati

Fonti

  1. Chalapathy, R. & Chawla, S. (2019). Deep learning for anomaly detection: A survey. arXiv preprint arXiv:1901.03407.

    Apri il riferimento della pubblicazione
    Copiato.
  2. Hinton, G. E. & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504–507.

    Apri il riferimento DOI
    Copiato.