Skip to content
Torna ai risultati

Rilevamento di anomalie con Autoencoder Bayesiano

Introdotto da
Kingma, D. P. & Welling, M.; applied to anomaly detection by An & Cho
Anno
2014–2015
Tipo
Probabilistic generative model for unsupervised anomaly detection
Famiglia
Machine learning

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Il rilevamento di anomalie con Autoencoder Bayesiano utilizza un Autoencoder Variazionale — un modello generativo probabilistico addestrato su dati normali — per segnalare le anomalie in base al loro elevato errore di ricostruzione o alla bassa probabilità sotto la distribuzione appresa.

Trattando lo spazio latente come una distribuzione di probabilità piuttosto che come un punto fisso, fornisce stime di incertezza rigorose insieme a ogni punteggio di anomalia, rendendolo particolarmente prezioso in compiti di rilevamento ad alto rischio.

L’intuizione alla base del metodo

Un autoencoder standard impara a comprimere e ricostruire i suoi dati di addestramento; gli oggetti diversi dal set di addestramento vengono ricostruiti male e quindi classificati come anomali. La versione Bayesiana, tipicamente implementata come Autoencoder Variazionale, va oltre: invece di codificare ogni input in un singolo punto nello spazio latente, lo codifica in una distribuzione di probabilità. Ciò significa che il modello non solo sa cosa è probabilmente normale, ma anche quanto è fiducioso in tale valutazione. I punteggi di anomalia sono calcolati come probabilità di ricostruzione mediate sulla posteriore latente, quindi portano un'incertezza intrinseca piuttosto che essere stime puntuali fragili.

Storia

L'Autoencoder Variazionale è stato introdotto da Kingma e Welling nel 2014 come un framework rigoroso per la modellazione generativa profonda, combinando la flessibilità delle reti neurali con l'inferenza Bayesiana di variabili latenti tramite il trucco di riparametrizzazione. La sua applicazione al rilevamento di anomalie è stata formalizzata da An e Cho nel 2015, i quali hanno dimostrato che la probabilità di ricostruzione — piuttosto che l'errore di ricostruzione — fornisce un punteggio di anomalia più affidabile. Da allora, gli autoencoder Bayesiani sono diventati uno strumento standard nella ricerca sul rilevamento di anomalie non supervisionato, con estensioni a serie temporali, dati grafici e contesti federati.

Quando usarlo

Utilizza il rilevamento di anomalie con Autoencoder Bayesiano quando hai ampi dati normali non etichettati ma poche o nessuna etichetta di anomalia confermata, lo spazio di input è ad alta dimensionalità (ad esempio, immagini, array di sensori, serie temporali multicanale o dati tabulari ampi), e hai bisogno di stime di incertezza insieme ai punteggi di anomalia per il processo decisionale a valle (ad esempio, imaging medico, rilevamento frodi, controllo qualità industriale). Supera metodi più semplici come Isolation Forest o One-Class SVM quando la varietà dei dati normali è complessa e non lineare. Non usarlo quando il tuo dataset è piccolo (meno di poche centinaia di campioni), il tuo input è a bassa dimensionalità con struttura lineare (i metodi statistici classici sono più semplici e più interpretabili), hai bisogno di un throughput rigorosamente in tempo reale senza accelerazione GPU, o quando è disponibile una classe di anomalia esplicita ed è fattibile la classificazione supervisionata.

Limiti e considerazioni

  • Richiede una quantità sostanziale di dati di addestramento di esempi normali; dati di classe normale scarsi o eterogenei degradano le prestazioni.
  • L'addestramento è computazionalmente costoso — l'accelerazione GPU è tipicamente necessaria per dimensioni di input non banali.
  • Le scelte degli iperparametri (dimensione latente, profondità dell'architettura, ponderazione beta del termine KL) influenzano fortemente i risultati e richiedono un'attenta messa a punto.
  • Il collasso posteriore — una patologia comune dei VAE in cui l'encoder ignora l'input — può degradare silenziosamente i punteggi di anomalia.
  • Interpretare perché un campione specifico viene segnalato come anomalo rimane difficile senza un'analisi post-hoc aggiuntiva.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Fornisce stime di incertezza calibrate per ogni punteggio di anomalia, supportando il processo decisionale consapevole del rischio.
  • Gestisce distribuzioni di dati ad alta dimensionalità e non lineari che sconfiggono i metodi lineari o kernel.
  • Completamente non supervisionato: non sono richieste etichette di anomalia per l'addestramento.
  • Lo spazio latente appreso può essere visualizzato e interpretato per comprendere quali pattern il modello considera normali.
  • L'architettura flessibile consente l'incorporazione di priori specifici del dominio e spazi latenti strutturati.
  • La probabilità di ricostruzione è più rigorosa dell'errore quadratico medio grezzo, riducendo la sensibilità a scalature arbitrarie.

Applicazioni

  • Rilevamento di difetti industriali nella produzione utilizzando dati di ispezione visiva.
  • Rilevamento di anomalie nell'imaging medico (ad esempio, rilevamento di lesioni nelle scansioni MRI addestrato solo su soggetti sani).
  • Rilevamento di intrusioni di rete dove i pattern di traffico normali sono abbondanti ma gli attacchi sono rari e diversi.
  • Rilevamento di frodi finanziarie quando i casi di frode etichettati non sono disponibili o rapidamente obsoleti.
  • Manutenzione predittiva tramite rilevamento di anomalie di array di sensori su macchinari industriali.
  • Controllo qualità dei dati scientifici, segnalando osservazioni insolite in dataset sperimentali.

Come funziona

Come funziona

1

Una rete neurale encoder mappa ogni input x ai parametri (media e varianza) di una posteriore Gaussiana sulla variabile latente z, catturando l'incertezza del modello sulla rappresentazione compressa piuttosto che impegnarsi in un singolo codice.

Formula
q_{\phi}(z|x) = \mathcal{N}(\mu_{\phi}(x),\,\sigma^{2}_{\phi}(x))
2

I codici latenti sono campionati tramite il trucco di riparametrizzazione — aggiungendo rumore scalato alla media posteriore — rendendo il passo di campionamento differenziabile in modo che l'intera rete possa essere addestrata tramite retropropagazione.

Formula
z = \mu_{\phi}(x) + \epsilon\,\sigma_{\phi}(x),\quad \epsilon \sim \mathcal{N}(0,I)
3

Una rete decoder mappa i codici latenti campionati nuovamente alle distribuzioni di ricostruzione sullo spazio di input, apprendendo il processo generativo dei dati normali.

Formula
p_{\theta}(x|z)
4

L'addestramento massimizza l'Evidence Lower BOund (ELBO): la log-verosimiglianza di ricostruzione attesa meno la divergenza KL che mantiene la posteriore vicina a una prior Gaussiana standard. Durante l'addestramento vengono utilizzati solo dati normali (in-distribution).

Formula
\mathcal{L} = \mathbb{E}_{q}[\log p_{\theta}(x|z)] - D_{\mathrm{KL}}(q_{\phi}(z|x)\|p(z))
5

Durante l'inferenza, un punteggio di anomalia viene calcolato come la log-verosimiglianza attesa negativa dell'input sotto il decoder, mediata su più campioni posteriori. Punteggi elevati indicano input che il modello non può ricostruire bene sotto la sua distribuzione di dati normali appresa.

Formula
s(x) = -\mathbb{E}_{z \sim q_{\phi}(z|x)}[\log p_{\theta}(x|z)]

Errori comuni

  • Addestramento su un dataset contaminato che include anomalie nella classe 'normale', causando l'apprendimento di pattern anomali come normali da parte del modello.
  • Scelta arbitraria della soglia del punteggio di anomalia anziché l'utilizzo di un set di validazione "held-out" di esempi normali noti.
  • Ignorare il collasso posteriore durante l'addestramento, il che può rendere l'errore di ricostruzione uniformemente non informativo.
  • Confrontare errori di ricostruzione grezzi tra dataset con diverse scale di input senza normalizzazione.
  • Valutare con la sola accuratezza su set di test altamente sbilanciati invece di utilizzare AUROC o precisione media.

Domande frequenti

In cosa differisce da un autoencoder standard (deterministico) per il rilevamento di anomalie?

Un autoencoder standard mappa gli input a codici latenti fissi e valuta le anomalie tramite l'errore di ricostruzione. Un autoencoder Bayesiano (variazionale) mappa gli input a distribuzioni latenti e valuta le anomalie tramite la probabilità di ricostruzione mediata su campioni posteriori. La formulazione probabilistica fornisce punteggi più affidabili e incertezza esplicita, a costo di una maggiore complessità di addestramento.

Quale dimensione latente dovrei scegliere?

La dimensione latente dovrebbe essere sufficientemente grande da catturare la struttura dei dati normali ma sufficientemente piccola da impedire al modello di memorizzare singoli campioni. Inizia con una dimensione circa il 5-20% della dimensione dell'input e ottimizza tramite la qualità di ricostruzione su un set normale "held-out".

Ho bisogno di hardware GPU per eseguire questo metodo?

Per dati tabulari con larghezza moderata (meno di poche centinaia di caratteristiche) una CPU è fattibile, ma l'addestramento sarà lento. Per dati di immagini o sensori ad alta dimensionalità, una GPU è fortemente raccomandata. L'inferenza (punteggio) è tipicamente molto più veloce dell'addestramento.

Come imposto la soglia di anomalia?

La soglia non viene appresa durante l'addestramento. Utilizza un set "held-out" di campioni normali confermati e seleziona il percentile del punteggio (ad esempio, 95° o 99°) che fornisce un tasso di falsi positivi accettabile nel tuo dominio. Evita di scegliere la soglia sugli stessi dati utilizzati per valutare le prestazioni finali.

Questo metodo può funzionare quando alcune anomalie appaiono nel set di addestramento?

Una contaminazione minore (poche percentuali) è spesso tollerata perché il modello è ottimizzato sulla classe maggioritaria. Tuttavia, una forte contaminazione altera ciò che il modello apprende come 'normale' e dovrebbe essere minimizzata pulendo i dati di addestramento il più accuratamente possibile.

Metodi correlati

Fonti

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. Proceedings of the 2nd International Conference on Learning Representations (ICLR 2014).

    Apri il riferimento della pubblicazione
    Copiato.
  2. An, J. & Cho, S. (2015). Variational Autoencoder based Anomaly Detection using Reconstruction Probability. ICDM Workshop on Data Mining in Networks.

    Apri il riferimento della pubblicazione
    Copiato.