Variational Autoencoder
- Introdotto da
- Kingma, D. P. & Welling, M.
- Anno
- 2014
- Tipo
- Deep generative latent-variable model (encoder–decoder)
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
Il Variational Autoencoder (VAE) è un modello latente-variabile generativo profondo, introdotto da Diederik Kingma e Max Welling nel 2014, che codifica i dati come una distribuzione di probabilità in uno spazio latente e campiona da tale distribuzione per generare nuovi esempi.
Viene utilizzato per la generazione di dati, il rilevamento di anomalie e l'apprendimento di caratteristiche.
L’intuizione alla base del metodo
Un autoencoder ordinario comprime ciascun input in un singolo punto in uno spazio compresso, il che è buono per la ricostruzione ma non lascia alcun modo principiale per creare nuovi dati. Un VAE, invece, mappa ciascun input in una piccola nuvola di probabilità — una media e una deviazione standard — e forza tali nuvole a rimanere vicine a una semplice distribuzione di riferimento. Poiché lo spazio latente è quindi liscio e continuo, si può estrarre un nuovo punto da esso e il decoder lo trasforma in un esempio del tutto nuovo e plausibile.
Storia
Il Variational Autoencoder è stato introdotto da Diederik Kingma e Max Welling nel 2014 in 'Auto-Encoding Variational Bayes', che combinava l'inferenza variazionale con encoder e decoder basati su reti neurali e introduceva il trucco della riparametrizzazione che rendeva il modello addestrabile end-to-end. Nel 2017 Higgins e colleghi hanno proposto il beta-VAE, che riscala il termine KL con un coefficiente per incoraggiare fattori latenti più disaggregati. Il VAE è diventato uno dei modelli generativi profondi fondamentali, insieme alle GAN e, più recentemente, ai modelli di diffusione.
Quando usarlo
Una buona scelta quando si hanno almeno circa 200 osservazioni continue e si desidera apprendere una rappresentazione latente liscia per generare nuovi dati, rilevare anomalie o comprimere input ad alta dimensionalità, e una GPU è disponibile per l'addestramento. Il modello assume una variabile latente continua ed è addestrato ottimizzando congiuntamente la perdita di ricostruzione e la divergenza KL. Al di sotto di circa 200 campioni la distribuzione latente non può essere appresa in modo significativo e un metodo più semplice come la PCA è preferibile; al di sotto di circa 50 fallisce completamente.
Limiti e considerazioni
- Richiede un campione ragionevolmente grande (circa 200+) e tipicamente una GPU per addestrarsi efficacemente.
- I campioni possono apparire sfocati rispetto ai generatori basati su avversari o diffusione.
- Su piccoli dataset la distribuzione latente non viene appresa in modo significativo, quindi la PCA è la scelta più sicura.
- Il bilanciamento dei termini di ricostruzione e KL è delicato; il termine KL può collassare ed essere ignorato.
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- Apprende uno spazio latente liscio e continuo che può essere campionato per generare esempi genuinamente nuovi.
- Fornisce un quadro probabilistico rigoroso, ottimizzando un singolo obiettivo (il limite inferiore di evidenza).
- Utile oltre la generazione — per il rilevamento di anomalie, l'apprendimento di caratteristiche e la riduzione di dimensionalità non lineare.
- Non richiede input distribuiti normalmente e funziona con dati continui di alta dimensione.
- Il trucco della riparametrizzazione rende l'intero modello addestrabile end-to-end tramite discesa del gradiente.
Applicazioni
- Generazione di nuovi campioni di dati sintetici da uno spazio latente appreso.
- Rilevamento di anomalie e outlier segnalando gli input che il modello ricostruisce male.
- Riduzione di dimensionalità non lineare e apprendimento di caratteristiche su dati ad alta dimensionalità.
- Apprendimento di rappresentazioni come passo preliminare per previsioni o clustering downstream.
Come funziona
Come funziona
Una rete encoder legge ciascun input e restituisce i parametri di una distribuzione sulla variabile latente — una media e una varianza — piuttosto che un singolo codice fisso. Questo è il passo di codifica probabilistica che rappresenta ciascuna osservazione come una regione dello spazio latente invece di un singolo punto.
Formula
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))Un vettore latente viene estratto dalla distribuzione codificata utilizzando il trucco della riparametrizzazione: invece di campionare direttamente, il modello scrive il campione come la media più la deviazione standard moltiplicata per un rumore Gaussiano standard. Poiché la casualità viene spostata in un termine di rumore esterno, i gradienti possono ancora fluire attraverso la rete e il modello può essere addestrato end-to-end.
Formula
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)Una rete decoder mappa il vettore latente campionato nello spazio dei dati, e l'addestramento ottimizza il limite inferiore di evidenza (evidence lower bound): un termine di ricostruzione che premia la fedele ricostruzione dell'input, meno un termine di Kullback–Leibler che avvicina ciascuna distribuzione codificata alla distribuzione a priori. Bilanciare queste due forze è ciò che produce uno spazio latente che sia ricostruisce bene sia supporta la generazione di nuovi campioni.
Formula
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))Errori comuni
- Addestrare su troppo poche osservazioni (meno di circa 200) e aspettarsi un modello generativo significativo.
- Ignorare il collasso posteriore (posterior collapse), dove il termine KL rende il codice latente non informativo.
- Giudicare il modello solo sulla nitidezza della ricostruzione invece che sulla qualità dei campioni generati.
- Saltare il trucco della riparametrizzazione e interrompere il flusso del gradiente attraverso il passo di campionamento.
- Ricorrere a un VAE quando una semplice riduzione di dimensionalità lineare come la PCA sarebbe sufficiente.
Domande frequenti
In cosa differisce un VAE da un autoencoder semplice?
Un autoencoder semplice mappa ciascun input a un singolo codice latente ottimizzato solo per la ricostruzione. Un VAE codifica ciascun input come una distribuzione di probabilità e aggiunge un termine KL che mantiene tale distribuzione vicina a una distribuzione a priori, il che produce uno spazio latente liscio da cui si può campionare per generare nuovi dati.
Cos'è il trucco della riparametrizzazione?
Riscrive un campione latente come la media codificata più la deviazione standard moltiplicata per un rumore Gaussiano standard. Spostando la casualità in un termine di rumore esterno, i gradienti possono passare attraverso il passo di campionamento in modo che l'encoder e il decoder possano essere addestrati insieme tramite backpropagation.
Quanti dati e quale hardware sono necessari?
Sono raccomandate almeno circa 200 osservazioni continue, e una GPU è consigliata per l'addestramento. Al di sotto di 200 la distribuzione latente non viene appresa in modo significativo e la PCA è preferibile; al di sotto di circa 50 il VAE fallisce completamente.
Cos'è il beta-VAE?
Il beta-VAE, proposto da Higgins e colleghi nel 2017, moltiplica il termine KL per un coefficiente (beta). Un beta più grande spinge le dimensioni latenti a catturare fattori di variazione più indipendenti e disaggregati, a scapito di una certa fedeltà di ricostruzione.
Metodi correlati
Fonti
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).
Apri il riferimento della pubblicazioneCopiato.Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).
Apri il riferimento della pubblicazioneCopiato.