Autoencoder Variacional
- Proposto por
- Kingma, D. P. & Welling, M.
- Ano
- 2014
- Tipo
- Deep generative latent-variable model (encoder–decoder)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
O Autoencoder Variacional (VAE) é um modelo generativo profundo de variável latente, introduzido por Diederik Kingma e Max Welling em 2014, que codifica dados como uma distribuição de probabilidade em um espaço latente e amostra dessa distribuição para gerar novos exemplos.
Ele é usado para geração de dados, detecção de anomalias e aprendizado de características.
A intuição por trás do método
Um autoencoder comum comprime cada entrada em um único ponto em um espaço compactado, o que é bom para reconstrução, mas não oferece uma maneira fundamentada de criar novos dados. Um VAE, em vez disso, mapeia cada entrada para uma pequena nuvem de probabilidade — uma média e uma dispersão — e força essas nuvens a permanecerem próximas a uma distribuição de referência simples. Como o espaço latente é então suave e contínuo, você pode extrair um novo ponto dele e o decodificador o transforma em um exemplo novo e plausível.
História
O Autoencoder Variacional foi introduzido por Diederik Kingma e Max Welling em 2014 em 'Auto-Encoding Variational Bayes', que combinou inferência variacional com codificadores e decodificadores de redes neurais e introduziu o truque de reparametrização que tornou o modelo treinável de ponta a ponta. Em 2017, Higgins e colegas propuseram o beta-VAE, que repondera o termo KL com um coeficiente para encorajar fatores latentes mais desentrelaçados. O VAE tornou-se um dos modelos generativos profundos fundamentais, ao lado das GANs e, mais recentemente, dos modelos de difusão.
Quando usar
Um bom ajuste quando você tem pelo menos cerca de 200 observações de valor contínuo e deseja aprender uma representação latente suave para gerar novos dados, detectar anomalias ou comprimir entradas de alta dimensão, e uma GPU está disponível para treinamento. O modelo assume uma variável latente contínua e é treinado otimizando conjuntamente a perda de reconstrução e a divergência KL. Abaixo de cerca de 200 amostras, a distribuição latente não pode ser aprendida de forma significativa e um método mais simples como PCA é preferível; abaixo de cerca de 50, ele falha completamente.
Limitações e considerações
- Necessita de uma amostra razoavelmente grande (cerca de 200+) e tipicamente uma GPU para treinar eficazmente.
- As amostras podem parecer borradas em comparação com geradores adversariais ou baseados em difusão.
- Em pequenos conjuntos de dados, a distribuição latente não é aprendida de forma significativa, então PCA é a escolha mais segura.
- Equilibrar os termos de reconstrução e KL é delicado; o termo KL pode colapsar e ser ignorado.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Aprende um espaço latente suave e contínuo que pode ser amostrado para gerar exemplos genuinamente novos.
- Fornece uma estrutura probabilística fundamentada, otimizando um único objetivo (o limite inferior da evidência).
- Útil além da geração — para detecção de anomalias, aprendizado de características e redução de dimensionalidade não linear.
- Não requer entradas com distribuição normal e funciona com dados contínuos de alta dimensão.
- O truque de reparametrização torna todo o modelo treinável de ponta a ponta por descida de gradiente.
Aplicações
- Gerar novas amostras de dados sintéticos a partir de um espaço latente aprendido.
- Detecção de anomalias e outliers sinalizando entradas que o modelo reconstrói mal.
- Redução de dimensionalidade não linear e aprendizado de características em dados de alta dimensão.
- Aprendizado de representação como uma etapa prévia para previsão ou agrupamento subsequente.
Como funciona
Como funciona
Uma rede codificadora lê cada entrada e gera os parâmetros de uma distribuição sobre a variável latente — uma média e uma variância — em vez de um único código fixo. Este é o passo de codificação probabilística que representa cada observação como uma região do espaço latente em vez de um ponto.
Fórmula
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))Um vetor latente é extraído da distribuição codificada usando o truque de reparametrização: em vez de amostrar diretamente, o modelo escreve a amostra como a média mais o desvio padrão vezes o ruído gaussiano padrão. Como a aleatoriedade é empurrada para um termo de ruído externo, os gradientes ainda podem fluir através da rede e o modelo pode ser treinado de ponta a ponta.
Fórmula
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)Uma rede decodificadora mapeia o vetor latente amostrado de volta para o espaço de dados, e o treinamento otimiza o limite inferior da evidência: um termo de reconstrução que recompensa a reconstrução fiel da entrada, menos um termo de Kullback–Leibler que puxa cada distribuição codificada em direção à priori. O equilíbrio dessas duas forças é o que produz um espaço latente que tanto reconstrói bem quanto suporta a geração de novas amostras.
Fórmula
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))Erros comuns
- Treinar com poucas observações (abaixo de cerca de 200) e esperar um modelo generativo significativo.
- Ignorar o colapso posterior, onde o termo KL leva o código latente a ser não informativo.
- Julgar o modelo apenas pela nitidez da reconstrução em vez da qualidade das amostras geradas.
- Pular o truque de reparametrização e quebrar o fluxo de gradiente através da etapa de amostragem.
- Recorrer a um VAE quando uma redução de dimensionalidade linear simples, como PCA, seria suficiente.
Perguntas frequentes
Como um VAE é diferente de um autoencoder comum?
Um autoencoder comum mapeia cada entrada para um único código latente otimizado apenas para reconstrução. Um VAE codifica cada entrada como uma distribuição de probabilidade e adiciona um termo KL que mantém essa distribuição próxima a uma priori, o que resulta em um espaço latente suave do qual você pode amostrar para gerar novos dados.
O que é o truque de reparametrização?
Ele reescreve uma amostra latente como a média codificada mais o desvio padrão vezes o ruído gaussiano padrão. Ao mover a aleatoriedade para um termo de ruído externo, os gradientes podem passar pela etapa de amostragem para que o codificador e o decodificador possam ser treinados juntos por retropropagação.
De quantos dados e qual hardware eu preciso?
Recomenda-se pelo menos cerca de 200 observações contínuas, e uma GPU é aconselhável para o treinamento. Abaixo de 200, a distribuição latente não é aprendida de forma significativa e PCA é preferível; abaixo de cerca de 50, o VAE falha completamente.
O que é beta-VAE?
O beta-VAE, proposto por Higgins e colegas em 2017, multiplica o termo KL por um coeficiente (beta). Um beta maior pressiona as dimensões latentes a capturar fatores de variação mais independentes e desentrelaçados, com algum custo para a fidelidade da reconstrução.
Métodos relacionados
Fontes
Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).
Abrir referência da publicaçãoCopiado.Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).
Abrir referência da publicaçãoCopiado.