Saltar al contenido
Volver a los resultados

Autoencoder Variacional

Propuesto por
Kingma, D. P. & Welling, M.
Año
2014
Tipo
Deep generative latent-variable model (encoder–decoder)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El Autoencoder Variacional (VAE) es un modelo generativo profundo de variables latentes, introducido por Diederik Kingma y Max Welling en 2014, que codifica los datos como una distribución de probabilidad en un espacio latente y extrae muestras de esa distribución para generar nuevos ejemplos.

Se utiliza para la generación de datos, la detección de anomalías y el aprendizaje de características.

La intuición detrás del método

Un autoencoder ordinario comprime cada entrada en un único punto en un espacio comprimido, lo cual es bueno para la reconstrucción pero no deja una forma principista de crear nuevos datos. Un VAE, en cambio, mapea cada entrada a una pequeña nube de probabilidad —una media y una dispersión— y fuerza a que esas nubes permanezcan cerca de una distribución de referencia simple. Dado que el espacio latente es entonces suave y continuo, se puede extraer un nuevo punto de él y el decodificador lo convierte en un ejemplo completamente nuevo y plausible.

Historia

El Autoencoder Variacional fue introducido por Diederik Kingma y Max Welling en 2014 en 'Auto-Encoding Variational Bayes', que combinó la inferencia variacional con codificadores y decodificadores de redes neuronales e introdujo el truco de reparametrización que hizo que el modelo fuera entrenable de extremo a extremo. En 2017, Higgins y colegas propusieron beta-VAE, que repondera el término KL con un coeficiente para fomentar factores latentes más desentrelazados. El VAE se convirtió en uno de los modelos generativos profundos fundamentales, junto con las GAN y, más recientemente, los modelos de difusión.

Cuándo usarlo

Un buen ajuste cuando se tienen al menos unas 200 observaciones continuas y se desea aprender una representación latente suave para generar nuevos datos, detectar anomalías o comprimir entradas de alta dimensionalidad, y se dispone de una GPU para el entrenamiento. El modelo asume una variable latente continua y se entrena optimizando conjuntamente la pérdida de reconstrucción y la divergencia KL. Por debajo de unas 50 muestras, la distribución latente no se puede aprender de forma significativa y es preferible un método más simple como el PCA; por debajo de unas 50, falla por completo.

Limitaciones y consideraciones

  • Necesita una muestra razonablemente grande (aproximadamente 200+) y típicamente una GPU para entrenar eficazmente.
  • Las muestras pueden parecer borrosas en comparación con generadores adversarios o basados en difusión.
  • En conjuntos de datos pequeños, la distribución latente no se aprende de forma significativa, por lo que el PCA es la opción más segura.
  • El equilibrio entre los términos de reconstrucción y KL es delicado; el término KL puede colapsar y ser ignorado.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprende un espacio latente suave y continuo que puede ser muestreado para generar ejemplos genuinamente nuevos.
  • Proporciona un marco probabilístico principista, optimizando un único objetivo (el límite inferior de la evidencia).
  • Útil más allá de la generación — para la detección de anomalías, el aprendizaje de características y la reducción de dimensionalidad no lineal.
  • No requiere entradas distribuidas normalmente y funciona con datos continuos de alta dimensión.
  • El truco de reparametrización hace que todo el modelo sea entrenable de extremo a extremo mediante descenso de gradiente.

Aplicaciones

  • Generación de nuevas muestras de datos sintéticos a partir de un espacio latente aprendido.
  • Detección de anomalías y valores atípicos señalando entradas que el modelo reconstruye pobremente.
  • Reducción de dimensionalidad no lineal y aprendizaje de características en datos de alta dimensionalidad.
  • Aprendizaje de representaciones como un paso previo para predicción o agrupamiento posterior.

Cómo funciona

Cómo funciona

1

Una red codificadora lee cada entrada y produce los parámetros de una distribución sobre la variable latente —una media y una varianza— en lugar de un código fijo único. Este es el paso de codificación probabilística que representa cada observación como una región del espacio latente en lugar de un punto.

Fórmula
q_\phi(z \mid x) = \mathcal{N}(z; \mu_\phi(x), \sigma_\phi^2(x))
2

Se extrae un vector latente de la distribución codificada utilizando el truco de reparametrización: en lugar de muestrear directamente, el modelo escribe la muestra como la media más la desviación estándar multiplicada por ruido Gaussiano estándar. Dado que la aleatoriedad se traslada a un término de ruido externo, los gradientes aún pueden fluir a través de la red y el modelo puede entrenarse de extremo a extremo.

Fórmula
z = \mu + \sigma \odot \epsilon, \quad \epsilon \sim \mathcal{N}(0, I)
3

Una red decodificadora mapea el vector latente muestreado de vuelta al espacio de datos, y el entrenamiento optimiza el límite inferior de la evidencia: un término de reconstrucción que recompensa la reconstrucción fiel de la entrada, menos un término de Kullback–Leibler que acerca cada distribución codificada a la distribución previa. El equilibrio entre estas dos fuerzas es lo que produce un espacio latente que tanto reconstruye bien como soporta la generación de nuevas muestras.

Fórmula
\mathcal{L} = \mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \,\|\, p(z))

Errores comunes

  • Entrenar con muy pocas observaciones (menos de unas 200) y esperar un modelo generativo significativo.
  • Ignorar el colapso posterior, donde el término KL lleva al código latente a ser poco informativo.
  • Evaluar el modelo basándose únicamente en la nitidez de la reconstrucción en lugar de la calidad de las muestras generadas.
  • Omitir el truco de reparametrización y romper el flujo de gradiente a través del paso de muestreo.
  • Buscar un VAE cuando una simple reducción de dimensionalidad lineal como el PCA sería suficiente.

Preguntas frecuentes

¿Cómo se diferencia un VAE de un autoencoder simple?

Un autoencoder simple mapea cada entrada a un único código latente optimizado solo para la reconstrucción. Un VAE codifica cada entrada como una distribución de probabilidad y añade un término KL que mantiene esa distribución cerca de una previa, lo que produce un espacio latente suave del que se puede muestrear para generar nuevos datos.

¿Qué es el truco de reparametrización?

Reescribe una muestra latente como la media codificada más la desviación estándar multiplicada por ruido Gaussiano estándar. Al mover la aleatoriedad a un término de ruido externo, los gradientes pueden pasar a través del paso de muestreo para que el codificador y el decodificador puedan entrenarse juntos mediante retropropagación.

¿Cuántos datos y qué hardware necesito?

Se recomiendan al menos unas 200 observaciones continuas, y se aconseja una GPU para el entrenamiento. Por debajo de 200, la distribución latente no se aprende de forma significativa y el PCA es preferible; por debajo de unas 50, el VAE falla por completo.

¿Qué es beta-VAE?

beta-VAE, propuesto por Higgins y colegas en 2017, multiplica el término KL por un coeficiente (beta). Un beta mayor presiona a las dimensiones latentes para capturar factores de variación más independientes y desentrelazados, a costa de cierta fidelidad de reconstrucción.

Métodos relacionados

Fuentes

  1. Kingma, D. P. & Welling, M. (2014). Auto-Encoding Variational Bayes. International Conference on Learning Representations (ICLR).

    Abrir referencia de la publicación
    Copiado.
  2. Higgins, I. et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. International Conference on Learning Representations (ICLR).

    Abrir referencia de la publicación
    Copiado.