Saltar al contenido
Volver a los resultados

Autoencoder

Propuesto por
Hinton, G.E. & Salakhutdinov, R.R.
Año
2006
Tipo
Neural network (encoder-decoder)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Un autoencoder es una red neuronal codificador-decodificador, popularizada por Hinton y Salakhutdinov en 2006, que comprime datos en un código latente de baja dimensionalidad y luego los reconstruye, permitiendo la reducción de dimensionalidad y la detección de anomalías.

Al aprender a reconstruir su propia entrada a través de un cuello de botella estrecho, descubre una representación compacta de los datos.

La intuición detrás del método

Imagine que le piden resumir un documento largo en una sola frase y luego reescribir el documento completo a partir de esa frase. Para hacerlo bien, debe quedarse solo con lo más importante. Un autoencoder aprende exactamente esta disciplina: exprime cada observación a través de un cuello de botella estrecho e intenta reconstruir el original a partir del código exprimido. Lo que sobrevive a la compresión es la esencia de los datos, y las entradas que la red no puede reconstruir bien destacan como anomalías.

Historia

La idea del autoencoder de aprender un código compacto reconstruyendo la entrada fue dada a conocer por Geoffrey Hinton y Ruslan Salakhutdinov en su artículo de Science de 2006, que demostró que las redes neuronales profundas podían reducir la dimensionalidad de los datos de manera más efectiva que las técnicas lineales clásicas. Este trabajo ayudó a establecer las redes neuronales como una herramienta práctica para el aprendizaje de representaciones.

Cuándo usarlo

Utilice un autoencoder para la reducción de dimensionalidad no lineal o la detección de anomalías en datos de valores continuos cuando tenga una muestra razonablemente grande — aproximadamente 200 observaciones o más. No requiere datos distribuidos normalmente, pero necesita suficientes datos para aprender un espacio latente significativo, y la elección del tamaño de la capa oculta es crítica. Con muestras pequeñas (menos de unas 200) el PCA es la opción más segura, y por debajo de unas 50, la reducción de dimensionalidad con redes neuronales falla por completo.

Limitaciones y consideraciones

  • Necesita una muestra razonablemente grande — unas 200 observaciones o más — para aprender un espacio latente significativo.
  • La elección del tamaño de la capa oculta (latente) es crítica y afecta fuertemente a los resultados.
  • En conjuntos de datos pequeños no puede aprender el espacio latente y el PCA más simple es preferible.
  • Por debajo de unas 50 observaciones, la reducción de dimensionalidad basada en redes neuronales falla por completo.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Captura estructura no lineal que los métodos lineales como el PCA no detectan.
  • Sirve tanto para la reducción de dimensionalidad como para la detección de anomalías a partir de la misma representación aprendida.
  • Pocas suposiciones: no requiere datos distribuidos normalmente.
  • El código latente proporciona una representación compacta y aprendida de datos continuos complejos.

Aplicaciones

  • Reducción de dimensionalidad no lineal de datos continuos de alta dimensionalidad.
  • Detección de anomalías al señalar observaciones con un gran error de reconstrucción.
  • Aprendizaje de representaciones latentes compactas como características para tareas posteriores.
  • Análisis exploratorio de datos complejos donde la reducción lineal es insuficiente.

Cómo funciona

Cómo funciona

1

El codificador mapea la entrada a través de una o más capas ocultas hasta un código latente de baja dimensionalidad. El tamaño de esta capa oculta (cuello de botella) es la elección crítica de diseño: si es demasiado ancha, la red simplemente copia la entrada; si es demasiado estrecha, pierde estructura significativa.

Fórmula
z = f(Wx + b)
2

El decodificador toma el código latente y lo expande de nuevo a través de capas ocultas hacia la dimensionalidad original, produciendo una reconstrucción de la entrada. El codificador y el decodificador se entrenan juntos como una única red.

Fórmula
\hat{x} = g(W'z + b')
3

El entrenamiento minimiza el error de reconstrucción — la diferencia entre la entrada y su versión reconstruida. Una vez entrenado, el código latente sirve como una representación comprimida para la reducción de dimensionalidad, mientras que los grandes errores de reconstrucción señalan observaciones que no se ajustan a los patrones aprendidos, apoyando la detección de anomalías.

Fórmula
\min \; \lVert x - \hat{x} \rVert^2

Errores comunes

  • Aplicarlo a muestras pequeñas donde el PCA sería tanto adecuado como más fiable.
  • Establecer el cuello de botella demasiado ancho, de modo que la red copie la entrada en lugar de comprimirla.
  • Establecer el cuello de botella demasiado estrecho, descartando estructura significativa.
  • Usarlo en tipos de datos para los que no es adecuado en lugar de características de valor continuo.

Preguntas frecuentes

¿Cómo se diferencia un autoencoder del PCA?

El PCA encuentra la mejor proyección lineal de los datos, mientras que un autoencoder puede aprender representaciones no lineales a través de sus capas ocultas. Para muestras pequeñas o cuando un resumen lineal es suficiente, el PCA es más simple y fiable; los autoencoders compensan cuando los datos tienen estructura no lineal y la muestra es lo suficientemente grande.

¿Cuántos datos necesito?

Aproximadamente 200 observaciones o más. Por debajo de eso, la red no puede aprender un espacio latente significativo y el PCA es la opción más segura; por debajo de unas 50 observaciones, la reducción de dimensionalidad con redes neuronales falla por completo.

¿Cómo lo detecto anomalías con él?

Después del entrenamiento, pase las observaciones a través de la red y mida su error de reconstrucción. Los puntos que el modelo reconstruye mal — aquellos con un gran error — no se ajustan a los patrones aprendidos y se señalan como anomalías.

¿Cuál es la configuración más importante que debo acertar?

El tamaño de la capa oculta (cuello de botella). Demasiado ancha y la red simplemente copia la entrada sin aprender una compresión útil; demasiado estrecha y descarta estructura significativa.

Métodos relacionados

Fuentes

  1. Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.

    Abrir referencia DOI
    Copiado.