Saltar al contenido
Volver a los resultados

Detección de Anomalías con Autoencoders Ensemble

Propuesto por
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
Año
2017
Tipo
Ensemble unsupervised anomaly detection
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La Detección de Anomalías con Autoencoders Ensemble entrena múltiples redes neuronales de autoencoder con datos de la clase normal y agrega sus errores de reconstrucción para producir una puntuación de anomalía robusta.

Al combinar autoencoders diversos en lugar de depender de uno solo, el método estabiliza las clasificaciones de valores atípicos y reduce la sensibilidad a la inicialización aleatoria o a elecciones subóptimas de arquitectura.

La intuición detrás del método

Un único autoencoder aprende a comprimir y luego reconstruir observaciones normales; las anomalías se comprimen mal y producen un alto error de reconstrucción. El problema es que la puntuación de anomalía de un autoencoder es frágil: depende de una inicialización aleatoria y una arquitectura específicas. Un ensemble entrena muchos autoencoders con diferentes subconjuntos aleatorios de características o datos, y luego promedia sus errores de reconstrucción. Las peculiaridades individuales de cada red se cancelan, produciendo una señal de anomalía más estable y confiable, más difícil de engañar y más fácil de umbralizar.

Historia

La detección de anomalías basada en autoencoders se popularizó tras el trabajo de Hinton y Salakhutdinov en 2006 sobre autoencoders profundos, donde el alto error de reconstrucción surgió como una señal natural de valores atípicos. La extensión del ensemble fue formalizada por Chen, Sathe, Aggarwal y Turaga en la conferencia SIAM Data Mining de 2017, quienes demostraron que diversificar autoencoders mediante feature bagging supera de manera confiable a cualquier modelo individual. El enfoque aparece ahora de forma rutinaria en canalizaciones industriales de detección de anomalías para intrusiones de red, mantenimiento predictivo y monitorización médica.

Cuándo usarlo

Úselo cuando tenga datos predominantemente sin etiquetar y desee detectar anomalías raras en características continuas de alta dimensionalidad, por ejemplo, flujos de sensores, registros de transacciones o señales médicas, y un único autoencoder haya mostrado inestabilidad entre ejecuciones. También es efectivo cuando no hay etiquetas de anomalía disponibles y necesita una línea de base no supervisada con mejor estabilidad que una sola red. Evítelo cuando el conjunto de datos sea muy pequeño (menos de unos pocos cientos de observaciones normales por característica), ya que los autoencoders no aprenderán una variedad significativa. No lo use para datos de texto categóricos o dispersos sin un preprocesamiento de incrustación apropiado, y no lo use cuando un único Isolation Forest o One-Class SVM bien ajustado sea suficiente, ya que los ensembles agregan tiempo de entrenamiento y complejidad.

Limitaciones y consideraciones

  • El entrenamiento de K autoencoders multiplica los requisitos de cómputo y memoria; los ensembles grandes con redes profundas son costosos.
  • Asume que las anomalías se caracterizan por un alto error de reconstrucción; las anomalías adversarias o estructuradas que se encuentran en la variedad aprendida pueden pasarse por alto.
  • Sensible a la proporción de anomalías en los datos de entrenamiento; una contaminación alta degrada la variedad normal aprendida.
  • Las elecciones de hiperparámetros (número de modelos, arquitectura, función de agregación) requieren datos de validación o conocimiento del dominio.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Reduce la varianza en las puntuaciones de anomalía en comparación con un único autoencoder, proporcionando clasificaciones más estables entre semillas aleatorias.
  • La agregación de detectores diversos captura diferentes aspectos de la normalidad, mejorando la recuperación de tipos de anomalías heterogéneas.
  • Completamente no supervisado: no se requieren etiquetas de anomalía, solo datos normales o mixtos sin etiquetar.
  • Escala a datos continuos de alta dimensionalidad donde los métodos basados en distancia como la detección de anomalías k-NN se degradan.
  • Compatible con una amplia gama de arquitecturas de autoencoder (vanilla, variacional, convolucional) para adaptarse a la estructura de los datos.
  • La puntuación del ensemble es más fácil de umbralizar de manera confiable que la puntuación de una sola red, lo que reduce el esfuerzo de calibración.

Aplicaciones

  • Detección de intrusiones de red a partir de características de paquetes o flujos de alta dimensionalidad.
  • Puntuación de anomalías de mantenimiento predictivo en series temporales multivariadas de sensores.
  • Detección de fraude en transacciones financieras en flujos sin etiquetar o débilmente etiquetados.
  • Monitorización de bioseñales médicas (ECG, EEG) para patrones patológicos raros.
  • Control de calidad en fabricación donde los ejemplos de defectos son escasos.
  • Puntuación de valores atípicos no supervisada de línea base antes de campañas de etiquetado de aprendizaje activo.

Cómo funciona

Cómo funciona

1

Se entrenan K autoencoders de forma independiente con los datos de entrenamiento (supuestamente) normales, cada uno con una inicialización aleatoria diferente y, opcionalmente, subconjuntos de características de entrada o arquitecturas de red diferentes. El entrenamiento anima a cada red a minimizar la pérdida de reconstrucción en muestras normales, por lo que aprende la variedad de comportamiento normal.

2

Para cada observación de prueba, cada autoencoder la codifica a una representación latente y la decodifica de nuevo. La distancia L2 al cuadrado entre la entrada original y la reconstrucción es la puntuación de anomalía por red: un error alto indica que la observación se desvía de la variedad normal aprendida.

Fórmula
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2
3

Las K puntuaciones individuales se agregan en una única puntuación de anomalía por observación, comúnmente promediando, tomando el máximo o aplicando una combinación normalizada por rango. El promedio reduce la varianza; el máximo es más sensible a que al menos un detector detecte una anomalía.

Fórmula
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})
4

Se aplica un umbral a la puntuación agregada para etiquetar las observaciones como anómalas. El umbral se elige generalmente mediante una tasa de falsos positivos objetivo en datos normales retenidos, o tratando el p por ciento superior de los valores de puntuación como anomalías cuando no hay etiquetas de verdad fundamental disponibles.

Errores comunes

  • Incluir anomalías en el conjunto de entrenamiento sin conocimiento previo: esto corrompe la variedad normal aprendida y suprime las puntuaciones de anomalía para la contaminación.
  • Evaluar solo en el conjunto de entrenamiento sin una muestra normal retenida para calibrar el umbral, lo que lleva a etiquetas de anomalía demasiado confiadas.
  • Usar el error de reconstrucción solo sin verificar las contribuciones por dimensión, enmascarando qué características impulsan la puntuación de anomalía.
  • Tratar el ensemble como si no requiriera ajuste: el número de autoencoders, su profundidad y la función de agregación afectan el rendimiento y deben validarse.
  • Aplicar el método a conjuntos de datos con muy pocas observaciones en relación con el número de características, donde los autoencoders no pueden generalizar y cada punto parece anómalo.

Preguntas frecuentes

¿Cuántos autoencoders debe contener el ensemble?

La investigación sugiere rendimientos decrecientes más allá de unas 10-20 redes diversas. Comience con 10 y observe si la puntuación agregada se estabiliza entre ejecuciones; si todavía varía, agregue más o aumente la diversidad mediante submuestreo de características.

¿Cómo introduzco diversidad entre los autoencoders?

Las estrategias comunes incluyen inicialización aleatoria, subconjuntos aleatorios de características de entrada (feature bagging), diferentes tamaños de dimensión latente, tasas de dropout o arquitecturas diferentes (superficiales vs. profundas). El feature bagging es el más simple y efectivo para datos tabulares.

¿Los datos de entrenamiento deben estar libres de anomalías?

Idealmente sí, pero una contaminación moderada (inferior al 5% aproximadamente) es tolerable. Si la proporción de anomalías es mayor, el autoencoder aprende a reconstruirlas bien y las puntuaciones de anomalía se reducen. El prefiltrado con un detector más simple (Isolation Forest) antes de entrenar los autoencoders puede ayudar.

¿Cómo debo establecer el umbral de anomalía?

Si tiene una tasa de falsos positivos objetivo (por ejemplo, 1%), establezca el umbral en el percentil correspondiente de la distribución de puntuaciones en datos normales retenidos. Sin ninguna etiqueta, trate el p% superior de las puntuaciones como anomalías y valide con expertos del dominio o métricas de evaluación posteriores.

¿Cuándo es mejor un único autoencoder que un ensemble?

Cuando el cómputo está severamente restringido, el conjunto de datos es pequeño, o un único autoencoder bien ajustado ya muestra un rendimiento estable entre semillas. Los ensembles agregan valor principalmente cuando la varianza del modelo individual es alta o se espera diversidad de anomalías.

Métodos relacionados

Fuentes

  1. Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.

    Abrir referencia de la publicación
    Copiado.
  2. Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.

    ISBN: 978-3-319-47578-3
    Copiado.