Detección de anomalías con autoencoder semi-supervisado
- Propuesto por
- Ruff, L. et al.; Zong, B. et al.
- Año
- 2018–2020
- Tipo
- Semi-supervised deep anomaly detection
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La detección de anomalías con autoencoder semi-supervisado entrena un autoencoder neuronal principalmente con datos normales (sin etiquetar) y luego utiliza un pequeño conjunto de anomalías etiquetadas para refinar los límites de decisión, detectando anomalías como muestras con alto error de reconstrucción.
Reduce la brecha entre los autoencoders puramente no supervisados y los clasificadores totalmente supervisados cuando las etiquetas son escasas pero existen algunas anomalías conocidas.
La intuición detrás del método
Un autoencoder estándar aprende a comprimir y reconstruir bien los datos normales; las anomalías que nunca ha visto se reconstruyen mal, por lo que el error de reconstrucción las señala. Los autoencoders puramente no supervisados no tienen un ancla para definir qué cuenta como anómalo; solo saben qué es normal. La variante semi-supervisada utiliza el pequeño conjunto de anomalías etiquetadas como ejemplos negativos durante el ajuste fino, acercando el límite de decisión del modelo a las anomalías del mundo real sin necesidad de supervisión completa. El resultado es un detector que es eficiente en cuanto a datos y está mejor calibrado que cualquiera de los extremos por sí solo.
Historia
La detección de anomalías con autoencoder no supervisado ganó tracción después del auge del aprendizaje profundo alrededor de 2014. Zong et al. (ICLR 2018) integraron autoencoders con modelos de mezcla gaussiana para la puntuación de anomalías no supervisada. Ruff et al. (ICLR 2020) formalizaron la variante semi-supervisada, demostrando que incluso un puñado de anomalías etiquetadas mejora sustancialmente la detección sobre las bases de referencia puramente no supervisadas, estableciendo el marco ampliamente utilizado hoy en día.
Cuándo usarlo
Recomendado cuando se dispone de datos sin etiquetar abundantes, predominantemente normales, junto con un conjunto pequeño pero fiable de anomalías confirmadas, y los detectores de anomalías no supervisados listos para usar producen demasiados falsos positivos. Especialmente eficaz para datos de alta dimensionalidad o no lineales, como señales de sensores, tráfico de red o imágenes, donde los métodos tradicionales (p. ej., SVM de una clase) escalan mal. No usar cuando las anomalías etiquetadas no están disponibles en absoluto (preferir autoencoders no supervisados) o cuando se tienen suficientes etiquetas para un clasificador supervisado completo. Evitar con conjuntos de datos muy pequeños (menos de unos pocos cientos de muestras) donde la red profunda no puede generalizar.
Limitaciones y consideraciones
- Requiere una partición cuidadosa: si el grupo sin etiquetar contiene muchas anomalías, el pre-entrenamiento se corrompe y el rendimiento se degrada significativamente.
- Los autoencoders profundos consumen muchos recursos computacionales para entrenar y ajustar en comparación con los métodos superficiales.
- La interpretabilidad es limitada; la señal de error de reconstrucción no explica qué características causaron la anomalía.
- Sensible a la elección de la profundidad de la arquitectura, la dimensión latente y el peso de la pérdida entre los objetivos no supervisado y supervisado.
- La selección del umbral no es trivial y debe validarse con datos etiquetados retenidos para evitar cortes arbitrarios.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aprovecha eficazmente grandes volúmenes de datos normales sin etiquetar junto con escasas anomalías etiquetadas, maximizando la eficiencia de los datos.
- Maneja espacios de características de alta dimensionalidad y no lineales mucho mejor que los métodos basados en kernels como SVM de una clase.
- La puntuación de anomalía (error de reconstrucción) es continua, lo que permite un ajuste fino del umbral para que coincida con los requisitos operativos.
- El pre-entrenamiento con datos normales proporciona una fuerte información previa, reduciendo el número de anomalías etiquetadas necesarias en comparación con un enfoque totalmente supervisado.
- La arquitectura es flexible y puede incorporar capas convolucionales, recurrentes o transformadoras para imágenes, series temporales o texto.
Aplicaciones
- Detección de fallos y defectos industriales en flujos de sensores o telemetría donde los eventos defectuosos son raros pero documentados.
- Detección de anomalías en redes e intrusiones de ciberseguridad con firmas de ataque conocidas como semillas etiquetadas.
- Cribado de imágenes médicas o datos clínicos donde los casos patológicos confirmados son escasos.
- Detección de fraude financiero combinando transacciones normales abundantes con un pequeño conjunto de fraudulentas confirmadas.
- Pipelines de mantenimiento predictivo donde los registros históricos de fallos sirven como ejemplos de anomalías etiquetadas.
Cómo funciona
Cómo funciona
El conjunto de entrenamiento se divide en un gran grupo de datos sin etiquetar (asumido mayormente normal) y un pequeño conjunto curado de anomalías etiquetadas. Esta partición refleja la escasez del mundo real de etiquetas de anomalías confirmadas, al tiempo que explota la señal de verdad fundamental disponible.
Una red codificador-decodificador se pre-entrena en el grupo sin etiquetar para minimizar la pérdida de reconstrucción, aprendiendo una representación latente compacta de patrones normales. Esta fase construye la noción fundamental de cómo se ve lo normal sin requerir ninguna etiqueta.
En la segunda fase, se incorporan las anomalías etiquetadas, ya sea añadiendo una cabeza de clasificación, utilizando una pérdida contrastiva o de hiperesfera (como en extensiones de Deep SVDD), o penalizando el bajo error de reconstrucción para anomalías conocidas. Esto aleja el límite de decisión de los puntos anormales confirmados.
En tiempo de inferencia, cada muestra se pasa a través del autoencoder entrenado. La puntuación de anomalía es típicamente el error de reconstrucción (error cuadrático medio entre entrada y salida). Opcionalmente, también se utiliza la distancia en el espacio latente desde un centroide de clase normal.
Fórmula
s(x) = \|x - \hat{x}\|^2Se elige un umbral en la puntuación de anomalía, utilizando las anomalías etiquetadas, una curva precisión-recuperación o una tasa de falsos positivos objetivo, para producir etiquetas binarias normal/anomalía. La elección del umbral rige directamente el compromiso precisión-recuperación.
Errores comunes
- Contaminación del grupo de pre-entrenamiento sin etiquetar con anomalías no detectadas, lo que socava la representación de datos normales.
- Tratar el error de reconstrucción como una probabilidad calibrada sin una calibración adecuada del umbral con ejemplos etiquetados.
- Uso de una única división de entrenamiento/prueba sin validación cruzada, lo que produce estimaciones de rendimiento demasiado optimistas en clases de anomalías raras.
- Selección de la dimensión latente sin experimentación, ya sea demasiado pequeña (pérdida de información) o demasiado grande (el autoencoder reconstruye anomalías tan bien como los datos normales).
- Ignorar el desequilibrio de clases al calcular métricas de evaluación: la precisión no tiene sentido con un desequilibrio extremo; usar AUROC y precisión promedio en su lugar.
Preguntas frecuentes
¿Cuántas anomalías etiquetadas se necesitan?
El método puede funcionar con tan solo una docena de anomalías confirmadas, pero el rendimiento mejora sustancialmente hasta unos pocos cientos. La clave es que las anomalías etiquetadas deben cubrir los principales tipos de comportamiento anormal presentes en el dominio.
¿Qué pasa si mi grupo sin etiquetar contiene anomalías ocultas?
La contaminación sin etiquetar es el mayor modo de fallo. Aplique un filtro no supervisado preliminar (p. ej., Isolation Forest) para eliminar valores atípicos obvios del grupo de pre-entrenamiento antes del ajuste fino.
¿Cómo elijo el umbral de error de reconstrucción?
Utilice su conjunto de anomalías etiquetadas y una curva precisión-recuperación para elegir un umbral que coincida con su tolerancia operativa para falsos positivos y falsos negativos. Nunca elija el umbral con los mismos datos utilizados para entrenar el modelo.
¿Es esto mejor que un SVM de una clase o Isolation Forest?
En datos de alta dimensionalidad o no lineales con al menos algunas anomalías etiquetadas, los autoencoders semi-supervisados suelen superar a los SVM de una clase y a Isolation Forest. En datos tabulares de baja dimensionalidad con muestras muy pequeñas, los métodos más simples pueden igualar o superar su rendimiento a menor costo.
¿Qué métricas de evaluación debo reportar?
Reporte AUROC y precisión promedio (área bajo la curva precisión-recuperación) en un conjunto de prueba retenido que preserve la prevalencia real de anomalías. La precisión y la F1 en un umbral fijo deben ser métricas secundarias, con justificación del umbral proporcionada.
Métodos relacionados
Fuentes
Ruff, L., Vandermeulen, R. A., Franks, B. J., Müller, K.-R., & Kloft, M. (2020). Deep Semi-Supervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2020).
Abrir referencia de la publicaciónCopiado.Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu, C., Cho, D., & Chen, H. (2018). Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection. In International Conference on Learning Representations (ICLR 2018).
Abrir referencia de la publicaciónCopiado.