Detección de Anomalías con Autoencoder y Aprendizaje Activo
- Propuesto por
- Multiple (Guo et al.; Pimentel et al.)
- Año
- 2014–2018
- Tipo
- Active learning + unsupervised deep anomaly detection hybrid
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La Detección de Anomalías con Autoencoder y Aprendizaje Activo combina la puntuación de error de reconstrucción no supervisada de un autoencoder con un bucle de consulta de aprendizaje activo.
El modelo marca las instancias de alto error como anomalías candidatas, solicita selectivamente a un oráculo humano que etiquete las más informativas y reentrena iterativamente, logrando una fuerte detección de anomalías con un presupuesto de etiquetado reducido.
La intuición detrás del método
Un autoencoder simple aprende a reconstruir datos normales y marca un alto error de reconstrucción como anómalo, pero no tiene retroalimentación sobre si esas marcas son correctas. El aprendizaje activo añade un paso de consulta inteligente: después de puntuar todas las muestras no etiquetadas, el sistema selecciona los candidatos más inciertos o de mayor error y pide a un experto que etiquete solo a ellos. Cada instancia etiquetada mejora inmediatamente la percepción del modelo sobre lo que cuenta como una anomalía real frente a un valor atípico ruidoso, por lo que el límite de detección se agudiza con un esfuerzo mínimo de anotación.
Historia
La detección de anomalías basada en autoencoders surgió de la literatura sobre detección de novedades en la década de 2010, revisada exhaustivamente por Pimentel et al. (2014). La integración con el aprendizaje activo fue impulsada por las restricciones prácticas de etiquetado en dominios como la intrusión en redes y la monitorización médica. A finales de la década de 2010, artículos de Guo, Görnitz y otros formalizaron estrategias de consulta adaptadas a los paisajes de error de reconstrucción, estableciendo el híbrido como un enfoque reconocido en la literatura de detección profunda de anomalías.
Cuándo usarlo
Utilice este método cuando tenga un gran conjunto de datos no etiquetados con anomalías raras, el etiquetado sea costoso o requiera juicio experto, y solo pueda permitirse un pequeño presupuesto de anotación. Es muy adecuado para la detección de fallos industriales, el cribado de anomalías médicas, la detección de fraudes y la detección de intrusiones, donde las anomalías son raras y heterogéneas. Evítelo cuando tenga abundantes datos etiquetados —los métodos supervisados lo superarán— o cuando el oráculo no esté disponible o no sea fiable. También es inapropiado cuando el concepto de anomalía cambia tan rápidamente que el reentrenamiento iterativo no puede seguir el ritmo.
Limitaciones y consideraciones
- El bucle de consulta introduce latencia de intervención humana; el oráculo debe estar disponible durante todo el entrenamiento.
- El rendimiento depende de la calidad de la estrategia de consulta: una función de adquisición deficiente puede desperdiciar el presupuesto de etiquetado en muestras redundantes.
- Los autoencoders pueden no detectar anomalías que se reconstruyen bien (por ejemplo, valores atípicos adversarios o dentro de la distribución).
- El reentrenamiento iterativo de redes profundas puede ser computacionalmente costoso, especialmente para modelos grandes o datos en streaming.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Logra un fuerte rendimiento de detección con solo un pequeño presupuesto etiquetado, lo que hace que la anotación experta sea rentable.
- La etapa de autoencoder no requiere ninguna etiqueta para el entrenamiento inicial, lo que permite un arranque en frío útil antes de cualquier consulta.
- La consulta activa concentra el esfuerzo de anotación en los casos límite más informativos, mejorando la calibración del umbral de anomalía.
- Arquitectura flexible: la columna vertebral del autoencoder puede sustituirse por variantes convolucionales, recurrentes o variacionales para adaptarse a diferentes modalidades de datos.
- Combina el poder de representación del aprendizaje profundo con la eficiencia de etiquetado del aprendizaje activo.
Aplicaciones
- Detección de fallos y defectos industriales donde los ejemplos de fallos etiquetados son raros y costosos de obtener.
- Cribado de anomalías en imágenes médicas con anotación radiológica iterativa.
- Detección de intrusiones en redes con etiquetado de tráfico sospechoso por analistas de seguridad.
- Detección de fraudes en transacciones financieras donde los patrones de fraude evolucionan y los casos de fraude etiquetados son escasos.
- Mantenimiento predictivo para datos de sensores de series temporales con un mínimo de eventos de fallo etiquetados por ingenieros.
Cómo funciona
Cómo funciona
Primero se entrena un autoencoder con los datos no etiquetados disponibles, idealmente con muestras predominantemente normales. El codificador comprime cada entrada en una representación latente y el decodificador la reconstruye. La red aprende la variedad de patrones normales minimizando el error de reconstrucción en el conjunto de entrenamiento.
Después del entrenamiento, cada instancia no etiquetada recibe una puntuación de anomalía igual a su error de reconstrucción (error cuadrático medio o error absoluto medio). Las instancias que el autoencoder no puede reconstruir bien se desvían de la variedad normal aprendida y obtienen las puntuaciones más altas.
Fórmula
s_i = \|x_i - \hat{x}_i\|^2Una función de adquisición de aprendizaje activo —como el mayor error de reconstrucción, el muestreo por margen o la incertidumbre de un clasificador descendente— selecciona las instancias no etiquetadas más informativas y las presenta a un oráculo humano para su etiquetado. Solo se gasta un pequeño presupuesto de consultas por iteración.
Las instancias recién etiquetadas se incorporan al conjunto de entrenamiento. El autoencoder (y cualquier cabeza supervisada entrenada con pares de anomalías/normales etiquetados) se reentrena o se ajusta. Las puntuaciones de anomalía se recalculan y el bucle de consulta-etiquetado-reentrenamiento se repite hasta que se agota el presupuesto de anotación.
Se selecciona un umbral de decisión sobre el error de reconstrucción —a menudo mediante validación en el subconjunto etiquetado— y todas las instancias no etiquetadas por encima de él se clasifican como anomalías. La retroalimentación etiquetada del aprendizaje activo hace que esta elección de umbral sea más fundamentada que depender de un cuantil arbitrario.
Errores comunes
- Entrenar el autoencoder en un conjunto de datos que ya contiene muchas anomalías distorsiona la línea base de reconstrucción y degrada la puntuación.
- Utilizar el error de reconstrucción solo como función de consulta sin considerar la diversidad conduce a consultas redundantes en regiones normales densas.
- Ignorar el desequilibrio de clases al ajustar los datos etiquetados; las etiquetas de anomalías raras necesitan ponderación o sobremuestreo.
- Establecer el umbral de anomalía en datos no etiquetados sin utilizar las etiquetas proporcionadas por el oráculo anula el propósito del aprendizaje activo.
- Detener el bucle de consulta demasiado pronto antes de que el límite de decisión se haya estabilizado, y tratar las puntuaciones de reconstrucción iniciales como finales.
Preguntas frecuentes
¿Cuántas consultas etiquetadas se necesitan típicamente?
Los resultados varían según el conjunto de datos y la rareza de las anomalías, pero los estudios muestran comúnmente mejoras significativas con tan solo 20-100 consultas etiquetadas. La clave es que la estrategia de aprendizaje activo concentra estas consultas en las muestras de borde de decisión más inciertas en lugar de aleatorias.
¿Qué estrategia de consulta debo usar?
El mayor error de reconstrucción es el punto de partida más simple y a menudo competitivo. Las opciones más sofisticadas incluyen el muestreo de incertidumbre de un clasificador binario descendente entrenado en el subconjunto etiquetado, o estrategias híbridas que equilibran la información con la diversidad para evitar consultar clústeres redundantes.
¿Necesito un autoencoder variacional (VAE) en lugar de un autoencoder simple?
Un autoencoder estándar funciona para la mayoría de las tareas tabulares y secuenciales. Los VAE proporcionan un espacio latente probabilístico que puede generar mejores estimaciones de incertidumbre para la selección de consultas, lo que los hace preferibles para datos de imágenes o cuando las puntuaciones de incertidumbre calibradas son importantes.
¿Cómo evalúo el rendimiento cuando la mayoría de los datos no están etiquetados?
Utilice el subconjunto etiquetado por el oráculo como un conjunto de validación reservado para calcular la precisión, la exhaustividad y el AUC-ROC. Para el conjunto no etiquetado, informe las distribuciones de error de reconstrucción antes y después de las iteraciones de aprendizaje activo para verificar que el modelo está mejorando.
¿Puedo usar esto en un entorno de streaming o en línea?
Sí, pero el bucle de consulta debe adaptarse a un régimen de ventana deslizante o mini-lotes. El autoencoder debe actualizarse incrementalmente y la gestión del presupuesto debe tener en cuenta la deriva del concepto: las anomalías vistas al principio pueden diferir de las que aparecen más tarde.
Métodos relacionados
Fuentes
Pimentel, M. A. F., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215–249.
Abrir referencia DOICopiado.Zhu, Y., Lukasiewicz, T. (2020). DPLAN: Discourse-level Plan-based Text Generation. Proceedings of the 28th International Conference on Computational Linguistics, 3464–3474. (See also: Guo et al. (2018). Deep Active Learning for Anomaly Detection. Neurocomputing, 290, 135–143.)
Abrir referencia de la publicaciónCopiado.