Saltar al contenido
Volver a los resultados

Bosque de Aislamiento con Aprendizaje Activo

Propuesto por
Das, S. et al. (active anomaly discovery framework); Liu, F. T. et al. (Isolation Forest base)
Año
2008–2019
Tipo
Active learning wrapper over isolation forest anomaly detector
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El Bosque de Aislamiento con Aprendizaje Activo combina el poder de puntuación de anomalías no supervisado del Bosque de Aislamiento con una estrategia de consulta iterativa que solicita a un experto humano que etiquete las instancias más informativas.

El resultado es un detector que refina sus límites de anomalías utilizando un presupuesto de etiquetado mínimo, mejorando drásticamente la precisión en anomalías raras y sutiles en comparación con una línea de base puramente no supervisada.

La intuición detrás del método

El Bosque de Aislamiento puntúa las anomalías por la rapidez con la que se aíslan en árboles aleatorios, pero no puede distinguir las anomalías verdaderamente peligrosas de los valores atípicos inofensivos sin conocimiento del dominio. El aprendizaje activo añade un humano en el bucle: después de que el bosque puntúa todas las instancias, selecciona las más ambiguas o las de mayor puntuación y le pide a un experto que confirme o rechace cada etiqueta de anomalía. Con cada etiqueta confirmada, el modelo puede reponderar o reclasificar las puntuaciones futuras. A lo largo de varias rondas de retroalimentación, incluso un número minúsculo de ejemplos etiquetados aleja al detector de las falsas alarmas y lo dirige hacia anomalías reales de interés.

Historia

El Bosque de Aislamiento fue introducido por Liu, Ting y Zhou en ICDM 2008 como un detector de anomalías rápido, escalable y con pocas suposiciones que aísla las anomalías en lugar de modelar el comportamiento normal. El aprendizaje activo se aplicó sistemáticamente a la detección de anomalías a partir de mediados de la década de 2010. Das y sus colegas (ICDM 2019) formalizaron un marco de descubrimiento de anomalías activo que combinaba explícitamente puntuadores basados en conjuntos —incluido el Bosque de Aislamiento— con retroalimentación experta iterativa, demostrando que un puñado de etiquetas podía rivalizar con detectores totalmente supervisados entrenados con cientos de ejemplos. El enfoque se ha aplicado desde entonces en la detección de fraudes, intrusiones y análisis de sensores.

Cuándo usarlo

Utilice el Bosque de Aislamiento con Aprendizaje Activo cuando se enfrente a una tarea de detección de anomalías en datos tabulares no etiquetados o mayormente no etiquetados y pueda permitirse un pequeño número de etiquetas de expertos —típicamente de 10 a 100 consultas en varias rondas—. Es especialmente adecuado para la ciberseguridad, la detección de fraudes, el mantenimiento predictivo y la identificación de valores atípicos clínicos, donde los falsos positivos son costosos y un experto en el dominio puede juzgar de manera fiable una instancia presentada. No lo utilice cuando no se disponga de un oráculo fiable, cuando el concepto de anomalía sea inestable a lo largo del tiempo, o cuando el costo de etiquetado por instancia sea tan alto que incluso 10 consultas sean inviables. Se debe preferir un clasificador puramente supervisado una vez que exista un conjunto de datos etiquetados de varios cientos de anomalías.

Limitaciones y consideraciones

  • Requiere un oráculo fiable y disponible; si las etiquetas de los expertos son ruidosas o inconsistentes, la retroalimentación puede degradar el modelo.
  • Las estrategias de consulta asumen que puntuar el conjunto completo en cada ronda es factible, lo que puede ser costoso para conjuntos de datos muy grandes.
  • El enfoque es más difícil de reproducir y auditar que un Bosque de Aislamiento simple porque el modelo final depende de las consultas específicas elegidas y las etiquetas proporcionadas.
  • La deriva conceptual —cuando la naturaleza de las anomalías cambia con el tiempo— no se maneja automáticamente y puede requerir la reinicialización del bucle activo.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprovecha la escalabilidad y la interpretabilidad del Bosque de Aislamiento al tiempo que inyecta conocimiento experto con un esfuerzo de etiquetado mínimo.
  • Mejora sustancialmente la precisión sobre una línea de base completamente no supervisada, reduciendo los costosos falsos positivos en dominios de alto riesgo.
  • Las estrategias de consulta agnósticas al modelo (incertidumbre, top-k, diversidad) se pueden adaptar a cualquier puntuador de anomalías, no solo al Bosque de Aislamiento.
  • Funciona bien en entornos con clases desequilibradas donde las anomalías son extremadamente raras y el aprendizaje supervisado requeriría grandes conjuntos de datos etiquetados.
  • Cada ronda de consulta proporciona una mejora inmediata y medible en la clasificación de anomalías, haciendo que el progreso sea transparente para las partes interesadas.

Aplicaciones

  • Intrusión en redes y triaje de alertas de ciberseguridad, donde los analistas etiquetan un pequeño conjunto de conexiones sospechosas por turno.
  • Detección de fraude con tarjetas de crédito con revisión periódica por parte de analistas de las transacciones marcadas.
  • Mantenimiento predictivo en la fabricación, identificando fallas raras de máquinas a partir de flujos de sensores con registros de fallas limitados.
  • Detección de valores atípicos clínicos en registros de salud electrónicos donde los médicos confirman perfiles de pacientes inusuales.
  • Control de calidad de datos científicos, señalando errores de instrumentos en conjuntos de datos experimentales revisados por científicos del dominio.

Cómo funciona

Cómo funciona

1

Un Bosque de Aislamiento se entrena primero con todos los datos no etiquetados disponibles. Cada instancia recibe una puntuación de anomalía basada en la rapidez con la que el particionamiento recursivo aleatorio la aísla: las instancias en regiones dispersas y fácilmente aisladas reciben puntuaciones altas. Este paso no supervisado siembra el bucle de aprendizaje activo con una clasificación inicial significativa.

2

Todas las instancias del conjunto no etiquetado se clasifican por sus puntuaciones de anomalía. Una estrategia de consulta —como seleccionar las k instancias con la puntuación más alta, o aquellas cuyas puntuaciones caen en una región límite incierta— identifica las instancias de las que una etiqueta de oráculo sería más informativa.

3

Las instancias seleccionadas se presentan a un experto en el dominio (o a un oráculo simulado en experimentos) que las etiqueta como anomalía o normal. Solo se necesita un pequeño número de consultas por ronda, lo que hace que el enfoque sea práctico cuando el etiquetado es costoso o requiere el juicio de un experto.

4

Las nuevas instancias etiquetadas se incorporan al modelo. Esto puede significar reponderar los miembros del conjunto cuyas rutas concuerdan con anomalías confirmadas, ajustar los umbrales de longitud de ruta o reentrenar con el conjunto etiquetado añadido como restricciones de supervisión. Las clasificaciones de puntuación se recalculan para el conjunto restante.

5

El ciclo de consulta-etiquetado-actualización se repite durante un número fijo de rondas o hasta que se agota el presupuesto de etiquetado. El detector final refleja tanto la estructura amplia capturada por el bosque no supervisado original como el conocimiento experto codificado a través de la retroalimentación etiquetada, lo que produce un clasificador de anomalías de alta precisión adaptado al dominio.

Errores comunes

  • Consultar exclusivamente las instancias con las puntuaciones de anomalía más altas puede crear un sesgo de confirmación, lo que hace que el modelo pase por alto nuevos tipos de anomalías que inicialmente parecen normales.
  • Informar el rendimiento solo en las instancias consultadas en lugar de en un conjunto de prueba retenido, lo que infla las estimaciones de precisión.
  • Tratar las etiquetas del oráculo como verdad fundamental sin tener en cuenta el desacuerdo entre evaluadores, especialmente en contextos médicos o de seguridad.
  • Olvidar reevaluar el bosque no supervisado completo después de la retroalimentación; las puntuaciones obsoletas pueden hacer que las rondas de consulta posteriores sean ineficientes.

Preguntas frecuentes

¿Cuántas instancias etiquetadas se necesitan típicamente para una mejora significativa?

La investigación sugiere que de 10 a 50 etiquetas de expertos, distribuidas en 3 a 5 rondas de retroalimentación, suelen ser suficientes para superar sustancialmente a un Bosque de Aislamiento puramente no supervisado en precisión, siempre que las etiquetas del oráculo sean fiables.

¿Es necesario volver a entrenar el Bosque de Aislamiento base desde cero después de cada ronda?

No necesariamente. Muchas implementaciones reponderan o reclasifican las rutas de árboles existentes sin un reentrenamiento completo, lo que es computacionalmente eficiente. El reentrenamiento completo con restricciones de etiquetas es una opción cuando el conjunto etiquetado crece lo suficiente como para justificarlo.

¿Qué estrategia de consulta funciona mejor para la detección de anomalías?

La puntuación top-k (seleccionar las instancias no etiquetadas con la puntuación más alta) es simple y efectiva cuando las anomalías son raras. Las estrategias basadas en la incertidumbre o el margen ayudan cuando el límite de la anomalía es ambiguo. Las estrategias conscientes de la diversidad reducen la redundancia entre las consultas.

¿Puede este enfoque manejar datos en streaming o en línea?

El Bosque de Aislamiento estándar es un método por lotes, por lo que las extensiones de aprendizaje activo también tienden a estar orientadas a lotes. Para entornos de streaming, se necesitan variantes en línea o de ventana deslizante del Bosque de Aislamiento antes de que se pueda aplicar la retroalimentación activa.

¿Cómo evalúo el modelo de manera justa dado que solo se etiquetan unas pocas instancias?

Retenga un conjunto de prueba etiquetado separado que nunca se utilice para consultas. Evalúe la precisión, la exhaustividad y el AUCROC en este conjunto en cada ronda para rastrear una mejora genuina en lugar de un sobreajuste a las etiquetas consultadas.

Métodos relacionados

Fuentes

  1. Das, S., Wong, W. K., Fern, A., Dietterich, T. G., & Amran Siddiqui, M. (2019). Incorporating Expert Feedback into Active Anomaly Discovery. In Proceedings of the 2019 IEEE International Conference on Data Mining (ICDM), pp. 1009–1014.

    Abrir referencia de la publicación
    Copiado.
  2. Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008). Isolation Forest. In Proceedings of the 8th IEEE International Conference on Data Mining (ICDM), pp. 413–422.

    Abrir referencia DOI
    Copiado.