Saltar al contenido
Volver a los resultados

Isolation Forest Semisupervisado

Propuesto por
Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
Año
2013–2020
Tipo
Ensemble anomaly detection (semi-supervised extension)
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Isolation Forest Semisupervisado extiende el detector de anomalías clásico Isolation Forest incorporando un pequeño conjunto de ejemplos etiquetados de anomalías (y posiblemente normales) junto con un gran conjunto de datos sin etiquetar.

Esta guía de etiquetas ajusta las puntuaciones de anomalías del modelo para que las anomalías conocidas se separen de manera más fiable, cerrando la brecha entre la detección totalmente no supervisada y la totalmente supervisada.

La intuición detrás del método

El Isolation Forest estándar puntúa las anomalías por la rapidez con la que un árbol aleatorio aísla un punto; las anomalías se aíslan en menos divisiones. Pero sin ninguna etiqueta, el modelo no tiene retroalimentación sobre lo que realmente cuenta como anómalo en su dominio. El Isolation Forest Semisupervisado introduce un pequeño número de ejemplos confirmados (anomalías conocidas, o normales conocidas, o ambas) y los utiliza para calibrar o reponderar el proceso de puntuación. El resultado es que el poder de separación inherente del bosque se dirige hacia los patrones de anomalías que realmente importan, reduciendo sustancialmente las falsas alarmas y las detecciones perdidas sin requerir un conjunto de entrenamiento completamente etiquetado.

Historia

Isolation Forest fue introducido por Liu, Ting y Zhou en 2008 como un detector de anomalías puramente no supervisado basado en particionamiento recursivo aleatorio. Reconociendo que incluso unas pocas etiquetas pueden mejorar drásticamente la detección, investigadores a partir de aproximadamente 2013 desarrollaron extensiones semisupervisadas que incorporan la guía de etiquetas en el proceso de puntuación o ponderación de árboles. Los fundamentos teóricos relacionados con la detección de anomalías supervisada fueron establecidos por Görnitz et al. (2013), y variantes prácticas de SSIF aparecieron en entornos aplicados que abordaban la detección de fraude y la intrusión en redes a finales de la década de 2010.

Cuándo usarlo

Utilice Isolation Forest Semisupervisado cuando tenga un gran conjunto de datos sin etiquetar, el costo del etiquetado completo sea prohibitivo, pero pueda obtener etiquetas para al menos un pequeño conjunto de anomalías confirmadas (y opcionalmente algunas normales confirmadas). Es especialmente valioso para la detección de eventos raros en ciberseguridad, fraude, mantenimiento predictivo y monitoreo médico, donde los expertos del dominio pueden etiquetar un puñado de incidentes conocidos. No lo use cuando no haya anomalías etiquetadas disponibles en absoluto (prefiera Isolation Forest estándar o One-Class SVM), cuando los datos sean de alta dimensionalidad y dispersos sin preprocesamiento, o cuando ya se disponga de un gran conjunto completamente etiquetado (un clasificador totalmente supervisado lo superará).

Limitaciones y consideraciones

  • El rendimiento se degrada si las anomalías etiquetadas no son representativas de la distribución de anomalías en los datos sin etiquetar.
  • El mecanismo óptimo de integración de etiquetas varía entre implementaciones; aún no existe una variante única universalmente dominante.
  • Al igual que el iForest estándar, puede tener dificultades con anomalías agrupadas cerca del centro de datos o con ciertas distribuciones multimodales.
  • Requiere cuidado para evitar la fuga de etiquetas al evaluar: el conjunto etiquetado no debe superponerse con el conjunto de prueba.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Logra mayor precisión y exhaustividad que iForest totalmente no supervisado al anclar las puntuaciones a anomalías etiquetadas reales.
  • Requiere solo un pequeño número de etiquetas, lo que lo hace práctico cuando la anotación es costosa.
  • Hereda el tiempo de entrenamiento sublineal y el bajo consumo de memoria de iForest, escalando a grandes conjuntos de datos.
  • Maneja datos tabulares de alta dimensionalidad sin suposiciones de distancia o densidad.
  • Reduce la selección arbitraria de umbrales: el subconjunto etiquetado proporciona una base de calibración fundamentada.

Aplicaciones

  • Detección de intrusiones en redes utilizando un puñado de muestras de ataque confirmadas junto con tráfico normal.
  • Detección de fraude financiero donde solo un pequeño conjunto de transacciones fraudulentas confirmadas está disponible para etiquetar.
  • Mantenimiento predictivo: uso de eventos de falla confirmados para calibrar las puntuaciones de anomalías en flujos de sensores.
  • Monitoreo médico: guiando la puntuación de anomalías con casos patológicos confirmados de registros de salud electrónicos.
  • Control de calidad en la fabricación donde solo un subconjunto de unidades defectuosas ha sido verificado independientemente.

Cómo funciona

Cómo funciona

1

Los datos disponibles se dividen en un pequeño subconjunto etiquetado —que contiene anomalías confirmadas, normales confirmadas o ambas— y un gran conjunto sin etiquetar. El subconjunto etiquetado es pequeño por diseño; la obtención de etiquetas completas suele ser costosa o poco práctica, que es precisamente el escenario al que se dirige este método.

2

Se construye un conjunto de árboles de aislamiento en submuestras aleatorias del conjunto de datos completo (etiquetado más sin etiquetar), siguiendo el procedimiento estándar de iForest: en cada nodo interno, se elige una característica aleatoria y un valor de división aleatorio dentro del rango de esa característica para particionar recursivamente los datos hasta que cada punto sea aislado.

3

Cada observación recibe una puntuación de anomalía derivada de su longitud de ruta promedio en todos los árboles. Las rutas promedio más cortas —lo que significa un aislamiento más fácil— producen puntuaciones de anomalía más altas. La puntuación normalizada s(x, n) se mapea a (0, 1], con valores cercanos a 1 que indican fuertes candidatos a anomalía.

Fórmula
s(x, n) = 2^{-E[h(x)] / c(n)}
4

Los ejemplos etiquetados se utilizan para ajustar el modelo: dependiendo de la variante, esto puede implicar reponderar árboles o divisiones que separan correctamente las anomalías conocidas de las normales, añadir un término de pérdida supervisada a la agregación de puntuaciones, o usar el conjunto etiquetado para aprender un límite de decisión sobre las puntuaciones no supervisadas. Este paso es la diferencia definitoria con el iForest estándar.

5

Se aplica un umbral a las puntuaciones de anomalía ajustadas para producir decisiones binarias de anomalía/normal. El subconjunto etiquetado permite la selección de umbrales basada en datos —por ejemplo, elegir el punto de corte que maximiza F1 en los ejemplos etiquetados— en lugar de depender de un percentil arbitrario.

Errores comunes

  • Usar solo etiquetas de anomalías e ignorar las etiquetas normales cuando ambas están disponibles; la incorporación de normales confirmadas puede afinar aún más el límite de decisión.
  • Evaluar en un conjunto de prueba que incluye los ejemplos de entrenamiento etiquetados, inflando las métricas de rendimiento.
  • Elegir el umbral de puntuación de anomalía mediante un percentil fijo en lugar de usar el conjunto etiquetado para la calibración.
  • Asumir que el método es robusto cuando las anomalías etiquetadas cubren solo un subtipo, mientras que el conjunto sin etiquetar contiene diversos patrones de anomalías.
  • Descuidar el preprocesamiento de características de alta dimensionalidad o de tipo mixto antes del ajuste, lo que puede sesgar la selección aleatoria de divisiones.

Preguntas frecuentes

¿Cuántas anomalías etiquetadas necesito?

Incluso un puñado —a veces tan solo 10-50 anomalías confirmadas— puede proporcionar una calibración significativa. El requisito clave es que sean representativas de los tipos de anomalías presentes en el conjunto sin etiquetar. Una cobertura de etiquetas más diversa en los subtipos de anomalías generalmente produce mayores ganancias.

¿En qué se diferencia esto del Isolation Forest estándar?

El Isolation Forest estándar es totalmente no supervisado y puntúa las anomalías únicamente por la longitud de la ruta sin ninguna retroalimentación del dominio. El Isolation Forest Semisupervisado incorpora un pequeño conjunto etiquetado para ajustar las puntuaciones o los pesos de los árboles, dirigiendo el modelo hacia patrones de anomalías que son realmente relevantes en su dominio y permitiendo una calibración de umbral fundamentada.

¿Puedo incluir ejemplos normales etiquetados además de anomalías?

Sí, y generalmente es beneficioso. Los normales etiquetados ayudan al modelo a distinguir los casos límite de manera más nítida. Algunas variantes tratan el conjunto etiquetado como una referencia equilibrada para calibrar la función de puntuación, por lo que incluir ambas clases cuando estén disponibles mejora el límite de decisión.

¿Debo usar validación cruzada para evaluar el modelo?

Sí, pero con cuidado. El subconjunto etiquetado debe excluirse o estratificarse adecuadamente en el conjunto de prueba para evitar la fuga de datos. Una división estratificada de entrenamiento/prueba en la porción etiquetada, combinada con el conjunto completo sin etiquetar para el entrenamiento, es la configuración de evaluación estándar.

¿Qué pasa si mis anomalías etiquetadas no son representativas?

El ajuste guiado por etiquetas puede ser contraproducente si las anomalías etiquetadas cubren solo una porción estrecha de la verdadera distribución de anomalías. En ese caso, el modelo puede pasar por alto nuevos tipos de anomalías que nunca se le mostraron. Es aconsejable complementar la detección semisupervisada con la puntuación de anomalías no supervisada y monitorear la deriva distribucional en producción.

Métodos relacionados

Fuentes

  1. Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.

    Abrir referencia de la publicación
    Copiado.
  2. Isolation Forest. Wikipedia.

    Abrir referencia de la publicación
    Copiado.