Isolation Forest
- Propuesto por
- Liu, F.T., Ting, K.M. & Zhou, Z.-H.
- Año
- 2008
- Tipo
- Unsupervised ensemble (random partitioning trees)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Isolation Forest es un método de aprendizaje automático no supervisado para la detección de anomalías y valores atípicos, introducido por Liu, Ting y Zhou en 2008, que aísla las anomalías mediante particiones aleatorias de los datos.
Funciona sin datos de anomalías etiquetados y escala a conjuntos de datos de alta dimensionalidad.
La intuición detrás del método
La idea central es simple: las anomalías son pocas y diferentes, por lo que son fáciles de separar del resto de los datos. Si sigues dividiendo los datos al azar, un punto normal se encuentra en una región densa y requiere muchos cortes para aislarlo, mientras que un valor atípico se aparta y se corta después de solo unas pocas divisiones. Contar cuántos cortes se necesitan para aislar cada punto convierte esta intuición en una puntuación de anomalía.
Historia
Isolation Forest fue propuesto por Fei Tony Liu, Kai Ming Ting y Zhi-Hua Zhou en 2008 en la IEEE International Conference on Data Mining. Introdujo una filosofía diferente para la detección de valores atípicos: en lugar de perfilar datos normales y medir la desviación, aísla las anomalías directamente a través de particiones aleatorias, explotando que las anomalías son pocas y diferentes. El enfoque se convirtió en una herramienta escalable y ampliamente utilizada para la detección de anomalías no supervisada en datos de alta dimensionalidad.
Cuándo usarlo
Utilice Isolation Forest para detectar anomalías o valores atípicos en datos continuos, posiblemente de alta dimensionalidad, transversales o series temporales con al menos unas 50 observaciones, especialmente cuando no tiene anomalías etiquetadas para aprender. No necesita datos de anomalías etiquetados y escala bien a medida que crece el número de características; usted proporciona un parámetro de contaminación que expresa la tasa de anomalía esperada. Con menos de unas 50 observaciones, el límite entre puntos normales y anómalos se vuelve poco fiable y los métodos de valores atípicos estadísticos o PCA son más seguros.
Limitaciones y consideraciones
- En muestras pequeñas (n por debajo de unas 50) el límite entre puntos normales y anómalos no está claro y la tasa de falsos positivos es alta.
- Sin suficientes anomalías genuinas, el parámetro de contaminación pierde sentido y los métodos de valores atípicos estadísticos son preferibles.
- Devuelve puntuaciones de anomalía en lugar de coeficientes interpretables o reglas explícitas.
- Los resultados dependen del valor de contaminación elegido, que debe establecerse a partir del conocimiento del dominio.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- No supervisado: no requiere datos de anomalías etiquetados para marcar valores atípicos.
- Escala bien a datos de alta dimensionalidad.
- Aísla las anomalías directamente en lugar de modelar toda la distribución normal, lo que lo mantiene eficiente.
- Un único parámetro de contaminación expresa la tasa de anomalía esperada y establece el umbral de marcado.
Aplicaciones
- Detección no supervisada de valores atípicos y anomalías en datos continuos.
- Exploración de conjuntos de datos de alta dimensionalidad donde no existen anomalías etiquetadas.
- Marcado de observaciones inusuales en datos transversales o series temporales antes del modelado.
- Comprobaciones de calidad de datos y detección exploratoria de registros irregulares.
Cómo funciona
Cómo funciona
Isolation Forest invierte la lógica habitual de detección de valores atípicos. En lugar de construir un perfil de puntos normales y marcar lo que se desvía de él, explota directamente el hecho de que las anomalías son pocas y diferentes, y por lo tanto, más rápidas de aislar. Dado que no necesita anomalías etiquetadas, es completamente no supervisado y escala bien a datos de alta dimensionalidad.
El método construye muchos árboles de partición aleatoria. En cada árbol, los datos se dividen recursivamente eligiendo una característica al azar y un valor de división aleatorio, dividiendo el espacio en regiones cada vez más pequeñas hasta que cada punto queda solo. Aislar un punto normal —enterrado en una región concurrida— requiere muchas de estas particiones, mientras que una anomalía por sí sola se separa después de unas pocas.
La longitud de la ruta de cada punto —el número de divisiones necesarias para aislarlo— se promedia en el bosque y se convierte en una puntuación de anomalía: las rutas cortas significan anomalías probables, las rutas largas significan puntos normales probables. Un parámetro de contaminación, la proporción esperada de anomalías, establece el umbral que decide qué puntos se marcan finalmente como valores atípicos.
Fórmula
s(x) = 2^{-\frac{E(h(x))}{c(n)}}Errores comunes
- Ejecutarlo en menos de unas 50 observaciones y confiar en las anomalías marcadas.
- Establecer el parámetro de contaminación sin suficientes anomalías reales en los datos para respaldarlo.
- Tratar las puntuaciones de anomalía como probabilidades exactas en lugar de una clasificación relativa.
- Ignorar el escalado de características y la influencia de características irrelevantes en las divisiones aleatorias.
Preguntas frecuentes
¿Necesito anomalías etiquetadas para usar Isolation Forest?
No. Es un método no supervisado que aísla las anomalías mediante particiones aleatorias, por lo que no necesita datos de anomalías etiquetados para operar.
¿Qué hace el parámetro de contaminación?
Expresa la proporción esperada de anomalías en los datos y establece el umbral que decide qué puntos se marcan finalmente como valores atípicos. Sin suficientes anomalías genuinas en los datos, este parámetro pierde sentido.
¿Por qué tiene dificultades con muestras pequeñas?
Con menos de unas 50 observaciones, el límite entre puntos normales y anómalos no está claro y la tasa de falsos positivos es alta. En ese caso, los métodos de valores atípicos estadísticos o PCA son alternativas más seguras.
¿Cómo se puntúan las anomalías?
La longitud promedio de la ruta de cada punto en los árboles aleatorios —cuántas divisiones se necesitaron para aislarlo— se convierte en una puntuación de anomalía. Las rutas cortas indican anomalías probables; las rutas largas indican puntos normales probables.
Métodos relacionados
Fuentes
Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.
Abrir referencia DOICopiado.