Factor de Valor Atípico Local (LOF)
- Propuesto por
- Breunig, M. M.; Kriegel, H.-P.; Ng, R. T.; Sander, J.
- Año
- 2000
- Tipo
- Density-based anomaly detection (unsupervised)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El Factor de Valor Atípico Local (LOF) es un algoritmo de detección de anomalías no supervisado y basado en densidad, introducido por Breunig, Kriegel, Ng y Sander en 2000.
Asigna a cada punto de datos una puntuación continua de valor atípico que cuantifica cuán aislado está ese punto en relación con su vecindario local, lo que permite la detección de anomalías que los métodos globales pasan por alto porque se mezclan en clústeres densos en otras partes del espacio.
La intuición detrás del método
Imagine un mapa de una ciudad donde la mayoría de la gente vive en distritos urbanos densos. Una casa aislada en el campo es obviamente solitaria. Pero LOF va más allá: también puede marcar una casa que se encuentra en un suburbio moderadamente denso cuando todos sus vecinos inmediatos están agrupados en un clúster aún más denso. En lugar de preguntar '¿está este punto lejos de todo?', LOF pregunta '¿es el vecindario de este punto mucho más escaso que los vecindarios de sus propios vecinos?' Un punto cuyos vecinos viven todos más juntos que el propio punto recibe una puntuación LOF alta, lo que indica que es un valor atípico local, incluso si globalmente no se encuentra en una región vacía.
Historia
LOF fue introducido por Markus Breunig, Hans-Peter Kriegel, Raymond Ng y Jörg Sander en la conferencia ACM SIGMOD 2000. Abordó una limitación reconocida de los métodos de valores atípicos existentes: que dependían de umbrales de distancia globales y, por lo tanto, confundían las anomalías locales con puntos normales en regiones menos densas. El artículo introdujo el concepto de densidad de alcanzabilidad local y la puntuación LOF, que rápidamente se convirtió en una referencia fundamental en la detección de anomalías. Desde entonces, ha sido ampliado por numerosas variantes, incluyendo LoOP (probabilidades de valores atípicos locales), LOCI y COF, y está incluido en las principales bibliotecas de aprendizaje automático. El artículo de ACM SIGMOD 2000 ha acumulado miles de citas y se considera uno de los trabajos fundacionales en minería de datos basada en densidad.
Cuándo usarlo
LOF es apropiado cuando se espera que las anomalías ocurran en clústeres de densidad variable y cuando un umbral de distancia global pasaría por alto valores atípicos ocultos en regiones escasas o marcaría incorrectamente puntos en clústeres legítimamente escasos pero consistentes. Funciona en cualquier espacio de características continuo con una métrica de distancia significativa y no requiere ejemplos de anomalías etiquetados (completamente no supervisado). Se adapta a aplicaciones como la detección de fraude, la detección de intrusiones en redes, el control de calidad de fabricación y el cribado de anomalías médicas. Las principales suposiciones son que los puntos normales forman vecindarios locales razonablemente cohesivos y que se pueden calcular distancias significativas entre pares. LOF funciona mejor cuando n es al menos de decenas a cientos; para datos de muy alta dimensionalidad (la maldición de la dimensionalidad), las distancias pierden poder discriminatorio y se recomienda primero la reducción de dimensionalidad o la selección de características.
Limitaciones y consideraciones
- La complejidad temporal cuadrática en la implementación ingenua lo hace lento en conjuntos de datos grandes sin indexación de vecinos más cercanos aproximados.
- Sensible a la elección de k: un k demasiado pequeño produce puntuaciones ruidosas; un k demasiado grande difumina la estructura local.
- El rendimiento se degrada en espacios de muy alta dimensionalidad debido a la maldición de la dimensionalidad.
- No escala de forma natural a datos de streaming u online sin recalcular.
- No proporciona un modelo que pueda aplicarse directamente para puntuar nuevos puntos sin acceso al conjunto de entrenamiento.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Detecta valores atípicos locales en conjuntos de datos con clústeres de densidad variable, donde los métodos globales fallan.
- Produce una puntuación continua e interpretable en lugar de una etiqueta binaria dura, lo que permite una elección flexible del umbral.
- Completamente no supervisado: no se requieren datos de anomalías etiquetados.
- Aplicable a cualquier espacio de características con una métrica de distancia computable, incluidas las distancias no euclidianas.
- Robusto a la escala de características individuales cuando las distancias se calculan sobre datos estandarizados.
Aplicaciones
- Detección de fraude en transacciones financieras donde la actividad fraudulenta crea patrones localmente escasos.
- Detección de intrusiones en redes al marcar registros de tráfico cuyo vecindario local es mucho más escaso que su entorno.
- Control de calidad de fabricación para identificar artículos defectuosos en datos de producción ricos en sensores.
- Cribado de anomalías médicas: detección de perfiles de pacientes inusuales en comparación con cohortes de pacientes similares.
- Detección de anomalías espaciales en datos geográficos y ambientales con densidad heterogénea.
Cómo funciona
Cómo funciona
Para cada punto p, el algoritmo primero calcula la k-distancia: la distancia al k-ésimo vecino más cercano de p. Esto define el alcance del vecindario local de p. Todos los puntos dentro de esa distancia forman el k-vecindario N_k(p). La elección de k controla la escala en la que se evalúa la localidad: un k pequeño captura la estructura local fina, un k mayor la suaviza.
Fórmula
k\text{-dist}(p) = \text{distance to the } k\text{-th nearest neighbor of } pLa distancia de alcanzabilidad de p a un vecino o se define como el máximo de la k-distancia de o y la distancia euclidiana real (u otra métrica) entre p y o. Este suavizado evita la inestabilidad cuando dos puntos están extremadamente cerca: reemplaza las distancias diminutas con la huella más amplia del propio vecindario de o, haciendo que las estimaciones de densidad sean más robustas.
Fórmula
\text{reach-dist}_k(p, o) = \max\{k\text{-dist}(o),\, d(p, o)\}La densidad de alcanzabilidad local de p (lrd) es la inversa de la distancia promedio de alcanzabilidad de p a todos sus k vecinos. Un punto rodeado de vecinos muy juntos tiene una distancia promedio de alcanzabilidad pequeña y, por lo tanto, una lrd alta. Un punto en una región escasa tiene una distancia promedio de alcanzabilidad grande y una lrd baja.
Fórmula
\text{lrd}_k(p) = \left(\frac{\sum_{o \in N_k(p)} \text{reach-dist}_k(p,o)}{|N_k(p)|}\right)^{-1}La puntuación LOF de p es la relación promedio de los valores lrd de sus vecinos con la lrd propia de p. Si todos los vecinos de p tienen una lrd sustancialmente mayor que la de p, lo que significa que viven en subregiones más densas, la relación excede 1, lo que indica que p es un valor atípico local. Una puntuación cercana a 1 indica que p tiene aproximadamente la misma densidad que su entorno. Las puntuaciones mucho mayores que 1 marcan puntos cada vez más anómalos. Esta comparación consciente de la localidad es lo que distingue a LOF de los métodos basados únicamente en la distancia.
Fórmula
\text{LOF}_k(p) = \frac{\sum_{o \in N_k(p)} \frac{\text{lrd}_k(o)}{\text{lrd}_k(p)}}{|N_k(p)|}Errores comunes
- Olvidar estandarizar o normalizar las características antes de calcular las distancias, lo que hace que las características de alta varianza dominen.
- Usar un único valor de k sin análisis de sensibilidad; la mejor práctica es evaluar varios valores de k.
- Tratar la puntuación LOF como una probabilidad: es una medida relativa sin una interpretación probabilística fija.
- Ignorar la maldición de la dimensionalidad en datos de alta dimensionalidad y esperar que LOF funcione sin reducción de dimensionalidad previa.
- Establecer un umbral LOF arbitrario (p. ej., puntuación > 1.5) sin inspeccionar la distribución de puntuaciones para el conjunto de datos específico.
Preguntas frecuentes
¿Cómo elijo el valor correcto de k?
No existe un k universalmente óptimo. La práctica común es evaluar un rango de valores, típicamente de 5 a 50, e inspeccionar cómo cambian la distribución de puntuaciones y los valores atípicos marcados. Un análisis de sensibilidad en los valores de k da confianza en que las anomalías detectadas son robustas a la elección. El conocimiento del dominio sobre el tamaño mínimo esperado del clúster también puede guiar el límite inferior.
¿Qué significa una puntuación LOF de 1 frente a 3?
Una puntuación cercana a 1 significa que el punto tiene aproximadamente la misma densidad local que sus vecinos y se considera un punto normal. Una puntuación significativamente mayor que 1, a menudo interpretada como superior a 1.5 o 2 dependiendo del conjunto de datos, indica que el vecindario del punto es mucho más escaso que los vecindarios de sus vecinos. No existe un umbral universal; el umbral debe elegirse inspeccionando la distribución de las puntuaciones LOF para el conjunto de datos específico.
¿Puede LOF puntuar puntos nuevos y no vistos sin reentrenamiento?
LOF es un método transductivo: requiere que el conjunto de entrenamiento esté presente para calcular los vecindarios y las densidades de cualquier punto nuevo. Para puntuar nuevas observaciones, se debe conservar el conjunto de entrenamiento y cada nuevo punto debe insertarse para recalcular su k-vecindario contra los puntos de entrenamiento almacenados. Algunas implementaciones ofrecen esta funcionalidad, pero difiere fundamentalmente de los modelos paramétricos que aprenden una función de puntuación compacta.
¿Cómo se compara LOF con Isolation Forest para la detección de anomalías?
LOF utiliza la estimación de densidad basada en vecindarios locales y es más potente cuando las anomalías se agrupan en regiones localmente escasas de un espacio heterogéneo. Isolation Forest utiliza particionamiento aleatorio y tiende a ser más rápido y escalable a conjuntos de datos grandes. Para conjuntos de datos de alta dimensionalidad o muy grandes, a menudo se prefiere Isolation Forest; para datos de dimensionalidad moderada con variación de densidad, LOF frecuentemente ofrece una discriminación más fina.
Métodos relacionados
Fuentes
Breunig, M. M., Kriegel, H.-P., Ng, R. T., & Sander, J. (2000). LOF: Identifying density-based local outliers. Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data, 93–104.
Abrir referencia DOICopiado.Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 4). Springer.
ISBN: 978-3-319-47577-6Copiado.Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 14). Springer.
ISBN: 978-0-387-84857-0Copiado.