Saltar al contenido
Volver a los resultados

SVM de una clase

Propuesto por
Scholkopf, B., Platt, J. C., Smola, A. J., Williamson, R. C.
Año
1999–2001
Tipo
Anomaly / novelty detection (unsupervised)
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

SVM de una clase es un algoritmo de detección de anomalías y novedades no supervisado que aprende un límite ajustado alrededor de los datos de entrenamiento normales en un espacio de características inducido por un kernel, marcando las nuevas observaciones que caen fuera de ese límite como valores atípicos.

Introducido por Scholkopf et al. en 1999-2001, extiende el marco SVM al entorno de una sola clase donde no hay anomalías etiquetadas disponibles.

La intuición detrás del método

Imagine inflar un globo para encerrar todos sus puntos de entrenamiento en un espacio transformado definido por una función kernel. Una vez que el globo está ajustado, cualquier punto nuevo que caiga fuera de él se declara una anomalía. El parámetro nu controla qué tan ajustado está el globo: un nu pequeño permite que muy pocos puntos de entrenamiento queden dentro del margen (límite estricto), mientras que un nu grande permite que más puntos queden fuera (límite más laxo). El truco del kernel permite que el límite sea no lineal en el espacio de entrada original, por lo que SVM de una clase puede capturar formas complejas de normalidad que una regla simple de umbral o distancia pasaría por alto.

Historia

El SVM de una clase fue introducido por Scholkopf, Platt, Smola y Williamson en un informe técnico de 1999 y publicado en Neural Computation en 2001 como 'Estimating the support of a high-dimensional distribution'. Una formulación estrechamente relacionada, Support Vector Data Description (SVDD), fue desarrollada simultáneamente por Tax y Duin (2004). Ambos métodos extendieron el marco SVM supervisado al entorno de detección de anomalías no supervisado y se convirtieron en referencias fundamentales en la literatura de detección de novedades. La implementación OneClassSVM de Scikit-learn hizo que el método fuera ampliamente accesible en la investigación aplicada.

Cuándo usarlo

Utilice SVM de una clase cuando no haya ejemplos de anomalías etiquetados disponibles o sean muy escasos y desee un límite no lineal alrededor del comportamiento normal — típico en la detección de fraudes, detección de intrusiones, monitoreo de fallas industriales y cribado de novedades médicas con características numéricas continuas. Funciona mejor en conjuntos de datos de tamaño moderado (cientos a decenas de miles de muestras) y distribuciones de normalidad de alta dimensionalidad o forma compleja donde los detectores lineales o basados en distancia fallan. Evítelo cuando: el conjunto de entrenamiento sea muy grande (n > ~100 000), porque la resolución cuadrática escala mal; los datos sean altamente categóricos; o cuando se requieran reglas rápidas e interpretables. En esos casos, prefiera Isolation Forest, Local Outlier Factor o un modelo estadístico basado en umbrales.

Limitaciones y consideraciones

  • El solucionador de programación cuadrática escala como O(n^2) a O(n^3) en muestras de entrenamiento, lo que lo hace poco práctico para conjuntos de datos muy grandes.
  • Sensible a la elección del kernel y sus hiperparámetros (por ejemplo, gamma RBF); elecciones deficientes producen un límite demasiado ajustado o demasiado laxo.
  • Requiere datos de entrenamiento normales limpios — los conjuntos de entrenamiento contaminados desplazan el límite e inflan las tasas de falsos negativos.
  • No produce naturalmente estimaciones de probabilidad calibradas; la puntuación de decisión no es una probabilidad.
  • La interpretabilidad es limitada; explicar por qué se marca un punto específico es difícil sin herramientas post-hoc adicionales.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Funciona sin ejemplos de anomalías etiquetados — solo se requieren datos de entrenamiento normales.
  • El kernel no lineal (típicamente RBF) captura límites de normalidad complejos y curvos que los métodos basados en distancia pasan por alto.
  • El parámetro nu proporciona un control directo e interpretable sobre la fracción esperada de valores atípicos.
  • Escala elegantemente a espacios de características de alta dimensionalidad a través del truco del kernel.
  • La puntuación de decisión continua permite una calibración flexible del umbral posterior.
  • Probado en dominios de alto riesgo como la detección de intrusiones, el monitoreo de fallas y la imagen médica.

Aplicaciones

  • Detección de intrusiones en redes: marcar patrones de tráfico no vistos durante la operación normal.
  • Monitoreo de fallas industriales: detectar lecturas de sensores de máquinas que se desvían de los perfiles de estado saludable.
  • Detección de fraudes: identificar patrones de transacciones inusuales cuando los ejemplos fraudulentos son demasiado raros para entrenar un clasificador supervisado.
  • Detección de novedades médicas: marcar lecturas de imágenes o biomarcadores fuera de la distribución de sujetos sanos.
  • Procesamiento del lenguaje natural: detección de documentos o consultas fuera de dominio utilizando incrustaciones de texto como características de entrada.

Cómo funciona

Cómo funciona

1

Todas las observaciones de entrenamiento se mapean a un espacio de características de alta dimensionalidad (potencialmente de dimensionalidad infinita) a través de una función kernel como la función de base radial (RBF). Los productos internos en ese espacio se pueden evaluar sin calcular explícitamente el mapeo, lo que hace que el enfoque sea tratable incluso para límites complejos.

Fórmula
\phi: \mathcal{X} \to \mathcal{F}
2

Un programa cuadrático encuentra un hiperplano en el espacio de características que separa los datos de entrenamiento mapeados del origen con un margen máximo. El parámetro nu (entre 0 y 1) limita simultáneamente la fracción de puntos de entrenamiento tratados como valores atípicos y la fracción de vectores de soporte, lo que otorga al profesional un control directo sobre el equilibrio entre la rigidez del modelo y la tolerancia a la contaminación del entrenamiento.

Fórmula
\min_{w,\rho,\xi}\; \tfrac{1}{2}\|w\|^2 - \rho + \tfrac{1}{\nu n}\sum_i \xi_i
3

El hiperplano aprendido define una función de decisión con signo. Los puntos en el lado positivo se clasifican como normales; los puntos en el lado negativo (por debajo del umbral rho) se marcan como anomalías o novedades. La puntuación bruta también puede servir como una puntuación de anomalía continua para la clasificación.

Fórmula
f(x) = \text{sgn}\bigl(\langle w, \phi(x)\rangle - \rho\bigr)
4

La elección de nu es la decisión clave de modelado: establecerlo cerca de la fracción de contaminación esperada en el conjunto de entrenamiento es una regla práctica. La validación cruzada en un conjunto de validación normal retenido o el conocimiento del dominio sobre la tasa esperada de valores atípicos deberían guiar la elección en lugar de la búsqueda en cuadrícula solo en datos sin etiquetar.

5

En la implementación, se aplica un umbral de puntuación de anomalía a la salida de la función de decisión. El umbral se puede ajustar a posteriori para equilibrar precisión y exhaustividad para las anomalías, lo que hace que el método sea adecuado para aplicaciones donde el costo de los falsos positivos difiere sustancialmente del costo de los falsos negativos.

Errores comunes

  • Entrenamiento en datos que contienen una fracción significativa de anomalías no detectadas, lo que corrompe el límite aprendido.
  • Establecer nu sin referencia a la tasa de contaminación esperada, lo que lleva a un exceso de falsos positivos o a anomalías no detectadas.
  • Uso del gamma RBF predeterminado sin ajuste, lo que puede hacer que el límite sea demasiado ajustado (todos los puntos nuevos son anomalías) o demasiado laxo (no se detectan anomalías).
  • Aplicación de SVM de una clase a conjuntos de datos muy grandes sin considerar alternativas de escalabilidad como aproximaciones basadas en SGD (SGDOneClassSVM de sklearn).
  • Informar solo una marca binaria de anomalía sin examinar la distribución de la puntuación continua para calibrar el umbral.

Preguntas frecuentes

¿Cuál es la diferencia entre SVM de una clase y Isolation Forest para la detección de anomalías?

SVM de una clase aprende un límite basado en kernel alrededor de los datos normales y funciona bien en distribuciones de alta dimensionalidad y forma compleja, pero escala mal con el tamaño del conjunto de datos. Isolation Forest utiliza partición aleatoria y es mucho más rápido en conjuntos de datos grandes, pero generalmente es menos sensible a patrones de anomalías sutiles y no lineales.

¿Cómo debo elegir el parámetro nu?

Establezca nu en la fracción de observaciones de entrenamiento que espera que estén contaminadas o sean atípicas. Si cree que menos del 5% de sus muestras de entrenamiento son valores atípicos, comience con nu=0.05. Utilice un conjunto retenido de ejemplos normales conocidos para evaluar la rigidez del límite en lugar de depender únicamente de la búsqueda en cuadrícula.

¿Qué kernel debo usar?

El kernel RBF (Gaussiano) es el punto de partida estándar y maneja bien la mayoría de los conjuntos de datos numéricos continuos. El hiperparámetro gamma del kernel RBF controla el radio de influencia; valide cruzadamente en una cuadrícula espaciada logarítmicamente. Los kernels lineales son más rápidos pero restringen el límite a un hiperplano.

¿Puede SVM de una clase manejar características categóricas?

No directamente. Las variables categóricas deben codificarse numéricamente (por ejemplo, codificación binaria u ordinal) antes de su uso, lo que puede introducir distorsiones en la métrica de distancia. Para conjuntos de datos dominados por características categóricas, considere detectores basados en árboles como Isolation Forest en su lugar.

Mi conjunto de entrenamiento puede contener algunas anomalías. ¿Eso rompe el modelo?

Los datos de entrenamiento contaminados desplazan el límite hacia afuera y pueden hacer que el modelo aprenda patrones anómalos como normales. SVM de una clase es más sensible a esto que Isolation Forest. Si se sospecha contaminación, considere usar SVDD con un nu más alto o limpiar el conjunto de entrenamiento con un pase preliminar de un detector rápido.

Métodos relacionados

Fuentes

  1. Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.

    Abrir referencia DOI
    Copiado.
  2. Tax, D. M. J., & Duin, R. P. W. (2004). Support vector data description. Machine Learning, 54(1), 45–66.

    Abrir referencia DOI
    Copiado.