SVM Uniclasse Semisupervisado
- Propuesto por
- Extension of Scholkopf et al. (2001); semi-supervised variants studied ca. 2004–2010
- Año
- 2001–2004
- Tipo
- Semi-supervised anomaly / novelty detection
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
El SVM Uniclasse Semisupervisado extiende el detector de anomalías clásico SVM Uniclasse al incorporar observaciones no etiquetadas junto con un pequeño conjunto de ejemplos normales conocidos.
Los datos no etiquetados ayudan al modelo a aprender un límite de decisión más ajustado e informativo en el espacio de características, reduciendo los falsos positivos y mejorando la recuperación de anomalías en comparación con la línea base puramente no supervisada.
La intuición detrás del método
Un SVM Uniclasse estándar traza un límite alrededor de los datos normales etiquetados en un espacio de características transformado por kernel y marca todo lo que está fuera como anómalo. El problema es que con pocos ejemplos etiquetados, el límite es laxo y ruidoso. El SVM Uniclasse Semisupervisado explota un conjunto de ejemplos no etiquetados —la mayoría de los cuales son probablemente normales— para acercar ese límite hacia regiones más densas. Piense en ello como enseñar al modelo dónde reside realmente lo 'normal' mostrándole más ejemplos, incluso cuando esos ejemplos carecen de etiquetas de clase confirmadas. El resultado es un límite de anomalía más ajustado y fiable con un bajo coste de etiquetado.
Historia
El SVM Uniclasse fue introducido por Scholkopf et al. en 2001 como un método para estimar el soporte de una distribución de alta dimensión, convirtiéndose rápidamente en un estándar para la detección de novedades y anomalías. Investigadores a mediados de la década de 2000 reconocieron que incluso una pequeña semilla normal etiquetada podía ajustar sustancialmente el límite de decisión, y se propusieron varias extensiones semisupervisadas, basándose en trabajos contemporáneos en SVM transductivos y propagación de etiquetas. El enfoque sigue siendo estudiado activamente en dominios donde el etiquetado de anomalías es prohibitivamente caro.
Cuándo usarlo
Elija SVM Uniclasse Semisupervisado cuando las anomalías son raras, etiquetar todos los datos es demasiado costoso, pero hay disponible una pequeña semilla normal confirmada —por ejemplo, detección de intrusiones en redes, control de calidad de imágenes médicas o cribado de defectos de fabricación. Supera al OC-SVM no supervisado cuando la semilla etiquetada está limpia y el grupo no etiquetado es grande y representativo del comportamiento normal. No lo use cuando la semilla etiquetada sea ruidosa o sesgada, cuando la tasa de anomalías en el grupo no etiquetado sea alta (aproximadamente superior al 10–20%), cuando tenga muchos ejemplos de anomalías confirmadas (los métodos SVM supervisados o de conjunto son mejores), o cuando los revisores requieran interpretabilidad y coeficientes explícitos.
Limitaciones y consideraciones
- El rendimiento se degrada drásticamente si la semilla etiquetada es pequeña, ruidosa o no representativa del comportamiento normal real.
- Las altas tasas de contaminación en el grupo no etiquetado causan deriva de pseudo-etiquetas y corrupción del límite.
- La programación cuadrática escala mal: los solucionadores SVM estándar tienen dificultades por encima de decenas de miles de observaciones.
- Requiere una cuidadosa sintonización de los hiperparámetros del kernel y nu; los valores predeterminados rara vez producen límites óptimos.
- El pseudo-etiquetado iterativo añade complejidad de implementación y requiere criterios de parada basados en principios.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aprovecha abundantes datos no etiquetados para mejorar la calidad del límite sin una anotación completa y costosa.
- Hereda la flexibilidad del kernel del SVM Uniclasse estándar, capturando variedades de datos normales no lineales.
- Mejores puntuaciones de anomalía calibradas que el OC-SVM puramente no supervisado cuando existe una semilla etiquetada limpia.
- Funciona bien en espacios de características de alta dimensión donde los datos normales forman clústeres compactos.
- La magnitud de la puntuación de anomalía proporciona un ranking de confianza natural para triaje y priorización.
Aplicaciones
- Detección de intrusiones en redes y ciberataques utilizando tráfico normal etiquetado más registros operativos no etiquetados.
- Control de calidad de imágenes médicas donde se dispone de escaneos buenos confirmados pero las anomalías son raras.
- Detección de fallos industriales con lecturas de sensores de condiciones operativas normales como semilla etiquetada.
- Detección de fraude en transacciones financieras cuando solo se confirman ejemplos no fraudulentos.
- Filtrado de anomalías de texto o documentos utilizando conjuntos de documentos limpios conocidos para anclar el límite.
Cómo funciona
Cómo funciona
Particionar los datos de entrenamiento en un pequeño conjunto etiquetado de instancias normales confirmadas y un grupo mucho más grande de datos no etiquetados. El grupo no etiquetado típicamente consiste en datos operativos reales del dominio objetivo que no han sido verificados manualmente. La calidad de la semilla etiquetada influye fuertemente en el rendimiento final.
Mapear todas las observaciones a un espacio de Hilbert de kernel reproductivo de alta dimensión utilizando una función de kernel —más comúnmente el kernel RBF. En ese espacio, los clústeres de datos normales se vuelven compactos y separables del origen, que es el truco geométrico que sustenta el SVM Uniclasse.
Fórmula
\phi: \mathcal{X} \rightarrow \mathcal{F}Ajustar un SVM Uniclasse inicial utilizando únicamente los ejemplos normales etiquetados. Esto proporciona un hiperplano preliminar definido por el vector de peso w, el umbral rho y las variables de holgura xi, controlado por el parámetro nu que limita la fracción de errores de entrenamiento.
Fórmula
\min_{w,\xi,\rho} \frac{1}{2}\|w\|^2 + \frac{1}{\nu n}\sum_i \xi_i - \rhoAplicar el modelo inicial al grupo no etiquetado y asignar pseudo-etiquetas suaves o duras: las instancias clasificadas como normales se añaden provisionalmente al conjunto normal; aquellas calificadas como anomalías pueden ser descartadas o ponderadas a la baja. La fiabilidad de las pseudo-etiquetas puede mejorarse con umbrales de confianza o propagación de etiquetas sobre un grafo de similitud.
Reentrenar el SVM Uniclasse en el conjunto etiquetado ampliado (etiquetas originales más pseudo-etiquetas aceptadas). Repetir el bucle de pseudo-etiquetado y reentrenamiento durante un número fijo de iteraciones o hasta que el límite se estabilice. La parada temprana evita la deriva causada por errores de pseudo-etiquetas en cascada.
En la inferencia, mapear cada nueva observación a través del mismo kernel y evaluar la función de decisión f(x). Las instancias con f(x) < 0 se marcan como anomalías; la magnitud de la puntuación refleja la distancia al límite normal y puede servir como un ranking de confianza de anomalías.
Fórmula
f(x) = \text{sign}(w^\top \phi(x) - \rho)Errores comunes
- Usar una semilla etiquetada extraída de una distribución diferente a la del grupo no etiquetado, causando errores sistemáticos de pseudo-etiquetas.
- Establecer el parámetro de contaminación nu sin estimar la tasa de anomalías real, lo que lleva a una sobredetección o subdetección.
- Confiar incondicionalmente en las pseudo-etiquetas en lugar de aplicar umbrales de confianza o ponderación suave.
- Omitir la evaluación en un conjunto de anomalías anotado reservado y depender únicamente de métricas de clúster no supervisadas.
- Confundir este método con el SVM transductivo (S3VM), que resuelve un problema diferente de clasificación semisupervisada en lugar de detección uniclasse.
Preguntas frecuentes
¿Qué tan grande necesita ser la semilla etiquetada?
En la práctica, incluso unas pocas docenas de ejemplos normales confirmados pueden inicializar un límite útil, pero el conjunto etiquetado debe cubrir los principales modos de comportamiento normal. Si la semilla es menor que unas 20–30 observaciones, el límite inicial será poco fiable y los errores de pseudo-etiquetas se acumularán.
¿Qué pasa si el grupo no etiquetado está muy contaminado con anomalías?
Una alta contaminación (aproximadamente más del 10–20% de anomalías) hace que el refinamiento iterativo absorba gradualmente las anomalías en la clase normal, corrompiendo el límite. En tales casos, use un umbral de aceptación de pseudo-etiquetas más bajo, aplique votación de conjunto en múltiples ejecuciones o recurra al SVM Uniclasse puramente supervisado solo en la semilla etiquetada.
¿Cómo elijo el kernel y el parámetro nu?
El kernel RBF es el predeterminado estándar; sintonice su ancho de banda (gamma) junto con nu utilizando validación cruzada en el conjunto etiquetado. Nu controla el límite superior de la fracción de errores de entrenamiento y la fracción de vectores de soporte —ajústelo aproximadamente a la tasa de anomalías esperada si se conoce.
¿Es esto diferente de un SVM transductivo (S3VM)?
Sí. El SVM Transductivo (S3VM) realiza clasificación binaria semisupervisada donde ambas clases están parcialmente etiquetadas. El SVM Uniclasse Semisupervisado aborda la detección de anomalías: utiliza solo etiquetas de clase normal y trata las observaciones no etiquetadas como normales potenciales, no como una segunda clase a clasificar.
¿Puedo usar este método a escala?
Los solucionadores SVM estándar tienen una complejidad de O(n^2) a O(n^3). Para conjuntos de datos superiores a aproximadamente 50.000 observaciones, utilice solucionadores aproximados (por ejemplo, actualizaciones en línea basadas en SGD, aproximaciones de kernel mediante características de Nystrom o Fourier aleatorias) o cambie a alternativas escalables como Isolation Forest o detectores de anomalías basados en autoencoders profundos.
Métodos relacionados
Fuentes
Munoz, A. & Muruzabal, J. (2004). Self-Organising Maps for Outlier Detection. Neurocomputing, 58–60, 953–956.
Abrir referencia de la publicaciónCopiado.Scholkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (2001). Estimating the support of a high-dimensional distribution. Neural Computation, 13(7), 1443–1471.
Abrir referencia DOICopiado.