Active Learning One-class SVM
- Propuesto por
- Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
- Año
- 2000s
- Tipo
- Semi-supervised anomaly/novelty detection with iterative labeling
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Active Learning One-class SVM combina la máquina de vectores de soporte de una clase (one-class support vector machine, OCSVM) —un detector de novedades basado en kernels que aprende el límite de los datos normales— con un bucle de aprendizaje activo que selecciona las instancias no etiquetadas más informativas para anotación por parte de expertos.
El resultado es un detector de anomalías eficiente en cuanto a datos que mejora su límite de decisión con un esfuerzo mínimo de etiquetado.
La intuición detrás del método
Una OCSVM estándar traza un límite ajustado alrededor de la región normal conocida de un espacio de características. La dificultad radica en que la calidad del límite depende en gran medida de los ejemplos que se etiquetan. El aprendizaje activo soluciona esto pidiendo a un oráculo que etiquete solo los ejemplos que caen cerca, o justo fuera, del límite de decisión actual —los puntos sobre los que el modelo tiene más incertidumbre. Al consultar estratégicamente en lugar de aleatoriamente, el modelo obtiene un conjunto de entrenamiento más informativo con muchos menos ejemplos etiquetados, ahorrando costes de anotación y afilando la frontera entre lo normal y lo anómalo.
Historia
La máquina de vectores de soporte de una clase (One-class SVM) fue introducida por Schölkopf y colegas en 1999-2001 como un método de kernel principista para estimar el soporte de una distribución, y rápidamente se convirtió en un algoritmo de referencia para la detección de novedades y anomalías. El paradigma del aprendizaje activo —consultar sistemáticamente a un oráculo para obtener etiquetas informativas— fue formalizado en la revisión de Settles (2009). Investigadores en las décadas de 2000 y 2010 fusionaron las dos ideas, aplicando estrategias de consulta basadas en la incertidumbre y en el margen a la OCSVM en dominios como la detección de intrusiones, el diagnóstico de fallos y el cribado médico, donde las anomalías etiquetadas son inherentemente escasas.
Cuándo usarlo
Usar cuando las anomalías o novedades deben detectarse pero los ejemplos etiquetados son caros, raros o inicialmente no disponibles —típico en detección de fraude, monitorización de fallos de equipos, detección de intrusiones en ciberseguridad y cribado de enfermedades raras en medicina. El método es adecuado cuando existe un suministro razonable de datos normales no etiquetados junto con una pequeña semilla de instancias normales confirmadas, y cuando un oráculo (experto humano o probador automático) puede etiquetar los puntos consultados. Evitar cuando la tasa de anomalías es tan baja que incluso las consultas activas rara vez detectan anomalías, cuando el espacio de características tiene una dimensionalidad extremadamente alta sin un mapeo de kernel significativo, o cuando se requiere un pipeline totalmente automatizado sin intervención humana.
Limitaciones y consideraciones
- El rendimiento es sensible a la elección del kernel y al hiperparámetro nu; valores predeterminados deficientes pueden producir un límite demasiado ajustado o demasiado laxo.
- La escalabilidad es limitada: el coste de entrenamiento de la OCSVM crece aproximadamente de forma cuadrática con el número de vectores de soporte, lo que la hace lenta en conjuntos de datos grandes.
- Si la semilla etiquetada inicial no es representativa de la región normal real, las primeras consultas pueden desviar el modelo.
- El aprendizaje activo asume la disponibilidad y fiabilidad del oráculo; el etiquetado ruidoso o inconsistente degrada el límite.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Reduce drásticamente el número de etiquetas de experto necesarias para construir un detector de anomalías eficaz.
- Maneja bien datos de alta dimensionalidad a través de mapeos de kernel, particularmente el kernel RBF.
- No requiere ejemplos de anomalías al inicio — se inicia solo con datos normales.
- La estrategia de consulta activa centra el esfuerzo de anotación en la región del espacio más relevante para la decisión.
- El límite de la OCSVM es robusto a valores atípicos en el conjunto de entrenamiento a través del hiperparámetro nu.
Aplicaciones
- Detección de anomalías en redes de intrusiones y ciberseguridad con etiquetas de ataque limitadas.
- Monitorización de fallos de equipos industriales utilizando flujos de sensores con eventos de fallo escasos.
- Detección de fraude en transacciones financieras donde los casos de fraude confirmados son raros y costosos de etiquetar.
- Cribado de enfermedades raras o eventos raros en medicina donde el tiempo de anotación de expertos es una restricción limitante.
- Detección de novedades en imágenes o texto cuando inicialmente solo se dispone de un corpus de ejemplos normales.
Cómo funciona
Cómo funciona
Se entrena una OCSVM inicial con el pequeño conjunto de ejemplos normales etiquetados disponibles al principio. El kernel (típicamente RBF) y el hiperparámetro nu —que controla la fracción de puntos de entrenamiento fuera del límite— se establecen antes de que comience la iteración.
La estrategia de aprendizaje activo puntúa cada instancia no etiquetada por su distancia al límite de decisión de la OCSVM. Los puntos más cercanos al límite son los más ambiguos; se clasifican y los principales candidatos se seleccionan como consultas para el oráculo. Las estrategias comunes incluyen el muestreo de margen y variantes ponderadas por densidad.
Un experto del dominio (o un sustituto de bajo coste como una plataforma de crowdsourcing) asigna una etiqueta —normal o anómala— a cada instancia consultada. Este paso es el cuello de botella, por lo que la eficiencia de la selección de consultas determina el coste total.
Las instancias recién etiquetadas se añaden al conjunto de entrenamiento y se reentrena la OCSVM. Si hay etiquetas de anomalías disponibles, se pueden incorporar mediante un refinamiento del límite de dos clases; si solo se añaden etiquetas normales, el límite se ajusta más estrechamente alrededor de los datos normales confirmados.
El bucle se repite hasta que se agota un presupuesto (número máximo de consultas), el rendimiento en un conjunto de validación se estabiliza, o el cambio del límite entre iteraciones cae por debajo de un umbral. La OCSVM final se despliega para la puntuación en producción.
Errores comunes
- Ajustar nu en el conjunto de entrenamiento sin un conjunto de validación separado, lo que conduce a un límite demasiado optimista.
- Seleccionar consultas puramente por margen sin tener en cuenta la densidad, lo que hace que el modelo consulte puntos en regiones dispersas y no representativas.
- Tratar todos los datos no etiquetados como normales durante la inicialización sin comprobar la contaminación.
- Detener el bucle después de muy pocas consultas e informar del rendimiento en un conjunto de validación minúsculo como si fuera estable.
- Usar un kernel lineal en datos donde la región normal no es convexa — el kernel debe coincidir con la geometría de la clase normal.
Preguntas frecuentes
¿Cuál es la diferencia entre este método y una OCSVM estándar?
Una OCSVM estándar se entrena una vez con todos los datos etiquetados disponibles. La variante de aprendizaje activo itera: se entrena con una pequeña semilla, consulta los puntos no etiquetados más informativos, recopila etiquetas y reentrena. Esto hace que el límite sea más preciso con muchos menos ejemplos etiquetados.
¿Cuántos ejemplos etiquetados necesito para empezar?
Incluso un puñado de ejemplos normales confirmados (tan solo 10-50) pueden sembrar la primera OCSVM. El bucle activo luego hace crecer el conjunto etiquetado estratégicamente. Empezar con muy pocos ejemplos arriesga un límite inicial inestable que desvía las consultas tempranas.
¿Qué estrategia de consulta debo usar?
El muestreo de margen —consultar las instancias más cercanas al límite de decisión actual de la OCSVM— es la opción más común. Las variantes ponderadas por densidad que también prefieren puntos en regiones densas del espacio de entrada tienden a superar al muestreo de margen puro cuando los datos tienen estructura de clúster.
¿Cómo evalúo el rendimiento cuando las etiquetas de anomalías son escasas?
Utilice el área bajo la curva ROC (AUC-ROC) o el área bajo la curva de precisión-recuperación (AUC-PR) en un conjunto de validación separado que incluya anomalías confirmadas. La precisión es engañosa cuando las anomalías son raras. Si no existen etiquetas de anomalías en absoluto, utilice la inspección visual del límite en una proyección de baja dimensionalidad.
¿Cuándo debería cambiar a un detector de anomalías diferente?
Si el conjunto de datos tiene más de unos pocos miles de instancias, los detectores basados en Isolation Forest o Autoencoder escalan mejor. Si tiene suficientes anomalías etiquetadas para entrenamiento supervisado, una SVM binaria estándar o un clasificador de gradiente potenciado superará generalmente a la OCSVM.
Métodos relacionados
Fuentes
Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.
Abrir referencia DOICopiado.Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Abrir referencia de la publicaciónCopiado.