Máquina de Vectores de Soporte (Clasificación)
- Propuesto por
- Cortes, C. & Vapnik, V.
- Año
- 1995
- Tipo
- Maximum-margin classifier (kernel method)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La Máquina de Vectores de Soporte (SVM, por sus siglas en inglés), introducida por Corinna Cortes y Vladimir Vapnik en 1995, es un clasificador que encuentra el hiperplano separador óptimo entre clases en un espacio de alta dimensionalidad.
Selecciona el límite que deja el margen más amplio posible respecto a los puntos de entrenamiento más cercanos, lo que hace que sus decisiones sean robustas ante datos nuevos.
La intuición detrás del método
Imagine que separa dos grupos de puntos con un límite recto. Muchas líneas podrían hacerlo, pero la SVM busca aquella posicionada lo más lejos posible de los puntos más cercanos de cada clase — la 'calle' más ancha entre ellas. Solo esos puntos más cercanos, los vectores de soporte, dan forma al límite; todo lo que esté más lejos es irrelevante. Cuando las clases no pueden separarse con una línea recta, un kernel transforma el espacio de tal modo que una separación limpia se vuelve posible.
Historia
La Máquina de Vectores de Soporte fue introducida por Corinna Cortes y Vladimir Vapnik en su artículo de 1995 'Support-Vector Networks', que combinaba la idea del margen máximo con el truco del kernel para manejar datos no linealmente separables. Se convirtió en uno de los métodos de clasificación más influyentes de su época y un punto de referencia estándar para el aprendizaje supervisado de alta dimensionalidad.
Cuándo usarlo
Utilice SVM para clasificación binaria o categórica en datos tabulares con aproximadamente 50 o más observaciones, especialmente cuando el espacio de características es de alta dimensionalidad y la precisión predictiva importa más que los coeficientes explícitos. No requiere datos con distribución normal, pero las características deben ser estandarizadas y el kernel y C deben ser ajustados mediante validación cruzada. En muestras muy pequeñas, prefiera un clasificador más simple como la regresión logística o el naive Bayes.
Limitaciones y consideraciones
- Sensible a la elección del kernel y del parámetro C, los cuales deben ser ajustados mediante validación cruzada.
- Requiere una estandarización cuidadosa de las características; las características no escaladas distorsionan el margen.
- Se vuelve inestable en muestras pequeñas, donde hay muy pocos vectores de soporte para definir un límite fiable.
- No proporciona coeficientes directamente interpretables ni estimaciones nativas de probabilidad de clase.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Eficaz en espacios de características de alta dimensionalidad, incluso cuando hay más características que la complejidad del límite sugeriría.
- El principio de margen máximo y el uso exclusivo de vectores de soporte proporcionan límites robustos y generalizables.
- Los kernels permiten capturar límites de clase no lineales sin necesidad de ingeniería manual de nuevas características.
- Pocas suposiciones: no requiere datos con distribución normal.
Aplicaciones
- Clasificación binaria y multiclase en datos tabulares.
- Problemas de clasificación de alta dimensionalidad donde las características superan la capacidad de un modelo simple.
- Tareas de predicción donde un límite de decisión robusto y bien separado es más importante que coeficientes interpretables.
- Problemas con límites de clase no lineales, abordados mediante funciones kernel.
Cómo funciona
Cómo funciona
La SVM busca el hiperplano que separa las clases con el margen más grande — la mayor distancia a los puntos de datos más cercanos en cada lado. Esos puntos más cercanos son los vectores de soporte, y solo ellos determinan la posición del límite. Un margen amplio tiende a generalizar mejor a datos no vistos que un límite muy cercano a los puntos de entrenamiento.
Cuando las clases no son linealmente separables, una función kernel (por ejemplo, la función de base radial) mapea implícitamente las características a un espacio de mayor dimensionalidad donde existe un hiperplano separador. Por esta razón, las características deben ser estandarizadas primero (se requiere StandardScaler), y el kernel y el parámetro de regularización C deben ser elegidos mediante validación cruzada.
El límite se encuentra minimizando el objetivo anterior: reduce el vector de pesos (ampliando el margen) mientras paga una penalización C por cada punto que cae en el lado incorrecto o dentro del margen (la holgura ξ). Un C grande exige un ajuste estricto a los datos de entrenamiento; un C pequeño tolera más violaciones para obtener un margen más amplio y suave. Con clases desequilibradas, class_weight='balanced' evita que la clase minoritaria sea ignorada.
Fórmula
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_iErrores comunes
- Ajustar SVM en características crudas y no escaladas en lugar de estandarizarlas primero.
- Aceptar los valores predeterminados de kernel y C en lugar de seleccionarlos con validación cruzada (por ejemplo, búsqueda en cuadrícula).
- Ignorar el desequilibrio de clases en lugar de establecer class_weight='balanced'.
- Aplicar SVM en una muestra de menos de ~50 observaciones, donde el límite es inestable y propenso al sobreajuste.
- Reportar solo la precisión sin una matriz de confusión, precisión/recall/F1 y ROC-AUC.
Preguntas frecuentes
¿Por qué tengo que estandarizar las características?
La SVM mide distancias al hiperplano separador, por lo que las características en escalas numéricas mayores dominan el margen. Estandarizar cada característica (StandardScaler) las pone en escalas comparables para que el límite refleje la estructura de clase real en lugar de unidades arbitrarias.
¿Qué controla el parámetro C?
C intercambia el ancho del margen por errores de clasificación. Un C grande fuerza un ajuste estricto a los datos de entrenamiento con un margen estrecho; un C pequeño permite más violaciones del margen a cambio de un límite más amplio y suave. El valor correcto se encuentra mediante validación cruzada.
¿Para qué sirve el kernel?
Cuando las clases no pueden ser separadas por un límite recto, un kernel (como la función de base radial) mapea implícitamente los datos a un espacio de mayor dimensionalidad donde existe un hiperplano separador, permitiendo a la SVM modelar límites no lineales. La elección del kernel debe ser validada mediante validación cruzada.
¿Cuándo no debería usar SVM?
En muestras muy pequeñas — por debajo de unas 50 observaciones — hay muy pocos vectores de soporte para definir un límite estable y no hay suficientes datos para ajustar el kernel y C, por lo que el modelo corre el riesgo de sobreajuste. En ese caso, es preferible un clasificador más simple como la regresión logística o el naive Bayes.
Métodos relacionados
Fuentes
Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.
Abrir referencia DOICopiado.