Regresión con Vectores de Soporte
- Propuesto por
- Smola, A.J. & Schölkopf, B.
- Año
- 2004
- Tipo
- Kernel-based supervised model (epsilon-insensitive regression)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La Regresión con Vectores de Soporte (SVR), descrita en el tutorial de Smola y Schölkopf de 2004, predice un resultado continuo ajustando una función que se mantiene dentro de un tubo de ancho épsilon alrededor de los datos, incurriendo en el menor error posible.
Extiende la idea de la máquina de vectores de soporte de la clasificación a la regresión, utilizando un kernel para capturar relaciones no lineales.
La intuición detrás del método
En lugar de penalizar cada desviación de la línea ajustada, la SVR ignora los errores menores que una tolerancia épsilon — traza un tubo de ancho épsilon alrededor de la función predicha y solo los puntos que caen fuera del tubo van en su contra. El modelo busca entonces la función más plana posible que mantenga la mayoría de los puntos dentro del tubo. El puñado de puntos en los bordes del tubo o fuera de ellos se convierten en los vectores de soporte que definen la predicción.
Historia
La Regresión con Vectores de Soporte extiende la máquina de vectores de soporte, originalmente un método de clasificación, a la tarea de regresión. La formulación épsilon-insensible y su solución con kernel se presentan en el tutorial de 2004 de Smola y Schölkopf en Statistics and Computing, que se ha convertido en la referencia estándar para el método.
Cuándo usarlo
Utilice la SVR para predecir un resultado continuo (o de recuento) a partir de características cuando la relación puede ser no lineal y usted tiene al menos unas 50 observaciones. Las características deben normalizarse, y el kernel y el parámetro C necesitan ajustarse. Con menos de 50 casos, la predicción se basa en muy pocos vectores de soporte y se vuelve inestable, por lo que es preferible una regresión ridge o lineal.
Limitaciones y consideraciones
- Necesita al menos unas 50 observaciones; con menos, las predicciones se basan en muy pocos vectores de soporte y son inestables.
- El rendimiento depende del ajuste del kernel y del parámetro C, lo que requiere suficientes datos de validación cruzada.
- Las características deben normalizarse de antemano o las distancias del kernel se distorsionan.
- No ofrece coeficientes interpretables.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- La pérdida épsilon-insensible hace que el ajuste sea robusto a pequeñas desviaciones y a valores atípicos dentro del tubo.
- Los kernels permiten que la SVR modele relaciones no lineales sin necesidad de diseñar explícitamente nuevas características.
- No requiere datos con distribución normal.
- El modelo final solo depende de los vectores de soporte, manteniendo la predicción compacta.
Aplicaciones
- Predicción de resultados continuos donde la relación con las características es no lineal.
- Tareas de pronóstico y predicción donde la robustez a pequeñas desviaciones es importante.
- Modelado de objetivos de recuento o continuos en datos de salud, sociales, de ingeniería y de negocios.
- Servir como una alternativa basada en kernel a la regresión lineal o ridge cuando se sospecha no linealidad.
Cómo funciona
Cómo funciona
La SVR define un margen de tolerancia, el tubo épsilon, alrededor de la función de regresión: las desviaciones dentro de épsilon se tratan como ningún error en absoluto. Esto hace que el ajuste sea insensible a pequeñas fluctuaciones y centra el modelo en las observaciones que genuinamente caen fuera de la banda.
Fórmula
|y_i - f(x_i)| \le \varepsilon
El modelo equilibra la planitud de la función con el error incurrido por los puntos fuera del tubo. Un parámetro de regularización C controla la penalización de las desviaciones fuera del tubo, mientras que un kernel (como el kernel RBF) permite que la función se curve para capturar la estructura no lineal. Dado que tanto C como el kernel deben ajustarse, las características deben normalizarse antes del ajuste.
Fórmula
\min \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i (\xi_i + \xi_i^*)Las predicciones para nuevas entradas se forman como una combinación ponderada por kernel de los vectores de soporte — los puntos de entrenamiento que se encuentran en los bordes del tubo o más allá — más un desplazamiento. Solo estos vectores de soporte entran en la predicción final, lo que hace que el modelo ajustado sea compacto.
Fórmula
f(x) = \sum_i (\alpha_i - \alpha_i^*) k(x_i, x) + b
Errores comunes
- Ajustar la SVR en características no normalizadas, lo que distorsiona las distancias del kernel.
- Aceptar los valores predeterminados del kernel y C sin ajustarlos mediante validación cruzada.
- Usar SVR en una muestra pequeña donde no hay suficientes datos para la optimización de hiperparámetros.
- Tratar el ajuste basado en kernel como si produjera tamaños de efecto interpretables.
Preguntas frecuentes
¿Qué controla el parámetro épsilon?
Épsilon establece la semi-anchura del tubo de tolerancia alrededor de la función ajustada. Las desviaciones menores que épsilon se tratan como error cero, por lo que un épsilon mayor produce un modelo más plano y simple con menos vectores de soporte, mientras que un épsilon menor ajusta los datos más estrechamente.
¿Por qué debo normalizar las características?
La SVR se basa en distancias calculadas a través del kernel. Si las características están en escalas muy diferentes, aquellas con rangos más grandes dominan las distancias, por lo que las características deben estandarizarse antes del ajuste.
¿Qué tan pequeña es una muestra demasiado pequeña?
Con menos de unas 50 observaciones, el ajuste depende de muy pocos vectores de soporte y se vuelve inestable, y no hay suficientes datos para ajustar los hiperparámetros del kernel; una regresión ridge o lineal es una opción más segura.
¿En qué se diferencia la SVR de los mínimos cuadrados ordinarios?
Los mínimos cuadrados penalizan cada residuo cuadráticamente, mientras que la SVR ignora los residuos dentro del tubo épsilon y penaliza solo a aquellos fuera de él. Combinado con un kernel, esto permite que la SVR capture relaciones no lineales y se mantenga robusta a pequeñas desviaciones.
Métodos relacionados
Fuentes
Smola, A.J. & Schölkopf, B. (2004). A Tutorial on Support Vector Regression. Statistics and Computing, 14, 199–222.
Abrir referencia DOICopiado.