Saltar al contenido
Volver a los resultados

Regresión Ridge

Propuesto por
Hoerl, A.E. & Kennard, R.W.
Año
1970
Tipo
L2-regularized linear regression

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La Regresión Ridge es un método de regresión lineal regularizado con L2, introducido por Arthur Hoerl y Robert Kennard en 1970, que reduce la multicolinealidad añadiendo una penalización al tamaño de los coeficientes.

Reduce los coeficientes hacia cero sin fijar ninguno de ellos exactamente en cero, produciendo estimaciones más estables cuando los predictores están altamente correlacionados.

La intuición detrás del método

Cuando los predictores están fuertemente correlacionados, los coeficientes de mínimos cuadrados ordinarios se vuelven inestables y pueden variar drásticamente de una muestra a otra. La Regresión Ridge acepta deliberadamente una pequeña cantidad de sesgo a cambio de una varianza mucho menor: al añadir una penalización al tamaño al cuadrado de los coeficientes, doma estas variaciones extremas y mantiene todas las variables en el modelo, solo que con pesos más pequeños y estables.

Historia

La Regresión Ridge fue introducida por Arthur E. Hoerl y Robert W. Kennard en 1970 como una forma de obtener estimaciones sesgadas pero más estables para problemas no ortogonales (colineales), donde los mínimos cuadrados ordinarios fallan. La idea de añadir una penalización L2 se convirtió en una herramienta fundamental de la regresión regularizada y un precursor directo de métodos posteriores como LASSO y Elastic Net, que combinan o contrastan su comportamiento de reducción con la selección explícita de variables.

Cuándo usarlo

Utilice la Regresión Ridge para la predicción con predictores continuos, binarios o de recuento cuando esté presente la multicolinealidad — por ejemplo, cuando un factor de inflación de la varianza excede 10 — y desee mantener todas las variables en lugar de seleccionar entre ellas. Asume una relación aproximadamente lineal y al menos unas 30 observaciones. Las características deben estandarizarse primero. Cuando las muestras son pequeñas y la colinealidad es leve, la regresión lineal simple es más interpretable; cuando el objetivo es la selección de variables, LASSO o Elastic Net son preferibles.

Limitaciones y consideraciones

  • No realiza selección de variables; no puede anular predictores irrelevantes como puede hacerlo LASSO.
  • Requiere que las características se estandaricen, de lo contrario la penalización favorece injustamente a las variables a gran escala.
  • Asume una relación lineal entre los predictores y el resultado.
  • En muestras pequeñas (n por debajo de aproximadamente 30) la selección de alfa mediante validación cruzada no es fiable y los MCO simples pueden ser suficientes.
  • Cuando la colinealidad no es realmente un problema, la reducción es innecesaria y reduce la interpretabilidad.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Reduce la multicolinealidad y estabiliza las estimaciones de los coeficientes añadiendo una penalización L2.
  • Mantiene todos los predictores en el modelo — los coeficientes se reducen pero ninguno se anula a cero.
  • Disminuye la varianza a costa de un pequeño y controlado aumento del sesgo, mejorando a menudo la predicción.
  • Tiene un único hiperparámetro (alfa) fácil de ajustar, elegido mediante validación cruzada.
  • Funciona con predictores continuos, binarios y de recuento sin requerir datos distribuidos normalmente.

Aplicaciones

  • Predicción con muchos predictores correlacionados donde la multicolinealidad infla la varianza de los MCO.
  • Estabilización de coeficientes de regresión cuando los factores de inflación de la varianza son altos (VIF superior a 10).
  • Modelado cuando todos los predictores deben ser retenidos en lugar de ser seleccionados.
  • Una línea base regularizada antes de comparar con LASSO o Elastic Net.

Cómo funciona

Cómo funciona

1

Los mínimos cuadrados ordinarios ajustan los coeficientes minimizando únicamente el error cuadrático. Cuando dos o más predictores son casi redundantes (multicolinealidad), esto deja los coeficientes mal determinados y altamente sensibles al ruido. Ridge aborda esto desalentando coeficientes grandes, intercambiando un poco de sesgo por una mayor estabilidad.

2

Ridge minimiza la suma habitual de errores cuadráticos más una penalización igual a una constante de ajuste alfa multiplicada por la suma de los coeficientes al cuadrado. Esta penalización L2 reduce todos los coeficientes hacia cero en proporción a su tamaño, pero a diferencia de LASSO, nunca fuerza ningún coeficiente exactamente a cero, por lo que se retienen todos los predictores. Es necesario estandarizar las características de antemano para que la penalización trate a cada predictor de manera justa.

Fórmula
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2
3

La fuerza de la penalización se controla mediante alfa: valores más grandes reducen más los coeficientes. El valor correcto se elige mediante validación cruzada, típicamente escaneando un rango de alfa y eligiendo el que minimiza el error cuadrático medio validado cruzado.

Errores comunes

  • Ajustar Ridge en características crudas y no estandarizadas para que la penalización distorsione los coeficientes.
  • Elegir alfa manualmente en lugar de seleccionarlo mediante validación cruzada.
  • Aplicar Ridge cuando no existe multicolinealidad real, reduciendo coeficientes sin beneficio.
  • Esperar selección de variables — Ridge mantiene todas las variables, así que recurra a LASSO o Elastic Net si necesita esparsidad.
  • Omitir diagnósticos de residuos (normalidad, homocedasticidad) después del ajuste.

Preguntas frecuentes

¿Cómo se diferencia Ridge de LASSO?

Ambos añaden una penalización para reducir los coeficientes, pero Ridge utiliza una penalización L2 que reduce los coeficientes hacia cero sin alcanzarlo nunca, por lo que todos los predictores permanecen en el modelo. LASSO utiliza una penalización L1 que puede fijar los coeficientes exactamente a cero, realizando selección de variables. Elija Ridge para estabilizar predictores correlacionados y LASSO cuando necesite un modelo disperso.

¿Necesito estandarizar mis características?

Sí. Es necesario estandarizar las características, porque la penalización L2 actúa sobre el tamaño de los coeficientes; sin estandarización, la penalización reduciría injustamente las variables medidas en escalas más grandes.

¿Cómo elijo la fuerza de la penalización alfa?

Elija alfa mediante validación cruzada: escanee un rango de valores y elija el que minimiza el error cuadrático medio validado cruzado. Graficar la curva del error cuadrático medio de validación cruzada frente a alfa muestra dónde se encuentra el óptimo.

¿Cuándo no debería usar Ridge?

Si no hay multicolinealidad real, Ridge añade una reducción innecesaria y una regresión lineal simple es más interpretable. Con muestras muy pequeñas (n por debajo de aproximadamente 30), la selección de alfa no es fiable, y si necesita eliminar variables irrelevantes, debería usar LASSO o Elastic Net en su lugar.

Métodos relacionados

Fuentes

  1. Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.

    Abrir referencia DOI
    Copiado.