Regresión Lineal Regularizada
- Propuesto por
- Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
- Año
- 1970–2005
- Tipo
- Penalized linear model
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La regresión lineal regularizada añade un término de penalización al objetivo de mínimos cuadrados ordinarios, encogiendo o anulando coeficientes para reducir el sobreajuste y manejar la multicolinealidad.
Las tres variantes principales — Ridge (penalización L2), Lasso (penalización L1) y Elastic Net (combinación L1+L2) — hacen que la regresión lineal sea utilizable incluso cuando el número de características supera el de observaciones o los predictores están altamente correlacionados.
La intuición detrás del método
Los mínimos cuadrados ordinarios asignan a cada predictor exactamente el coeficiente que minimiza el error en la muestra, lo que puede producir coeficientes muy grandes e inestables cuando los predictores están correlacionados o cuando el conjunto de datos tiene muchas características. La regularización acerca esos coeficientes a cero — de forma firme pero justa — de modo que el modelo pierde un poco de precisión en el entrenamiento a cambio de una generalización mucho mejor. Ridge encoge todos los coeficientes proporcionalmente; Lasso va más allá y puede establecer algunos en cero exacto, seleccionando características de forma efectiva; Elastic Net combina ambas estrategias y funciona cuando los predictores correlacionados necesitan mantenerse juntos.
Historia
La regresión Ridge fue introducida por Hoerl y Kennard en 1970 como un remedio para la multicolinealidad en mínimos cuadrados ordinarios. El artículo de Tibshirani sobre Lasso en 1996 añadió la regularización L1 y la capacidad de encoger coeficientes a cero exacto, haciendo posible la selección automática de características. Zou y Hastie ampliaron estas ideas en 2005 con Elastic Net, combinando penalizaciones L1 y L2 para manejar grupos de predictores correlacionados. Estos tres métodos forman el conjunto canónico de herramientas de regularización para modelos lineales y son pilares de Elements of Statistical Learning y An Introduction to Statistical Learning.
Cuándo usarlo
Utilice regresión lineal regularizada al predecir un resultado continuo a partir de muchas características numéricas y se sospecha al menos de cierta multicolinealidad, o cuando el número de características es grande en relación con el tamaño de la muestra. Ridge es la opción predeterminada cuando todas las características son plausiblemente relevantes; Lasso o Elastic Net cuando se necesita selección automática de características. Prefiera la regresión lineal ordinaria (no penalizada) solo cuando las características son pocas, no correlacionadas y la muestra es grande. No utilice ninguna variante lineal cuando el resultado es claramente no lineal o cuando es binario o categórico; utilice regresión logística o métodos basados en árboles en su lugar.
Limitaciones y consideraciones
- Asume una relación lineal entre las características y el objetivo continuo; omite patrones no lineales a menos que las características se diseñen manualmente.
- La estandarización de características es obligatoria antes de ajustar; olvidar este paso distorsiona las estimaciones de los coeficientes.
- Lasso funciona mal cuando existen muchos predictores correlacionados verdaderamente relevantes — selecciona arbitrariamente uno y descarta los demás; Elastic Net es la opción más segura en esa situación.
- Ridge retiene todas las características y no produce un modelo disperso, lo que puede complicar la interpretación cuando el espacio de características es de muy alta dimensionalidad.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Produce coeficientes lineales totalmente interpretables con tamaños de efecto y direcciones explícitos.
- Maneja la multicolinealidad con elegancia — Ridge redistribuye coeficientes entre predictores correlacionados; Lasso selecciona uno de un grupo.
- Lasso y Elastic Net realizan selección de características incorporada al establecer coeficientes irrelevantes en cero exacto.
- Computacionalmente eficiente incluso en grandes conjuntos de datos; escala a millones de observaciones con descenso de coordenadas.
- La selección de lambda mediante validación cruzada está bien soportada en todo el software estadístico principal (scikit-learn, glmnet, statsmodels).
Aplicaciones
- Genómica y bioinformática: predecir fenotipos continuos a partir de miles de marcadores genéticos donde p >> n.
- Economía y ciencias sociales: estimar efectos de muchas variables de política sobre resultados continuos mientras se controla la multicolinealidad.
- Ingeniería: predecir cantidades físicas a partir de arreglos de sensores con mediciones correlacionadas.
- Pipeline de selección de características: Lasso o Elastic Net utilizados aguas arriba para identificar un pequeño conjunto de predictores antes de ajustar un modelo más complejo.
- Finanzas: pronosticar rendimientos o medidas de riesgo a partir de muchos factores macroeconómicos y de mercado.
- Atención médica: predecir resultados clínicos continuos a partir de grandes paneles de valores de laboratorio o características derivadas de imágenes.
Cómo funciona
Cómo funciona
Antes de ajustar, todos los predictores se estandarizan (media cero, varianza unitaria). Esto es obligatorio porque la penalización se aplica por igual a cada coeficiente; sin estandarización, las características en escalas mayores serían penalizadas más fuertemente, distorsionando las estimaciones de los coeficientes.
El profesional selecciona un tipo de penalización: Ridge utiliza la suma de los coeficientes al cuadrado (norma L2), que encoge todos los coeficientes pero nunca pone ninguno a cero. Lasso utiliza la suma de los valores absolutos (norma L1), que puede encoger algunos coeficientes a cero exacto, realizando una selección automática de características. Elastic Net combina linealmente L1 y L2, controlado por un parámetro de mezcla alpha, y es particularmente útil cuando varios predictores correlacionados son relevantes.
Fórmula
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2El modelo minimiza el objetivo penalizado — suma residual de cuadrados más la penalización elegida escalada por la fuerza de regularización lambda. Para Ridge esto tiene una solución de forma cerrada; Lasso y Elastic Net requieren optimización por descenso de coordenadas o subgradiente porque la penalización L1 no es diferenciable en cero.
Fórmula
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]La fuerza de regularización lambda es un hiperparámetro que debe ajustarse mediante validación cruzada, típicamente sobre una cuadrícula logarítmica. Un lambda de cero recupera los mínimos cuadrados ordinarios; un lambda muy grande fuerza todos los coeficientes hacia cero. El lambda óptimo equilibra el sesgo y la varianza para el conjunto de datos específico.
Una vez fijado lambda y estimados los coeficientes, la predicción para nuevas observaciones es idéntica a la regresión lineal ordinaria: el producto punto de las características y los coeficientes estimados. El modelo sigue siendo totalmente interpretable en términos de efectos lineales.
Fórmula
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}Errores comunes
- Ajuste sin estandarizar predictores, de modo que las características en escalas mayores se penalizan más y los coeficientes no son comparables.
- Uso de lambda predeterminado en lugar de seleccionarlo mediante validación cruzada — un lambda incorrecto sub-regulariza (cerca de mínimos cuadrados ordinarios) o sobre-regulariza (coeficientes colapsan a cero).
- Aplicar regresión lineal regularizada a un resultado binario o de recuento cuando en su lugar se debería usar regresión logística o de Poisson.
- Reportar resultados de selección de variables de Lasso como si fueran confirmatorios — la selección de Lasso es sensible al conjunto de datos y a lambda, por lo que trate las variables seleccionadas como exploratorias.
- Ignorar la suposición de linealidad y reportar un modelo regularizado de mal ajuste sin verificar los residuos.
Preguntas frecuentes
¿Cuándo debo elegir Ridge sobre Lasso?
Elija Ridge cuando crea que la mayoría de los predictores contribuyen al resultado y desee estimaciones de coeficientes estables sin anular ninguno; por ejemplo, cuando los predictores están altamente correlacionados y desea conservarlos todos. Elija Lasso o Elastic Net cuando espere que muchas características sean irrelevantes y desee una selección automática de características.
¿Todavía obtengo p-valores e intervalos de confianza?
Los p-valores clásicos y los errores estándar no están disponibles directamente de la regresión penalizada porque las estimaciones de los coeficientes están sesgadas por diseño. Existen métodos de inferencia post-selección (por ejemplo, el Lasso desparsificado) pero rara vez se usan en la práctica; en su lugar, se reportan intervalos de confianza bootstrap o medidas de estabilidad por validación cruzada.
¿Cómo elijo la fuerza de regularización lambda?
Seleccione lambda mediante validación cruzada k-fold (típicamente k = 5 o 10) sobre una cuadrícula logarítmica. Bibliotecas como RidgeCV y LassoCV de scikit-learn o glmnet de R lo hacen automáticamente. Reporte el lambda elegido y anote si fue seleccionado por error mínimo de validación cruzada o por la regla de un error estándar.
¿La regresión lineal regularizada requiere características normalmente distribuidas?
No. Al igual que los mínimos cuadrados ordinarios, la suposición recae en los residuos (aproximadamente normales, homoscedásticos), no en los predictores. Predictores altamente sesgados o con muchos valores atípicos aún pueden distorsionar las estimaciones, por lo que transformar logarítmicamente las entradas sesgadas es un paso de preprocesamiento común.
¿Qué es Elastic Net y cuándo se prefiere?
Elastic Net combina las penalizaciones L1 y L2, controladas por un parámetro de mezcla alpha (alpha = 1 es Lasso puro; alpha = 0 es Ridge puro). Se prefiere cuando grupos de predictores correlacionados son todos relevantes — Lasso seleccionaría arbitrariamente uno del grupo y descartaría los demás, mientras que Elastic Net tiende a mantener el grupo unido.
Métodos relacionados
Fuentes
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
Abrir referencia DOICopiado.Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.
ISBN: 978-0-387-84858-7Copiado.