Saltar al contenido
Volver a los resultados

Regresión Lasso

Propuesto por
Tibshirani, R.
Año
1996
Tipo
Regularized linear regression (L1 penalty)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La regresión Lasso, introducida por Robert Tibshirani en 1996, es un método de regresión lineal que añade una penalización L1 a la función de pérdida para encoger los coeficientes y realizar selección de variables simultáneamente, produciendo un modelo disperso.

Al llevar algunos coeficientes exactamente a cero, conserva solo los predictores que importan.

La intuición detrás del método

La regresión por mínimos cuadrados ordinarios ajusta todos los predictores y puede distribuir el peso entre muchas variables correlacionadas o irrelevantes, lo que infla la varianza y oculta qué características realmente impulsan el resultado. Lasso añade un presupuesto sobre el tamaño total de los coeficientes: a medida que ese presupuesto se reduce, los predictores débiles se empujan hasta cero y se eliminan del modelo. El resultado es un conjunto de variables más pequeño, más estable y más fácil de interpretar.

Historia

Lasso fue introducido por Robert Tibshirani en 1996 como una forma de combinar el encogimiento de la regresión penalizada con la selección automática de variables, utilizando una penalización L1 sobre los coeficientes. Se convirtió en una piedra angular de la estadística de alta dimensionalidad y motivó métodos relacionados como la regresión ridge y la red elástica, que intercambian o combinan penalizaciones L1 y L2.

Cuándo usarlo

Un buen ajuste cuando se desea un modelo lineal disperso e interpretable para predicción o explicación a partir de muchos predictores continuos, binarios o de conteo, y al menos unas 30 observaciones. Es especialmente útil cuando está presente la multicolinealidad (por ejemplo, VIF superior a 10) y se desea que el método en sí elija qué variables mantener. Asume una relación aproximadamente lineal y requiere que las características se estandaricen. Por debajo de unas 30 observaciones, la selección de variables se vuelve inestable y la regresión ridge es más segura; cuando el número de predictores excede el tamaño de la muestra, la red elástica es preferible.

Limitaciones y consideraciones

  • Asume una relación lineal entre los predictores y el resultado.
  • Las características deben estandarizarse primero o la penalización trata de manera injusta a las variables en diferentes escalas.
  • En muestras pequeñas (n por debajo de unas 30) las variables seleccionadas son inestables y no reproducibles.
  • Cuando el número de predictores excede el tamaño de la muestra, puede seleccionar como máximo n variables, por lo que se prefiere la red elástica.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Realiza selección de variables y encogimiento de coeficientes en un solo ajuste, produciendo un modelo disperso e interpretable.
  • Lleva los predictores débiles exactamente a cero, lo que simplifica el modelo y reduce el sobreajuste.
  • Una respuesta natural a la multicolinealidad (VIF alto) sin eliminar variables manualmente.
  • No requiere datos con distribución normal y maneja predictores continuos, binarios y de conteo.
  • Solo un parámetro de ajuste (lambda), que es sencillo de establecer mediante validación cruzada.

Aplicaciones

  • Construir modelos de predicción dispersos e interpretables a partir de muchos predictores candidatos.
  • Selección automática de variables cuando está presente la multicolinealidad (VIF alto).
  • Entornos de alta dimensionalidad donde se espera que solo un subconjunto de características sea relevante.
  • Una línea base regularizada antes de probar la red elástica o modelos más complejos.

Cómo funciona

Cómo funciona

1

Lasso minimiza la suma habitual de los residuos al cuadrado más una penalización igual a lambda veces la suma de los valores absolutos de los coeficientes. Esta penalización L1 es la característica definitoria: cuanto mayor sea lambda, más se acercarán los coeficientes a cero.

Fórmula
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|
2

Debido a que la penalización L1 tiene esquinas agudas, hace más que simplemente encoger los coeficientes hacia cero: los establece exactamente en cero. Las variables con un coeficiente cero se eliminan efectivamente, por lo que el ajuste y la selección de variables ocurren en un solo paso y el modelo final es disperso.

3

La fuerza de la penalización lambda controla el equilibrio entre el ajuste y la dispersión, por lo que se elige mediante validación cruzada: se prueba un rango de valores de lambda y se conserva el que minimiza el error cuadrático medio validado cruzadamente. Las características deben estandarizarse primero para que la penalización única se aplique de manera justa a predictores en diferentes escalas.

Errores comunes

  • Ajustar Lasso sin estandarizar las características de antemano.
  • Elegir lambda manualmente en lugar de ajustarla con validación cruzada.
  • Confiar en las variables seleccionadas en una muestra muy pequeña donde la selección es inestable.
  • Olvidar revisar los gráficos de residuos para normalidad y homogeneidad después del ajuste.
  • Ignorar que, con más predictores que observaciones, Lasso limita el número de variables seleccionadas.

Preguntas frecuentes

¿Cómo se elige lambda?

Lambda controla cuán fuertemente se penalizan los coeficientes. Se selecciona mediante validación cruzada: se prueba un rango de valores y se conserva el que minimiza el error cuadrático medio validado cruzadamente.

¿Por qué debo estandarizar las características?

La penalización L1 única se aplica por igual a cada coeficiente, por lo que los predictores medidos en escalas más grandes serían penalizados menos. Estandarizar las características primero hace que la penalización sea justa entre variables.

¿Cómo difiere Lasso de la regresión ridge?

Lasso utiliza una penalización L1 que puede establecer coeficientes exactamente a cero, realizando selección de variables, mientras que ridge utiliza una penalización L2 que encoge los coeficientes pero no los pone a cero. En muestras pequeñas o cuando la selección es inestable, ridge es la opción más segura.

¿Qué debo revisar después de ajustar?

Inspeccionar la curva de MSE de validación cruzada para confirmar la lambda elegida, revisar qué variables se mantuvieron frente a las que se establecieron en cero, y examinar los gráficos de residuos para normalidad y homogeneidad.

Métodos relacionados

Fuentes

  1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Abrir referencia DOI
    Copiado.