Saltar al contenido
Volver a los resultados

Elastic Net

Propuesto por
Zou, H. & Hastie, T.
Año
2005
Tipo
Regularized linear regression (L1 + L2 penalty)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Elastic Net es un método de regresión lineal regularizada introducido por Zou y Hastie en 2005 que combina las penalizaciones LASSO (L1) y Ridge (L2), por lo que realiza selección de variables y contracción de coeficientes al mismo tiempo.

Está diseñado para modelado predictivo y explicativo en datos con muchos predictores, posiblemente correlacionados.

La intuición detrás del método

La regresión lineal simple puede sobreajustarse y comportarse mal cuando los predictores están correlacionados o hay más características que observaciones. LASSO puede anular coeficientes para seleccionar variables, pero tiene dificultades cuando los grupos de predictores están correlacionados, mientras que Ridge contrae todos suavemente pero nunca elimina una variable. Elastic Net mezcla los dos: mantiene la capacidad de LASSO de establecer algunos coeficientes exactamente a cero mientras toma prestada la estabilidad de Ridge para que los predictores correlacionados se manejen con gracia en lugar de ser elegidos arbitrariamente.

Historia

Elastic Net fue introducido por Hui Zou y Trevor Hastie en 2005 para superar dos debilidades conocidas de LASSO: su comportamiento errático cuando los predictores están altamente correlacionados y su incapacidad para seleccionar más variables que las observaciones. Al agregar un término L2 de estilo Ridge a la penalización L1 de LASSO, produjeron un estimador que selecciona variables y estabiliza la solución, y se ha convertido en una herramienta estándar para la regresión de alta dimensión.

Cuándo usarlo

Utilice Elastic Net para predicción o explicación en resultados continuos, binarios o de recuento cuando tenga muchos predictores — especialmente correlacionados o más características que observaciones — y desee selección automática de variables junto con contracción. Asume una relación aproximadamente lineal y que las características han sido normalizadas. Necesita al menos unas 30 observaciones para que ambos hiperparámetros puedan ajustarse mediante validación cruzada; por debajo de eso, LASSO o Ridge simples son más seguros.

Limitaciones y consideraciones

  • Asume una relación aproximadamente lineal entre los predictores y el resultado.
  • Las características deben normalizarse primero, o la penalización favorece injustamente a las variables a gran escala.
  • Se deben ajustar dos hiperparámetros (fuerza de la penalización y relación L1/L2), lo que requiere más datos de validación cruzada que los métodos de penalización única.
  • En muestras pequeñas (n por debajo de unas 30) la relación de mezcla L1/L2 es inestable de optimizar.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Combina la selección de variables de LASSO con la contracción de Ridge en un solo modelo.
  • Maneja predictores correlacionados con gracia, tendiendo a mantenerlos o eliminarlos como grupos.
  • Funciona cuando el número de características excede el número de observaciones.
  • Ligero en distribución: no requiere resultados distribuidos normalmente y maneja características continuas, binarias y de recuento.

Aplicaciones

  • Regresión de alta dimensión donde los predictores superan en número a las observaciones.
  • Estudios genómicos y de biomarcadores con muchas características correlacionadas.
  • Modelado predictivo que necesita tanto selección de variables como coeficientes robustos.
  • Modelado explicativo donde la contracción y la poda de predictores correlacionados aclaran la señal.

Cómo funciona

Cómo funciona

1

El modelo ajusta los coeficientes minimizando la pérdida habitual de error cuadrático más una penalización combinada: un término L1 que empuja algunos coeficientes exactamente a cero (selección) y un término L2 que los contrae suavemente (estabilidad). La fuerza de la penalización total está controlada por λ, y el equilibrio entre las dos penalizaciones por el parámetro de mezcla (l1_ratio, escrito α aquí).

Fórmula
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)
2

Dos hiperparámetros rigen el ajuste — la fuerza general de la penalización y la relación de mezcla L1/L2 — y se eligen mediante validación cruzada. Debido a que hay dos controles para ajustar en lugar de uno, Elastic Net necesita suficientes datos (al menos unas 30 observaciones) para que la cuadrícula de validación cruzada sea confiable. Los predictores deben estandarizarse primero para que la penalización trate a cada característica en la misma escala.

3

El modelo ajustado devuelve un conjunto disperso de coeficientes: los predictores sin importancia se llevan a cero y se eliminan, mientras que los predictores correlacionados tienden a mantenerse o eliminarse juntos como un grupo en lugar de que uno sea elegido al azar. Los coeficientes supervivientes, al haber sido contraídos, dan un modelo más estable y generalizable que la regresión no penalizada.

Errores comunes

  • Ajuste sin estandarizar primero los predictores.
  • Intentar ajustar ambos hiperparámetros con muy pocas observaciones, haciendo que la cuadrícula de validación cruzada no sea confiable.
  • Optar por Elastic Net cuando una sola penalización es suficiente — LASSO solo si solo necesita selección, Ridge solo si solo necesita contracción.
  • Interpretar coeficientes contraídos como tamaños de efecto no sesgados.

Preguntas frecuentes

¿Cómo se diferencia Elastic Net de LASSO y Ridge?

LASSO usa solo la penalización L1 (selección pero inestable con predictores correlacionados); Ridge usa solo la penalización L2 (contracción estable pero nunca elimina variables). Elastic Net combina ambas, controlada por una relación de mezcla, por lo que selecciona variables y se mantiene estable con características correlacionadas.

¿Necesito escalar mis características?

Sí. La penalización actúa sobre el tamaño de los coeficientes, por lo que las características deben normalizarse primero; de lo contrario, las variables a gran escala se penalizan de manera diferente y la selección está sesgada.

¿Cuántas observaciones necesito?

Al menos unas 30. Elastic Net ajusta dos hiperparámetros mediante validación cruzada, por lo que necesita más datos que los métodos de penalización única. Por debajo de 30, use LASSO simple si necesita selección o Ridge si necesita contracción.

¿Qué controlan los dos hiperparámetros?

La fuerza general de la penalización (λ) controla cuánto se contraen los coeficientes, y la relación de mezcla (l1_ratio) establece el equilibrio entre la penalización de selección L1 y la penalización de contracción L2. Ambos se eligen mediante validación cruzada.

Métodos relacionados

Fuentes

  1. Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.

    Abrir referencia DOI
    Copiado.