Saltar al contenido
Volver a los resultados

Regresión logística regularizada

Propuesto por
Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
Año
1996–2005
Tipo
Penalized classification model
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La regresión logística regularizada extiende la regresión logística estándar añadiendo una penalización L1 (lasso), L2 (ridge) o de elastic net a la log-verosimilitud, lo que reduce los coeficientes hacia cero y previene el sobreajuste.

Es la elección por defecto para la clasificación binaria o multinomial cuando se desean estimaciones de coeficientes interpretables, dispersas o estables en espacios de características de alta dimensión o colineales.

La intuición detrás del método

La regresión logística estándar maximiza la probabilidad de las etiquetas de clase observadas. En entornos de alta dimensión —muchas características, pocas observaciones o predictores correlacionados— los coeficientes estimados pueden dispararse o fluctuar descontroladamente, causando una pobre generalización. La regularización restringe las magnitudes de los coeficientes añadiendo una penalización que crece con el tamaño del coeficiente, intercambiando una pequeña cantidad de ajuste en el conjunto de entrenamiento por una generalización mucho mejor. La penalización L1 lleva algunos coeficientes exactamente a cero (selección automática de características), la penalización L2 reduce suavemente todos los coeficientes sin anularlos, y la elastic net combina ambos comportamientos.

Historia

La regresión ridge fue formalizada por Hoerl y Kennard en 1970 y aplicada a modelos lineales generalizados, incluida la regresión logística. El artículo de Tibshirani de 1996 sobre lasso introdujo la regularización L1 con soluciones dispersas, transformando el modelado de alta dimensión. Zou y Hastie (2005) combinaron ambas penalizaciones en elastic net, abordando la limitación de lasso con características correlacionadas agrupadas. Hoy en día, la regresión logística regularizada es un algoritmo fundamental en scikit-learn, glmnet (R) y LIBLINEAR, y se utiliza rutinariamente como clasificador de referencia en aplicaciones biomédicas y de procesamiento del lenguaje natural (PLN).

Cuándo usarlo

Utilice la regresión logística regularizada para la clasificación binaria o multinomial cuando necesite salidas probabilísticas interpretables, cuando el número de características sea grande en relación con el tamaño de la muestra, o cuando los predictores estén correlacionados. Es el modelo de partida preferido en la predicción clínica, la clasificación de texto con características de bolsa de palabras y los estudios de biomarcadores de alta dimensión. Elija L1 cuando se necesite selección automática de características, L2 para una estimación estable de coeficientes y elastic net cuando las características se presenten en grupos correlacionados. Evítela cuando la relación entre el resultado y las características sea altamente no lineal o cuando existan fuertes efectos de interacción que la formulación lineal de log-odds no pueda capturar; en esos casos, los conjuntos de árboles o los métodos de kernel pueden ser más apropiados.

Limitaciones y consideraciones

  • Asume una relación lineal entre las características y el log-odds; no puede capturar efectos no lineales o de interacción sin ingeniería manual de características.
  • Requiere que el resultado sea categórico; los resultados continuos necesitan regresión lineal (no logística).
  • El rendimiento se degrada cuando las características relevantes interactúan fuertemente, ya que el modelo es aditivo en el log-odds.
  • El lambda óptimo debe seleccionarse mediante validación cruzada, lo que añade computación y un paso de ajuste.
  • Los datos severamente desequilibrados en las clases pueden sesgar las probabilidades predichas hacia la clase mayoritaria sin reponderación.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Produce probabilidades de clase calibradas y coeficientes interpretables y con signo, a diferencia de la mayoría de los clasificadores de "caja negra".
  • La penalización L1 realiza una selección automática de características, produciendo modelos dispersos que son fáciles de informar.
  • Maneja robustamente espacios de características de alta dimensión (p >> n) mediante la contracción de coeficientes.
  • La penalización elastic net maneja elegantemente grupos de características correlacionadas, distribuyendo el peso entre predictores relacionados.
  • Muy rápido de ajustar incluso en grandes conjuntos de datos utilizando solvers de descenso de coordenadas; escala a millones de observaciones.

Aplicaciones

  • Puntuaciones de riesgo clínico y clasificadores diagnósticos a partir de paneles de biomarcadores de alta dimensión.
  • Clasificación de texto con características de bolsa de palabras o TF-IDF, donde L1 produce pesos de palabras dispersos interpretables.
  • Genómica y proteómica, donde el número de características excede ampliamente el tamaño de la muestra.
  • Puntuación de crédito y detección de fraude que requieren salidas de probabilidad para decisiones basadas en umbrales.
  • Clasificador de referencia de línea base antes de evaluar modelos de conjunto o de aprendizaje profundo más complejos.

Cómo funciona

Cómo funciona

1

Una combinación lineal de características predice el log-odds de la clase positiva. La función sigmoide convierte el log-odds en una probabilidad entre 0 y 1, haciendo que la salida sea directamente interpretable como probabilidad de clase.

Fórmula
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}
2

El objetivo de optimización es la log-verosimilitud negativa (entropía cruzada) más un término de penalización. La penalización escala con las magnitudes de los coeficientes, controlada por el hiperparámetro lambda (intensidad) y alpha (mezcla L1/L2). Un lambda mayor impone una contracción más fuerte; alpha=1 da un lasso puro, alpha=0 da un ridge puro.

Fórmula
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]
3

La elección de la penalización determina el comportamiento: L1 (lasso) produce soluciones dispersas al anular características irrelevantes y se prefiere cuando se desea la selección de características. L2 (ridge) se prefiere cuando se espera que todas las características contribuyan y la colinealidad es alta. Elastic net (alpha entre 0 y 1) maneja mejor las características correlacionadas agrupadas que el lasso solo.

4

La pérdida penalizada se minimiza utilizando algoritmos iterativos como el descenso de coordenadas (solvers liblinear/saga de scikit-learn). El lambda óptimo se determina mediante validación cruzada, típicamente sobre una cuadrícula logarítmica. Estandarizar las características antes del ajuste es esencial para que la penalización se aplique de manera consistente en todos los predictores.

5

Las probabilidades predichas se convierten en etiquetas de clase utilizando un umbral de decisión, típicamente 0.5 por defecto. En configuraciones desequilibradas, el umbral debe ajustarse para equilibrar la precisión y la exhaustividad según la estructura de costos de la aplicación.

Fórmula
\hat{y} = \mathbf{1}[\hat{p} \ge t]

Errores comunes

  • Ajustar sin estandarizar las características: la penalización trata todos los coeficientes por igual, por lo que las características con valores numéricos grandes reciben proporcionalmente menos contracción, distorsionando la solución.
  • Usar el umbral predeterminado de 0.5 sin verificar la calibración y el equilibrio de clases, lo que degrada silenciosamente la exhaustividad en la clase minoritaria.
  • Informar solo la precisión en lugar de AUC, F1 y métricas de calibración, enmascarando un rendimiento deficiente de la clase minoritaria.
  • Omitir la validación cruzada para la selección de lambda y, en su lugar, evaluar con los datos de entrenamiento, lo que lleva a modelos sobreajustados.
  • Interpretar los coeficientes seleccionados por lasso como causales sin tener en cuenta el sesgo por variables omitidas y la inestabilidad de la selección de variables cerca del límite de decisión.

Preguntas frecuentes

¿Cómo elijo entre L1, L2 y elastic net?

Use L1 cuando crea que solo un subconjunto de características son relevantes y desea una selección automática. Use L2 cuando todas las características probablemente contribuyan o los predictores estén altamente correlacionados, ya que ridge distribuye el peso entre grupos correlacionados. Use elastic net cuando necesite dispersión pero también tenga bloques de características correlacionadas; ajuste alpha junto con lambda mediante validación cruzada anidada.

¿Debo estandarizar las características antes de ajustar?

Sí, siempre. El término de penalización trata todos los coeficientes por igual, por lo que una característica con valores numéricos grandes recibirá proporcionalmente menos contracción a menos que esté estandarizada. Centre y escale cada característica a media cero y varianza unitaria antes de ajustar y aplique la misma transformación a los datos de prueba.

¿Cómo se elige lambda?

Lambda es un hiperparámetro seleccionado por validación cruzada, típicamente k-fold (k=5 o 10) sobre una cuadrícula logarítmica. En glmnet de R, cv.glmnet automatiza esto. En scikit-learn, se debe usar LogisticRegressionCV o GridSearchCV con validación cruzada sobre la fuerza de regularización inversa C (C=1/lambda).

¿La regresión logística regularizada produce probabilidades calibradas?

Generalmente sí, mejor que los conjuntos de árboles, porque la regresión logística modela directamente las probabilidades de clase a través de la sigmoide. Sin embargo, la regularización extrema puede comprimir las probabilidades predichas hacia 0.5. El escalado de Platt o la regresión isotónica pueden recalibrar si es necesario.

¿Cómo manejo el desequilibrio de clases?

Establezca class_weight='balanced' (scikit-learn) para que las observaciones de la clase minoritaria reciban un mayor peso de pérdida, o remuestree manualmente el conjunto de entrenamiento. También ajuste el umbral de decisión utilizando la curva de precisión-exhaustividad en lugar de fijarlo en 0.5.

Métodos relacionados

Fuentes

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    Abrir referencia DOI
    Copiado.
  2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.

    ISBN: 978-0-387-84857-0
    Copiado.