Saltar al contenido
Volver a los resultados

Regresión Logística (ML)

Propuesto por
Cox, D. R.
Año
1958
Tipo
Probabilistic linear classifier
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La regresión logística es un clasificador probabilístico fundamental que modela el logaritmo de las probabilidades (log-odds) de un resultado binario (o multinomial) como una función lineal de los predictores.

Introducida por D. R. Cox en 1958, sigue siendo uno de los métodos de clasificación más utilizados e interpretables tanto en estadística como en aprendizaje automático, valorado por sus salidas de probabilidad calibradas y la clara interpretación de sus coeficientes.

La intuición detrás del método

La regresión logística pregunta: dados un conjunto de características, ¿cuál es la probabilidad de que una observación pertenezca a una clase particular? Ajusta una línea recta a los log-odds del resultado y luego comprime esa puntuación lineal a través de una curva sigmoide (en forma de S) para producir una probabilidad entre 0 y 1. El coeficiente de cada predictor le indica directamente cómo un cambio de una unidad en esa característica desplaza los log-odds de la clase positiva, lo que hace que el modelo sea muy transparente. Una probabilidad predicha superior a 0.5 se clasifica como la clase positiva, aunque este umbral es ajustable.

Historia

David Cox formalizó la regresión logística para resultados binarios en 1958, extendiendo trabajos anteriores sobre modelos de probit. Durante las décadas de 1970-1980 se convirtió en el clasificador estándar en epidemiología y ciencias sociales. El marco de máxima verosimilitud, extendido a resultados multinomiales y variantes regularizadas, fue consolidado por el Lasso de Tibshirani (1996) y por The Elements of Statistical Learning de Hastie, Tibshirani y Friedman (2001). Hoy en día, sigue siendo el clasificador interpretable canónico y es la línea de base requerida en muchas directrices de revisión por pares.

Cuándo usarlo

Utilice la regresión logística cuando el resultado sea binario o categórico, el tamaño de la muestra sea al menos moderado (n > 10 eventos por predictor como regla general) y se requieran coeficientes interpretables o probabilidades calibradas. Es el clasificador de referencia por defecto en ciencias sociales, medicina y epidemiología y debe probarse antes que modelos más complejos. Evítelo cuando el límite de decisión sea fuertemente no lineal, cuando se necesiten muchos términos de interacción, o cuando la precisión de la predicción en datos tabulares complejos sea más importante que la interpretabilidad; en esos casos, los conjuntos de árboles o las SVM suelen superarlo.

Limitaciones y consideraciones

  • Asume una relación lineal entre las características y los log-odds del resultado; los patrones no lineales requieren ingeniería de características manual o un modelo no lineal.
  • Sensible a la multicolinealidad entre predictores: las características correlacionadas inflan los errores estándar de los coeficientes y desestabilizan las estimaciones.
  • Requiere un número razonable de eventos por predictor (regla general: al menos 10); las clases de resultados escasas causan problemas de convergencia y sobreajuste.
  • Puede tener un rendimiento inferior a los métodos de conjunto (bosque aleatorio, gradient boosting) en datos tabulares complejos con muchas interacciones.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Produce probabilidades de clase calibradas, no solo etiquetas, que son directamente utilizables para la clasificación y el ajuste de umbrales de decisión.
  • Los coeficientes son interpretables como razones de log-odds, cumpliendo los estándares esperados en investigación clínica, social y de políticas.
  • Computacionalmente rápido y eficiente en memoria incluso en grandes conjuntos de datos.
  • Las variantes regularizadas (Ridge, Lasso, Elastic Net) manejan características de alta dimensionalidad y realizan selección automática de características.
  • Supuestos menos restrictivos en comparación con el análisis discriminante: no requiere normalidad multivariante de los predictores.
  • Robusto y bien entendido; sirve como una línea de base sólida y creíble contra la cual deben compararse los modelos complejos.

Aplicaciones

  • Diagnóstico de enfermedades y puntuación de riesgo clínico (p. ej., predicción de reingreso o mortalidad).
  • Riesgo crediticio y detección de fraude en finanzas.
  • Modelado de respuestas binarias a encuestas en ciencias sociales y epidemiología.
  • Clasificación de spam y sentimiento como una línea de base de texto rápida e interpretable.
  • Clasificador de referencia antes de implementar modelos de conjunto más complejos.

Cómo funciona

Cómo funciona

1

Se calcula una suma ponderada de todas las características de entrada. Cada característica recibe un coeficiente (peso) que se aprende a partir de los datos; la intersección captura los log-odds de referencia cuando todas las características son cero. Esto es idéntico en forma a la regresión lineal, pero la salida se interpreta como una puntuación de log-odds en lugar de una predicción numérica directa.

Fórmula
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
2

La puntuación lineal se transforma mediante la función sigmoide, que mapea cualquier número real al intervalo abierto (0, 1). Esto proporciona una probabilidad de clase bien calibrada. Para problemas multiclase, la función softmax generaliza este paso para producir una distribución de probabilidad sobre todas las clases.

Fórmula
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}
3

Los parámetros del modelo se estiman maximizando la log-verosimilitud de las etiquetas observadas dadas las probabilidades predichas. Esto es equivalente a minimizar la pérdida de entropía cruzada binaria. A diferencia de los mínimos cuadrados ordinarios, no existe una solución de forma cerrada: se utiliza un algoritmo de optimización iterativo (típicamente Newton-Raphson o descenso de gradiente).

Fórmula
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]
4

Un solucionador iterativo —como L-BFGS, Newton-Raphson o descenso de gradiente estocástico— actualiza el vector de coeficientes hasta la convergencia. Se pueden añadir términos de regularización (L1 o L2) al objetivo para reducir los coeficientes, previniendo el sobreajuste y permitiendo la selección automática de características (L1 / Lasso).

5

La probabilidad ajustada se compara con un umbral de clasificación (por defecto 0.5) para asignar una etiqueta de clase. En entornos desequilibrados o cuando los costos de falsos positivos y falsos negativos difieren, este umbral debe ajustarse utilizando una curva precisión-recuperación o un análisis ROC en lugar de dejarlo en 0.5.

Fórmula
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]

Errores comunes

  • Omitir una división entrenamiento/prueba o validación cruzada y evaluar en los datos de entrenamiento, lo que infla el rendimiento aparente.
  • Usar la precisión como única métrica con clases desequilibradas en lugar de reportar AUC-ROC, F1 y una matriz de confusión.
  • Ignorar la suposición de linealidad y aplicar regresión logística a datos con límites de clase fuertemente no lineales sin comprobaciones de diagnóstico.
  • No aplicar regularización cuando el número de predictores es grande en relación con el tamaño de la muestra, lo que lleva al sobreajuste.
  • No verificar la multicolinealidad (mediante VIF) antes de interpretar las magnitudes de los coeficientes.

Preguntas frecuentes

¿Cuándo debo preferir la regresión logística sobre un bosque aleatorio?

Cuando necesite probabilidades calibradas, coeficientes interpretables, o deba cumplir con estándares de informes que requieran razones de odds explícitas —como en ensayos clínicos o evaluación de políticas. El bosque aleatorio generalmente logra una mayor precisión predictiva pero no proporciona una interpretación directa de los coeficientes.

¿Cuántas observaciones necesito?

Una regla general ampliamente citada es al menos 10 eventos (resultados positivos) por variable predictora. Con menos eventos, las estimaciones de los parámetros se vuelven inestables y los intervalos de confianza poco fiables. La regularización o la verosimilitud penalizada pueden extender el rango utilizable hasta cierto punto.

¿Debo estandarizar mis características?

La estandarización de características no es necesaria para la predicción, pero es importante al comparar magnitudes de coeficientes entre predictores o al usar regularización (L1 o L2), ya que las penalizaciones tratan todos los coeficientes en la misma escala.

¿Cuál es la diferencia entre regresión logística binaria y multinomial?

La regresión logística binaria modela un resultado de dos clases usando la función sigmoide. La regresión logística multinomial (softmax) generaliza esto a tres o más clases no ordenadas, estimando un conjunto de coeficientes por clase en relación con una clase de referencia.

¿Cómo manejo el desequilibrio de clases?

Establezca class_weight='balanced' en scikit-learn para reponderar la función de pérdida, o sobremuestree la clase minoritaria (SMOTE). Siempre evalúe con curvas AUC-ROC y precisión-recuperación en lugar de precisión, y ajuste el umbral de clasificación en un conjunto de validación.

Métodos relacionados

Fuentes

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.

    Abrir referencia DOI
    Copiado.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.

    ISBN: 978-1-4614-7138-7
    Copiado.