Regresión lineal (ML)
- Propuesto por
- Legendre, A.-M. & Gauss, C.F.
- Año
- 1805–1809
- Tipo
- Supervised regression
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La regresión lineal ajusta una relación lineal entre una o más variables de entrada (features) y un resultado numérico continuo, minimizando la suma de los errores de predicción al cuadrado.
Como modelo de aprendizaje automático, se entrena con ejemplos etiquetados y se evalúa con datos no vistos (held-out), lo que la convierte en la línea base más simple de aprendizaje supervisado para cualquier tarea de regresión.
La intuición detrás del método
Imagine trazar la línea que mejor se ajusta a un diagrama de dispersión de puntos de datos. La regresión lineal hace exactamente eso para múltiples predictores a la vez: encuentra la combinación de pesos de las variables de entrada que minimiza la distancia total al cuadrado entre las predicciones de la línea y los valores verdaderos. Dado que la relación se expresa como una simple suma ponderada de las entradas, cada coeficiente le indica directamente cuánto cambia el resultado predicho cuando esa variable de entrada aumenta en una unidad, manteniendo todo lo demás constante. Esta transparencia hace que la regresión lineal sea excepcionalmente fácil de explicar y auditar, aunque subajustará (underfit) siempre que la relación real sea curva o involucre interacciones.
Historia
Mínimos cuadrados fue publicado independientemente por Legendre en 1805 y Gauss alrededor de 1809. A mediados del siglo XX, la regresión lineal se había convertido en la técnica fundamental de la estadística aplicada. Su reformulación como modelo de aprendizaje automático —entrenado con ejemplos, evaluado con datos no vistos y regularizado para prevenir el sobreajuste— le dio una segunda vida en la modelización predictiva, donde sigue siendo la línea base canónica del primer paso para cualquier problema de regresión.
Cuándo usarlo
Utilice la regresión lineal cuando el resultado sea continuo, la relación esperada entre los predictores y el resultado sea aproximadamente lineal, y se necesiten coeficientes interpretables. Es la línea base inicial adecuada antes de probar modelos más complejos, y un buen modelo final cuando sus supuestos se cumplen. No la utilice para resultados binarios o categóricos (use regresión logística en su lugar), cuando los patrones no lineales fuertes o las interacciones dominen, o cuando el número de predictores exceda el tamaño de la muestra sin regularización.
Limitaciones y consideraciones
- Asume una relación lineal; omite curvas, umbrales e interacciones a menos que se codifiquen manualmente.
- Sensible a valores atípicos (outliers) porque el cuadrado de los errores amplifica la influencia de puntos extremos.
- La multicolinealidad entre predictores infla los errores estándar y desestabiliza las estimaciones de los coeficientes.
- Requiere que los residuos sean aproximadamente normales y homocedásticos para una inferencia válida.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Los coeficientes son directamente interpretables: cada valor es un efecto marginal en las unidades del resultado.
- Computacionalmente trivial: se ajusta casi instantáneamente incluso en conjuntos de datos grandes.
- Proporciona errores estándar y valores p, lo que respalda las pruebas de hipótesis formales.
- Sirve como la línea base indispensable contra la cual se deben comparar modelos más complejos.
- Funciona bien y está completamente justificada cuando se cumple el supuesto de linealidad.
- Altamente compatible con extensiones de regularización (Ridge, Lasso, Elastic Net) cuando los predictores son muchos.
Aplicaciones
- Predecir un resultado numérico continuo a partir de variables de entrada tabulares en cualquier dominio.
- Establecer una línea base de rendimiento antes de probar modelos de gradient-boosting o redes neuronales.
- Estimar tamaños de efecto e impactos marginales en estudios observacionales cuando la linealidad se cumple.
- Previsión de la demanda, modelado de precios y estimación de recursos en análisis de negocios.
- Modelado exploratorio rápido para identificar los predictores más importantes antes de un análisis más complejo.
- Funciones de puntuación interpretables en entornos donde la transparencia del modelo es legal o éticamente requerida.
Cómo funciona
Cómo funciona
El modelo expresa la predicción como una suma ponderada de las variables de entrada más una intersección (intercept). La variable objetivo debe ser continua y numérica; las entradas categóricas deben codificarse como variables dummy o numéricas antes del ajuste.
Fórmula
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_pEl método de mínimos cuadrados ordinarios (Ordinary Least Squares, OLS) encuentra el vector de coeficientes que minimiza la suma residual de cuadrados. Para conjuntos de datos de tamaño moderado, esto se resuelve analíticamente mediante las ecuaciones normales; para conjuntos de datos muy grandes, se utilizan solucionadores iterativos o descenso de gradiente estocástico en su lugar.
Fórmula
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}El R-cuadrado (coeficiente de determinación) resume cuánta de la varianza en el resultado explica el modelo. Se complementa con el error cuadrático medio (root mean squared error, RMSE) y el error absoluto medio (mean absolute error, MAE), que informan los errores en las unidades originales del resultado.
Fórmula
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}El ajuste se evalúa en un conjunto de prueba no visto (hold-out) o mediante validación cruzada k-fold para detectar sobreajuste (overfitting). Se inspeccionan los gráficos de residuos —residuos frente a valores ajustados y un gráfico Q-Q de residuos— para verificar la linealidad, homocedasticidad y normalidad de los errores antes de confiar en la inferencia.
Errores comunes
- Extrapolar predicciones muy lejos del rango de los datos de entrenamiento donde la aproximación lineal falla.
- Ignorar los diagnósticos de residuos y asumir que el modelo es válido sin revisar los gráficos.
- Incluir predictores altamente correlacionados sin abordar la multicolinealidad (verificar VIF).
- Confundir R-cuadrado con precisión predictiva en datos nuevos: siempre evaluar en un conjunto no visto.
- Aplicar regresión lineal a un resultado binario o de conteo en lugar de regresión logística o de Poisson.
Preguntas frecuentes
¿En qué se diferencia la regresión lineal de la regresión logística?
La regresión lineal predice directamente un resultado continuo. La regresión logística modela el logaritmo de las probabilidades (log-odds) de un resultado binario y produce probabilidades acotadas entre 0 y 1. Usar regresión lineal para un resultado binario puede producir predicciones fuera de [0, 1] y viola el supuesto de varianza constante.
¿Necesito estandarizar mis variables de entrada?
La estandarización no es necesaria para las predicciones, pero hace que los coeficientes sean directamente comparables cuando las variables de entrada tienen escalas muy diferentes. Se recomienda especialmente al usar variantes regularizadas como Ridge o Lasso.
¿Cómo manejo muchos predictores en relación con el tamaño de la muestra?
Cambie a regresión lineal regularizada (Ridge para contracción, Lasso para escasez, Elastic Net para ambas). OLS se vuelve poco fiable o indefinido cuando el número de predictores se acerca o excede el número de observaciones.
¿Qué gráficos de residuos debo inspeccionar?
Como mínimo: (1) residuos frente a valores ajustados para buscar patrones que sugieran no linealidad o heterocedasticidad, y (2) un gráfico Q-Q de residuos para evaluar la normalidad. Un gráfico de escala-ubicación y estadísticas de apalancamiento/influencia (distancia de Cook) también son informativos.
¿Es suficiente un R-cuadrado alto para declarar un buen modelo?
No. El R-cuadrado mide el ajuste dentro de la muestra (in-sample) y puede ser inflado por predictores irrelevantes. Siempre informe el RMSE validado cruzado o del conjunto de prueba junto con el R-cuadrado, e inspeccione los diagnósticos de residuos para confirmar que los supuestos del modelo se satisfacen.
Métodos relacionados
Fuentes
Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.
ISBN: 978-0-387-84858-7Copiado.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.
ISBN: 978-1-4614-7138-7Copiado.