Saltar al contenido
Volver a los resultados

Regresión Lineal Online

Propuesto por
Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
Año
1960 (LMS); 1950 (RLS formalization)
Tipo
Incremental supervised regression
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La Regresión Lineal Online ajusta un modelo lineal observación por observación, actualizando los pesos incrementalmente a medida que llega cada nuevo punto de datos.

A diferencia del método de mínimos cuadrados por lotes (batch), nunca necesita almacenar ni reprocesar el conjunto de datos completo, lo que la convierte en la opción natural para datos en flujo continuo (streaming), conjuntos de datos muy grandes y entornos donde el proceso generador de datos puede cambiar con el tiempo.

La intuición detrás del método

Imagine ajustar los diales de un predictor lineal después de cada medición individual en lugar de esperar a recopilar todos los datos primero. Cada nueva observación le indica cuán errónea fue su suposición actual, y usted ajusta el vector de pesos un pequeño paso en la dirección que habría reducido ese error. A lo largo de muchas observaciones, los pesos convergen a valores cercanos a la solución de mínimos cuadrados ordinarios (OLS), pero usted llegó allí sin haber cargado nunca todo el conjunto de datos en memoria, y puede seguir adaptándose si la relación subyacente se desvía.

Historia

Los fundamentos teóricos se remontan al método de mínimos cuadrados de Gauss (principios del siglo XIX) y a la formulación recursiva de Plackett de 1950. La variante práctica en línea surgió con el algoritmo de Mínimos Cuadrados Medios (LMS) de Widrow y Hoff en 1960, desarrollado originalmente para el procesamiento adaptativo de señales. La teoría de la optimización convexa en línea, formalizada por Zinkevich (2003) y revisada exhaustivamente por Shalev-Shwartz (2012), situó la regresión lineal en línea dentro de un riguroso marco de minimización de la pérdida (regret) y demostró sus garantías de convergencia casi óptimas.

Cuándo usarlo

Utilice la regresión lineal online cuando los datos lleguen como un flujo continuo y las predicciones deban servirse de inmediato, cuando el conjunto de datos sea demasiado grande para mantenerlo en memoria para un ajuste por lotes, o cuando la relación entre los predictores y el resultado pueda variar con el tiempo y el modelo necesite adaptarse. También es una buena opción como línea base ligera en sistemas de producción en tiempo real. Evítela cuando la relación sea fuertemente no lineal, cuando la ingeniería de características deba realizarse de forma holística sobre todo el conjunto de datos, o cuando necesite coeficientes OLS exactos con intervalos de confianza para la inferencia estadística; en esos casos, utilice la regresión lineal por lotes.

Limitaciones y consideraciones

  • Sensible a la elección de la tasa de aprendizaje: demasiado grande causa oscilación, demasiado pequeña causa convergencia lenta.
  • No proporciona errores estándar ni valores p de forma cerrada, por lo que la inferencia estadística clásica no está directamente disponible.
  • Puede tener dificultades con características altamente correlacionadas (multicolinealidad) a menos que se agregue regularización L2.
  • El rendimiento se degrada en comparación con OLS por lotes cuando todos los datos ya están disponibles y no hay deriva del concepto.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Procesa datos observación por observación con memoria O(p), donde p es el número de características; no se requiere el conjunto de datos completo.
  • Se adapta continuamente a la deriva del concepto, lo que la hace adecuada para entornos no estacionarios como series temporales financieras o flujos de sensores.
  • Computacionalmente barata por actualización: un solo producto escalar y una suma de vectores de pesos.
  • Naturalmente paralelizable entre múltiples flujos o particiones (shards).
  • Produce predicciones en tiempo real sin esperar a un reajuste por lotes.

Aplicaciones

  • Predicción de precios en tiempo real y pronóstico de demanda en mercados de comercio electrónico y energía.
  • Procesamiento adaptativo de señales y cancelación de ruido utilizando mínimos cuadrados recursivos.
  • Actualización continua de modelos en entornos de IoT y redes de sensores donde los reajustes por lotes no son factibles.
  • Regresión de datos de mercado (tick-data) financieros donde el proceso generador de datos cambia con frecuencia.
  • Pesos de características de sistemas de recomendación a gran escala actualizados a medida que llegan eventos de usuario.
  • Modelo de flujo continuo de línea base en canalizaciones de AutoML antes de considerar modelos más complejos.

Cómo funciona

Cómo funciona

1

Establezca el vector de pesos a cero (o un valor aleatorio pequeño) y elija una tasa de aprendizaje eta que controle el tamaño del paso. Opcionalmente, inicialice un término de regularización como L2 (Ridge) para evitar que los pesos crezcan sin límite en flujos no estacionarios.

Fórmula
\mathbf{w}_0 = \mathbf{0},\; \eta > 0
2

Para cada observación entrante x_t, calcule la salida predicha como el producto escalar del vector de pesos actual con el vector de características. Esta predicción se realiza antes de que se revele la etiqueta verdadera y_t, reflejando la naturaleza secuencial de los entornos de flujo reales.

Fórmula
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_t
3

Una vez revelada la etiqueta verdadera, calcule el error de predicción al cuadrado. Esta pérdida instantánea impulsa la señal del gradiente; el gradiente de la pérdida al cuadrado con respecto a los pesos es simplemente el error multiplicado por el vector de características.

Fórmula
\ell_t = (y_t - \hat{y}_t)^2
4

Aplique la regla de actualización de Mínimos Cuadrados Medios (LMS, por sus siglas en inglés): mueva los pesos en la dirección del gradiente negativo de la pérdida. El tamaño del paso eta controla el compromiso entre la velocidad de adaptación y la sensibilidad al ruido. Un eta más pequeño produce una convergencia más suave; un eta más grande se adapta más rápido pero corre el riesgo de oscilación.

Fórmula
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_t
5

Procese la siguiente observación inmediatamente, o almacene en búfer un pequeño mini-lote para una variante de línea de mini-lotes. En entornos no estacionarios, una tasa de aprendizaje decreciente o un factor de olvido de ventana deslizante mantiene el modelo sensible a la deriva del concepto. Nunca se requiere un reajuste completo.

Errores comunes

  • Usar una tasa de aprendizaje fija en datos con escalas de características muy diferentes: estandarice siempre las características en línea (por ejemplo, media y varianza móviles) antes de actualizar.
  • Olvidar agregar regularización en entornos de alta dimensionalidad o casi colineales, lo que permite que los pesos diverjan en flujos dispersos.
  • Tratar los pesos en línea como equivalentes a las estimaciones OLS y reportarlos con intervalos de confianza OLS; no son idénticos.
  • Ignorar la detección de deriva del concepto: si la distribución de los datos cambia bruscamente, una tasa de aprendizaje fija puede seguir el ruido en lugar de la señal.
  • Evaluar la precisión solo al final de un flujo largo en lugar de usar la evaluación prequencial (test-then-train) durante todo el proceso.

Preguntas frecuentes

¿Cómo difiere la regresión lineal online de la regresión lineal estándar (por lotes)?

La regresión lineal por lotes resuelve las ecuaciones normales sobre todo el conjunto de datos a la vez, obteniendo la solución OLS exacta. La regresión lineal online actualiza los pesos incrementalmente después de cada observación utilizando un paso de gradiente, convergiendo a una solución cercana a OLS sin cargar nunca todos los datos, a costa de perder estadísticas de inferencia exactas.

¿Qué tasa de aprendizaje debo usar?

Un punto de partida común es eta = 0.01 dividido por la norma cuadrática esperada de los vectores de características. La búsqueda en cuadrícula (grid-search) o los métodos adaptativos (AdaGrad, Adam) escalan automáticamente la tasa de aprendizaje por característica y a menudo son más fáciles de ajustar que una tasa global fija.

¿Puede la regresión lineal online manejar la deriva del concepto?

Sí. Una tasa de aprendizaje constante (no decreciente) mantiene el modelo sensible a la deriva. Para cambios abruptos, pruebas explícitas de detección de deriva (por ejemplo, ADWIN) pueden activar un reinicio parcial de los pesos. Una tasa decreciente es mejor cuando la relación es estacionaria y se desea una convergencia eventual.

¿Es posible la regularización en el entorno online?

Sí. Agregar una penalización L2 da lugar a la actualización online de Ridge (Tikhonov): restar una pequeña fracción del vector de pesos actual en cada paso. Esto evita que los pesos se vuelvan grandes en flujos dispersos o ruidosos y se recomienda encarecidamente en entornos de alta dimensionalidad.

¿Cómo evalúo un modelo online de manera justa?

Utilice la evaluación prequencial (test-then-train): registre el error de predicción en cada observación antes de usarla para actualizar el modelo. Esto proporciona una estimación secuencial e imparcial del error de generalización sin un conjunto de prueba separado reservado.

Métodos relacionados

Fuentes

  1. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    Abrir referencia DOI
    Copiado.
  2. Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.

    ISBN: 978-0130901262
    Copiado.