Saltar al contenido
Volver a los resultados

Aprendizaje en línea

Propuesto por
Rosenblatt, F.; Littlestone, N.; Shalev-Shwartz, S. (key contributors)
Año
1958–2000s
Tipo
Learning paradigm (sequential model update)
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El aprendizaje en línea es un paradigma de aprendizaje automático en el que un modelo se actualiza incrementalmente a medida que llega cada nuevo punto de datos, en lugar de ser entrenado una sola vez en un conjunto de datos fijo.

Es esencial cuando los datos fluyen continuamente, el almacenamiento es limitado o la distribución subyacente cambia con el tiempo. El rendimiento teórico se mide por el arrepentimiento acumulado en relación con el mejor predictor fijo a posteriori.

La intuición detrás del método

En el aprendizaje por lotes clásico, primero se recopilan todos los datos y luego se entrena el modelo. El aprendizaje en línea invierte esto: el modelo recibe un ejemplo a la vez, hace una predicción, ve el resultado verdadero e inmediatamente se actualiza. Piense en un operador bursátil que ajusta su estrategia después de cada operación en lugar de esperar hasta fin de año. La garantía teórica clave es un bajo arrepentimiento: a lo largo de muchas rondas, la pérdida total del aprendiz en línea es casi tan pequeña como la de la mejor estrategia estática única elegida a posteriori.

Historia

El paradigma del aprendizaje en línea se remonta al Perceptron de Rosenblatt (1958) y fue formalizado teóricamente por Littlestone (modelo de límite de errores, 1988) y Freund & Schapire (Winnow, Hedge, década de 1990). El marco de optimización convexa en línea, que unifica el análisis de arrepentimiento en muchos algoritmos, fue desarrollado por Zinkevich (2003) y ampliamente estudiado por Shalev-Shwartz (2011). Las variantes de FTRL y AdaGrad impulsan sistemas industriales a gran escala en empresas como Google.

Cuándo usarlo

Utilice el aprendizaje en línea cuando los datos llegan como un flujo continuo y el reentrenamiento desde cero no es práctico; cuando la distribución de los datos cambia con el tiempo (deriva conceptual) y el modelo debe adaptarse sin un reentrenamiento completo; o cuando las restricciones de almacenamiento y memoria impiden mantener el conjunto de datos completo. Es adecuado para sistemas de recomendación, detección de fraude, pipelines de procesamiento de lenguaje natural y aplicaciones de datos de sensores. NO lo utilice cuando el volumen de datos es pequeño y estático (el aprendizaje por lotes es más simple e igualmente efectivo), cuando el conjunto de datos completo debe verse varias veces para la convergencia (por ejemplo, redes neuronales profundas en conjuntos pequeños), o cuando la reproducibilidad y los pipelines de evaluación fuera de línea son críticos y la infraestructura de streaming no está disponible.

Limitaciones y consideraciones

  • Sensible a la tasa de aprendizaje y a la elección de hiperparámetros; tasas deficientes causan una convergencia lenta o inestabilidad.
  • El rendimiento en un paso dado depende del orden de los ejemplos, lo que hace que los resultados sean sensibles al orden.
  • Las métricas de evaluación por lotes (validación cruzada, conjuntos de prueba de retención) no se aplican directamente; en su lugar, se necesita una evaluación prequencial.
  • El entrenamiento de redes neuronales profundas generalmente requiere múltiples pasadas sobre los datos (épocas), lo que entra en conflicto con las configuraciones estrictas de una sola pasada en línea.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Maneja flujos de datos ilimitados con memoria constante, lo que lo hace escalable a conjuntos de datos masivos o infinitos.
  • Se adapta automáticamente a la deriva conceptual y al cambio distribucional sin desencadenantes de reentrenamiento explícitos.
  • Proporciona sólidas garantías teóricas a través de límites de arrepentimiento, cuantificando el rendimiento en el peor de los casos frente a cualquier competidor fijo.
  • Las actualizaciones de baja latencia lo hacen adecuado para aplicaciones en tiempo real y sensibles al tiempo.
  • Muchos algoritmos (SGD, AdaGrad, FTRL) tienen propiedades de convergencia y arrepentimiento bien comprendidas.

Aplicaciones

  • Predicción de la tasa de clics en tiempo real y publicidad en línea (FTRL-Proximal a escala de Google).
  • Detección de fraude y anomalías en flujos de transacciones financieras que requieren actualizaciones inmediatas del modelo.
  • Pipelines de procesamiento de lenguaje natural sobre noticias o feeds de redes sociales con vocabulario en evolución.
  • Clasificación de datos de sensores e IoT donde el volumen de datos impide el almacenamiento por lotes.
  • Sistemas de recomendación que deben adaptarse instantáneamente a las preferencias cambiantes del usuario.
  • Filtrado adaptativo de spam donde la definición de spam evoluciona continuamente.

Cómo funciona

Cómo funciona

1

En cada paso de tiempo t, el aprendiz recibe un nuevo vector de características x_t del flujo de datos. La instancia se procesa inmediatamente y no se almacena permanentemente, lo que hace que este paradigma sea eficiente en cuanto a la memoria, incluso para flujos de datos ilimitados.

2

El modelo actual f_t produce una predicción para x_t antes de que se revele la etiqueta verdadera. El modelo puede ser un clasificador lineal, una pequeña red neuronal, una regla de decisión o cualquier función paramétrica mantenida en memoria.

Fórmula
\hat{y}_t = f_t(x_t)
3

Después de predecir, el aprendiz observa la etiqueta verdadera y_t y calcula la pérdida. Esta señal de retroalimentación cuantifica cuán incorrecta fue la predicción actual e impulsa la subsiguiente actualización de parámetros.

Fórmula
\ell_t = \ell(\hat{y}_t, y_t)
4

Los parámetros del modelo se actualizan utilizando el gradiente de la pérdida con respecto a los parámetros actuales, escalado por una tasa de aprendizaje. Los algoritmos comunes incluyen Perceptron, Descenso de Gradiente Estocástico (SGD), AdaGrad y Follow-the-Regularized-Leader (FTRL).

Fórmula
w_{t+1} = w_t - \eta_t \nabla \ell_t
5

El rendimiento se evalúa mediante el arrepentimiento acumulado: la diferencia entre la pérdida total del aprendiz en línea y la pérdida total del mejor predictor fijo conocido a posteriori. Un crecimiento de arrepentimiento sublineal (por ejemplo, O(sqrt(T))) garantiza que el aprendiz converge a un comportamiento casi óptimo.

Fórmula
R_T = \sum_{t=1}^{T} \ell_t - \min_{f} \sum_{t=1}^{T} \ell(f(x_t), y_t)

Errores comunes

  • Usar una tasa de aprendizaje fija cuando se necesita AdaGrad o un esquema de decaimiento, lo que causa un aprendizaje lento o divergencia.
  • Ignorar el monitoreo de la deriva conceptual: incluso los modelos en línea pueden quedarse atrás de los cambios repentinos de distribución si no se rastrean explícitamente.
  • Confundir 'aprendizaje en línea' con el aprendizaje basado en la web (e-learning); el significado en aprendizaje automático es estrictamente la actualización incremental del modelo.
  • Evaluar con validación cruzada por lotes en lugar de evaluación prequencial (probar y luego entrenar), lo que sobreestima o subestima el rendimiento.
  • Aplicar el aprendizaje en línea a conjuntos de datos estáticos pequeños donde los métodos por lotes más simples con una validación cruzada adecuada son más apropiados.

Preguntas frecuentes

¿Es el aprendizaje en línea lo mismo que el descenso de gradiente estocástico?

SGD es el algoritmo de optimización más común utilizado en el aprendizaje en línea, pero no son idénticos. El aprendizaje en línea es un paradigma (procesar un ejemplo, actualizar, seguir adelante); SGD es una regla de actualización. El aprendizaje en línea puede usar otras reglas de actualización como Perceptron, AdaGrad o FTRL.

¿Cómo evalúo un modelo entrenado con aprendizaje en línea?

Utilice la evaluación prequencial (también llamada probar y luego entrenar): para cada ejemplo que llega, primero prediga, registre el error y luego actualice. El promedio móvil de errores proporciona una estimación imparcial del rendimiento en tiempo real sin requerir un conjunto de retención separado.

¿Cómo maneja el aprendizaje en línea la deriva conceptual?

Debido a que los parámetros se actualizan después de cada ejemplo, el modelo rastrea naturalmente los cambios distribucionales lentos. Para una deriva abrupta, detectada explícitamente monitoreando las tasas de error o pruebas estadísticas (por ejemplo, DDM, ADWIN), puede ser necesaria una tasa de aprendizaje más alta o un reinicio del modelo.

¿Qué es el arrepentimiento y por qué es importante?

El arrepentimiento es la pérdida extra acumulada incurrida por el algoritmo en línea en comparación con el mejor predictor fijo elegido con total conocimiento a posteriori. Un arrepentimiento sublineal (que crece más lento que T) garantiza que la pérdida promedio por ronda converge al óptimo, proporcionando un certificado riguroso de rendimiento en el peor de los casos.

¿Se pueden entrenar redes neuronales profundas de forma en línea?

Sí, pero con salvedades. Las DNN suelen necesitar múltiples épocas sobre los datos para una convergencia estable, lo que entra en conflicto con las estrictas restricciones en línea de una sola pasada. En la práctica, se utiliza SGD en mini-lotes en streaming como compromiso, procesando lotes recientes de unos pocos ejemplos antes de actualizar los pesos.

Métodos relacionados

Fuentes

  1. Shalev-Shwartz, S. (2011). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    Abrir referencia DOI
    Copiado.
  2. Cesa-Bianchi, N. & Lugosi, G. (2006). Prediction, Learning, and Games. Cambridge University Press.

    ISBN: 978-0-521-84108-5
    Copiado.