Regresión logística en línea
- Propuesto por
- Rosenblatt, F. / Widrow, B. (perceptron era); modern SGD form: Bottou, L.
- Año
- 1960s (perceptron); formalized for logistic loss ~2000s
- Tipo
- Incremental supervised classifier
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La regresión logística en línea ajusta un clasificador logístico una muestra (o mini-lote) a la vez mediante descenso de gradiente estocástico, actualizando los pesos del modelo a medida que llega cada observación en lugar de esperar a ver el conjunto de datos completo.
Esto la convierte en la opción estándar para problemas de clasificación binaria de alto volumen, en flujo continuo o con restricciones de memoria, donde el entrenamiento por lotes es inviable.
La intuición detrás del método
La regresión logística clásica requiere cargar todos los datos en la memoria y optimizar sobre el conjunto de datos completo. La regresión logística en línea, en cambio, lee cada ejemplo entrante, realiza una predicción de probabilidad, calcula el error de predicción y da un pequeño paso de gradiente para corregir sus pesos antes de pasar al siguiente ejemplo. A lo largo de muchos ejemplos, los pesos convergen a valores cercanos a los que encontraría un solucionador por lotes, pero el modelo puede actualizarse continuamente sin almacenar nunca el conjunto de datos completo. Una tasa de aprendizaje decreciente asegura que las actualizaciones se vuelvan más finas a medida que el modelo madura, intercambiando velocidad de adaptación por estabilidad.
Historia
Las raíces del aprendizaje basado en gradientes en línea se remontan al perceptrón de Rosenblatt (1958) y a la regla LMS de Widrow y Hoff (1960). La variante de pérdida logística ganó prominencia en la literatura de aprendizaje a gran escala de la década de 2000, particularmente a través del trabajo de Bottou sobre el descenso de gradiente estocástico para el aprendizaje automático, y el marco teórico de Shalev-Shwartz para la optimización convexa en línea. Se convirtió en un estándar de producción en la predicción de la tasa de clics a escala web y el filtrado de spam, donde los conjuntos de datos fluyen continuamente y los modelos deben actualizarse en tiempo real.
Cuándo usarlo
Utilice la regresión logística en línea cuando los datos llegan como un flujo o cuando el conjunto de datos completo es demasiado grande para mantenerlo en memoria, cuando se espera que el límite de clase cambie gradualmente con el tiempo (deriva de concepto), o cuando se requieren actualizaciones del modelo de baja latencia. También es una línea base rápida para conjuntos de datos estáticos muy grandes donde una sola pasada de SGD es aceptable. Evítela cuando el conjunto de datos es lo suficientemente pequeño como para entrenar por lotes (la regresión logística por lotes convergerá a una mejor solución con menos ajuste), cuando el límite de decisión es altamente no lineal (los métodos basados en árboles o de kernel se ajustarán mejor), o cuando se requiere la interpretabilidad de los errores estándar y los valores p exactos de los coeficientes para la elaboración de informes.
Limitaciones y consideraciones
- Sensible a la elección de la tasa de aprendizaje: demasiado grande causa divergencia, demasiado pequeña causa convergencia lenta o subajuste.
- No proporciona intervalos de confianza o valores p de forma cerrada para los coeficientes.
- Converge a una solución más ruidosa que el descenso de gradiente por lotes con los mismos datos; se necesitan múltiples pasadas o promediado (Polyak-Ruppert) para cerrar la brecha.
- El rendimiento se degrada cuando las características están en escalas muy diferentes, a menos que se aplique estandarización o AdaGrad.
- Asume un límite de decisión lineal; no puede capturar estructuras no lineales sin ingeniería de características.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Huella de memoria constante: procesa un ejemplo a la vez sin almacenar todo el conjunto de datos.
- Se adapta a la deriva de concepto al continuar actualizando los pesos a medida que llegan nuevos datos etiquetados.
- Escala a miles de millones de ejemplos donde la optimización por lotes sería prohibitiva.
- Produce salidas de probabilidad calibradas a través del enlace sigmoide, adecuadas para la puntuación de riesgo.
- Compatible con la regularización L1 y L2 y los programas de tasa de aprendizaje que reflejan soluciones de lote completo.
Aplicaciones
- Predicción de la tasa de clics en publicidad en línea con flujos de datos continuos.
- Detección de spam y fraude donde los patrones evolucionan y los modelos deben adaptarse diariamente.
- Clasificación de sentimiento en tiempo real de publicaciones en redes sociales a medida que llegan.
- Puntuación de riesgo binaria a gran escala cuando el conjunto de datos completo no cabe en la RAM.
- Escenarios de deriva de concepto en la monitorización de transacciones financieras.
- Clasificador de flujo base antes de evaluar conjuntos en línea más complejos.
Cómo funciona
Cómo funciona
El vector de pesos y el sesgo se inicializan a cero (o a pequeños valores aleatorios). No se necesita ninguna pasada de datos en esta etapa; el modelo está listo para procesar su primera observación inmediatamente.
Fórmula
\mathbf{w}_0 = \mathbf{0},\; b_0 = 0Para cada observación entrante, el modelo calcula la combinación lineal de sus pesos y características actuales, luego la pasa a través de la función sigmoide para obtener una probabilidad de que la etiqueta sea 1. Esta probabilidad se utiliza tanto como predicción como ingrediente en el cálculo del gradiente.
Fórmula
\hat{p}_t = \sigma(\mathbf{w}_t^\top \mathbf{x}_t + b_t),\quad \sigma(z)=\frac{1}{1+e^{-z}}La entropía cruzada binaria (pérdida logarítmica) entre la probabilidad predicha y la etiqueta verdadera mide cuán errónea es la predicción actual. La entropía cruzada es convexa en los pesos, lo que garantiza que los pasos de gradiente reducen el error de manera confiable en promedio a través del flujo de datos.
Fórmula
\ell_t = -[y_t \log \hat{p}_t + (1-y_t)\log(1-\hat{p}_t)]El gradiente de la pérdida con respecto a los pesos se reduce al simple residual (probabilidad predicha menos etiqueta verdadera) multiplicado por el vector de características. Se añade un término de regularización (L2 o L1) para penalizar los pesos grandes y prevenir el sobreajuste. Los pesos se actualizan restando el gradiente escalado en una sola pasada por ejemplo.
Fórmula
\mathbf{w}_{t+1} = \mathbf{w}_t - \eta_t (\hat{p}_t - y_t)\mathbf{x}_t - \eta_t \lambda \mathbf{w}_tLa tasa de aprendizaje se reduce con el tiempo, comenzando grande para moverse rápidamente en las etapas iniciales y disminuyendo para que las actualizaciones posteriores realicen correcciones finas sin oscilar. Los programas comunes son la disminución inversa del tiempo o la adaptación por característica al estilo AdaGrad, que maneja automáticamente las características con escalas muy diferentes.
Fórmula
\eta_t = \eta_0 / (1 + \alpha t)
Errores comunes
- Olvidar estandarizar las características: el SGD en línea es especialmente sensible a las diferencias de escala porque la misma tasa de aprendizaje se aplica a todas las dimensiones.
- Usar una tasa de aprendizaje fija durante todo el entrenamiento: los pesos oscilan cerca del óptimo y nunca se asientan.
- Ignorar el desequilibrio de clases en el flujo de datos: las clases subrepresentadas reciben pocas señales de gradiente y el modelo se inclina hacia la clase mayoritaria.
- Tratar las estimaciones de pesos de la fase temprana como finales: el modelo necesita suficientes ejemplos antes de que sus pesos se estabilicen; no evalúe demasiado pronto.
- Confundir la capacidad de actualización en línea con la detección automática de deriva de concepto: los pesos se desplazan con los datos, pero aún se necesita una monitorización explícita de la deriva (por ejemplo, ADWIN) para detectar cambios abruptos.
Preguntas frecuentes
¿En qué se diferencia la regresión logística en línea de la regresión logística estándar?
La regresión logística estándar utiliza todos los datos a la vez (optimización por lotes) y devuelve coeficientes de máxima verosimilitud exactos con errores estándar. La regresión logística en línea actualiza los pesos después de cada ejemplo, utilizando solo memoria constante y tolerando flujos infinitamente largos, pero sus estimaciones son más ruidosas y no produce estadísticas inferenciales.
¿Cómo elijo la tasa de aprendizaje?
Un punto de partida común es una tasa fija pequeña (por ejemplo, 0.01) combinada con una disminución inversa del tiempo, o el uso de AdaGrad que adapta las tasas por característica automáticamente. Siempre estandarice las características primero, luego ajuste la tasa inicial en un pliegue de validación retenido o monitoreando la pérdida logarítmica en ejecución en una ventana reciente del flujo.
¿Puede la regresión logística en línea manejar problemas multiclase?
Sí, extiéndala a clasificadores binarios uno contra el resto entrenados en paralelo, o use la generalización softmax (multinomial) con pérdida de entropía cruzada categórica y vectores de pesos por clase, aplicando la misma regla de actualización SGD a cada uno.
¿Qué regularización debo usar?
La regularización L2 (ridge) es la predeterminada: reduce todos los pesos suavemente y funciona bien con SGD. La L1 (lasso) produce pesos dispersos y es útil cuando se desea una selección automática de características en espacios de muy alta dimensión, pero requiere una truncación cuidadosa o actualizaciones FOBOS para permanecer exactamente dispersa en línea.
¿Cómo evalúo un modelo que se actualiza continuamente?
Utilice la evaluación prequencial (probar y luego entrenar): prediga cada ejemplo antes de usarlo para una actualización de peso, luego informe la pérdida logarítmica en ejecución o el AUC en una ventana deslizante. Esto proporciona una estimación imparcial de la calidad actual del modelo sin un conjunto retenido fijo.
Métodos relacionados
Fuentes
Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent. In Proceedings of COMPSTAT 2010, 177–186. Physica-Verlag.
Abrir referencia de la publicaciónCopiado.Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.
Abrir referencia DOICopiado.