Online Bagging
- Propuesto por
- Oza, N. C. & Russell, S.
- Año
- 2001
- Tipo
- Online ensemble (streaming bagging)
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Online Bagging es un método de ensamble para flujos de datos introducido por Oza y Russell en 2001 que adapta el marco clásico de agregación bootstrap (Bagging) al entorno de aprendizaje en línea.
En lugar de remuestrear un conjunto de datos fijo, cada instancia entrante se alimenta a cada aprendiz base un número de veces distribuido según Poisson(1), aproximando fielmente el remuestreo bootstrap a medida que el flujo evoluciona. El resultado es un ensamble robusto y actualizado incrementalmente que puede manejar la deriva conceptual y la llegada continua de datos sin almacenar el conjunto de datos completo.
La intuición detrás del método
El Bagging clásico extrae muestras bootstrap aleatorias de un conjunto de datos fijo y entrena un árbol por muestra. Online Bagging imita esto sin ver nunca el conjunto de datos completo a la vez: cuando llega un nuevo ejemplo, se pasa a cada aprendiz base un número aleatorio de veces extraído de una distribución de Poisson con media 1. En promedio, cada aprendiz ve el ejemplo una vez —exactamente lo que logra el remuestreo bootstrap en modo batch— pero la aleatoriedad descorrelaciona a los aprendices. Dado que no es necesario almacenar datos, el ensamble puede crecer indefinidamente con el flujo y ajustarse naturalmente a las distribuciones cambiantes con el tiempo.
Historia
Online Bagging fue introducido por Nitesh Oza y Stuart Russell en AISTATS 2001 como una extensión teórica y práctica del algoritmo Bagging de Breiman de 1996 al entorno en línea. La idea clave —reemplazar el remuestreo bootstrap con ponderación Poisson(1) por instancia— hizo que la aproximación fuera matemáticamente rigurosa. Se convirtió en un algoritmo fundamental en la literatura del aprendizaje automático de flujos y es el ensamble base en plataformas como MOA (Massive Online Analysis), que ha impulsado la mayoría de las evaluaciones empíricas de clasificadores de flujos desde 2010.
Cuándo usarlo
Utilice Online Bagging cuando los datos lleguen como un flujo continuo y almacenar el conjunto de datos completo sea inviable o esté prohibido (p. ej., registros de sensores, flujos de clics, datos de ticks financieros, monitorización en tiempo real). Es apropiado cuando necesita clasificación o regresión que se actualice con cada nueva observación, tolera una leve deriva conceptual y se mantiene eficiente en memoria. No utilice Online Bagging como un reemplazo directo para Random Forest en batch sobre un conjunto de datos fijo, pequeño o mediano — los ensambles en batch con validación cruzada lo superarán allí. Evítelo también cuando el flujo de datos presente una deriva abrupta severa sin añadir un mecanismo explícito de detección de deriva.
Limitaciones y consideraciones
- En conjuntos de datos estáticos, los métodos en batch como Random Forest o XGBoost superan consistentemente a Online Bagging porque pueden utilizar validación cruzada completa y divisiones óptimas.
- El Online Bagging básico ofrece solo una resiliencia limitada a la deriva conceptual severa; se deben añadir detectores de deriva dedicados (p. ej., ADWIN) externamente.
- La ponderación de Poisson introduce varianza adicional por instancia, lo que puede ralentizar la convergencia en flujos cortos.
- La interpretabilidad es baja: el ensamble de muchos árboles crecidos incrementalmente es más difícil de inspeccionar que un solo árbol de decisión.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Procesa datos instancia a instancia con memoria constante, permitiendo flujos verdaderamente ilimitados.
- La ponderación de Poisson aproxima provablemente el remuestreo bootstrap, proporcionando una reducción de la varianza del ensamble comparable al Bagging en batch.
- Naturalmente paralelizable: cada aprendiz base se actualiza de forma independiente, lo que lo hace adecuado para arquitecturas de transmisión distribuidas.
- No tiene hiperparámetros tan sensibles como la profundidad del árbol — el ensamble se autorregula a través de la diversidad.
- Se extiende de forma sencilla a clasificación multiclase y regresión sin cambios estructurales.
Aplicaciones
- Detección de fraude en tiempo real en flujos continuos de transacciones.
- Mantenimiento predictivo a partir de flujos de datos de sensores en entornos IoT industriales.
- Predicción de la tasa de clics en publicidad en línea donde el comportamiento del usuario evoluciona continuamente.
- Detección de intrusiones en red en flujos de paquetes de alto rendimiento.
- Monitorización ambiental: clasificación incremental de lecturas de sensores de calidad del aire o meteorología.
Cómo funciona
Cómo funciona
Para cada instancia que llega, se muestrea un peso k independientemente de una distribución Poisson(1) para cada aprendiz base. Un peso de 0 significa que el aprendiz omite esta instancia por completo; un peso de 2 significa que aprende de la instancia dos veces. Esta ponderación estocástica es el análogo en línea del remuestreo bootstrap y es el núcleo matemático del algoritmo.
Fórmula
k \sim \text{Poisson}(1)Cada aprendiz base —típicamente un árbol de decisión incremental como un Árbol de Hoeffding— recibe la instancia actual con su peso asignado y actualiza su modelo interno inmediatamente. No se almacena ninguna instancia después de su procesamiento. Esta propiedad de pasada única mantiene la memoria acotada y permite que el ensamble escale a flujos arbitrariamente largos.
Cuando se requiere una predicción, los M aprendices base producen su salida individual para la instancia de consulta. El ensamble combina estas mediante voto mayoritario para clasificación o por media aritmética para regresión, dando la misma lógica agregada que el Bagging en batch pero calculada sobre modelos entrenados incrementalmente.
Fórmula
\hat{y} = \text{mode/mean of } M \text{ base learners}Errores comunes
- Evaluar Online Bagging con un conjunto de prueba retenido creado antes de comenzar el entrenamiento — utilice en su lugar la evaluación prequencial (test-then-train), que es el estándar en el aprendizaje automático de flujos.
- Asumir que el número predeterminado de aprendices base (a menudo 10) es suficiente; generalmente se necesitan ensambles de al menos 50-100 aprendices para predicciones estables.
- Ignorar la deriva conceptual: desplegar Online Bagging en un flujo con deriva sin detección de deriva conduce a una degradación silenciosa de la precisión.
- Comparar la precisión en un benchmark estático con métodos en batch y concluir que Online Bagging es inferior — la comparación correcta es la precisión por instancia vista en un benchmark de flujos.
- Utilizar aprendices base que no sean verdaderamente incrementales (p. ej., árboles en batch reentrenados), lo que niega las ventajas de memoria y velocidad del marco en línea.
Preguntas frecuentes
¿Por qué específicamente Poisson(1)?
Una distribución de Poisson con media 1 aproxima el número de veces que una observación aparece en una muestra bootstrap de tamaño n a medida que n tiende a infinito. Usar Poisson(1) por instancia por aprendiz replica exactamente este comportamiento límite, haciendo que la aproximación en línea sea teóricamente sólida.
¿Cómo difiere Online Bagging de Adaptive Random Forest?
Adaptive Random Forest (Gomes et al., 2017) extiende Online Bagging añadiendo submuestreo aleatorio de características en cada división (como Random Forest en batch) e integrando detectores de deriva por árbol que reinician aprendices individuales cuando se detecta deriva conceptual. Online Bagging es la base más simple; Adaptive Random Forest es el ensamble de flujos de vanguardia actual construido sobre él.
¿Qué aprendiz base debo usar?
La opción más común es el Árbol de Hoeffding (también llamado VFDT), que es el árbol de decisión incremental canónico. Utiliza los límites de Hoeffding para decidir cuándo se han visto suficientes datos en un nodo para dividir, manteniendo el árbol actualizable sin almacenar instancias pasadas.
¿Cuántos aprendices base necesito?
Los benchmarks empíricos en el marco MOA sugieren 50-100 aprendices base para un rendimiento estable del ensamble en la mayoría de las tareas de flujos. Menos aprendices reducen el costo computacional pero aumentan la varianza de la predicción, especialmente al principio del flujo.
¿Cómo debo evaluar un clasificador Online Bagging?
Utilice la evaluación prequencial: para cada instancia entrante, primero prediga su etiqueta, luego actualice el modelo. La precisión se calcula como el promedio móvil de predicciones correctas. Esto evita cualquier sesgo de anticipación y refleja las condiciones reales de despliegue.
Métodos relacionados
Fuentes
Oza, N. C., & Russell, S. (2001). Online bagging and boosting. In Proceedings of the Eighth International Workshop on Artificial Intelligence and Statistics (AISTATS 2001), pp. 105–112.
Abrir referencia de la publicaciónCopiado.Bifet, A., Holmes, G., Kirkby, R., & Pfahringer, B. (2010). MOA: Massive Online Analysis. Journal of Machine Learning Research, 11, 1601–1604.
Abrir referencia de la publicaciónCopiado.