Random Forest en línea
- Propuesto por
- Saffari, A. et al.
- Año
- 2009
- Tipo
- Incremental ensemble (streaming decision trees)
- Familia
- Machine learning
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
Random Forest en línea (ORF) extiende el clásico Random Forest a entornos de transmisión (streaming), actualizando cada árbol incrementalmente a medida que llegan nuevas observaciones sin almacenar ni reproducir el conjunto de datos de entrenamiento completo.
Algoritmos como Adaptive Random Forests (ARF) añaden detección de deriva (drift detection) para que el conjunto (ensemble) se adapte cuando la distribución de los datos cambia con el tiempo.
La intuición detrás del método
El Random Forest clásico requiere el conjunto de datos completo de antemano para construir sus árboles. Online Random Forest reemplaza el muestreo bootstrap por lotes (batch bootstrap sampling) con un truco de embolsamiento (bagging) en línea ponderado por Poisson: cada observación entrante se pasa a cada árbol, que decide —mediante el sorteo de un recuento de Poisson— cuántas veces tratar ese ejemplo como un nuevo punto de entrenamiento. Los árboles crecen incrementalmente utilizando criterios de búsqueda de divisiones (split-finding) en línea (p. ej., límites de Hoeffding), y un módulo de detección de deriva vigila la deriva del concepto (concept drift), reemplazando los árboles obsoletos por otros nuevos. El resultado es un bosque que aprende continuamente de una transmisión (stream) y, al mismo tiempo, combina múltiples árboles diversos para la reducción de la varianza.
Historia
El embolsamiento en línea fue formalizado por Oza & Russell (2001) como una aproximación ponderada por Poisson a la agregación bootstrap. Saffari et al. (2009) introdujeron On-line Random Forests combinando embolsamiento en línea con selección aleatoria de características y criterios de división basados en Hoeffding para transmisiones de visión por computadora. Gomes et al. (2017) introdujeron Adaptive Random Forests (ARF), añadiendo detección de deriva por árbol a través de ADWIN, y demostraron precisión de vanguardia en tareas de clasificación de flujos de datos de referencia. ARF se convirtió en una línea base estándar en el marco MOA (Massive Online Analysis).
Cuándo usarlo
Utilice Online Random Forest cuando los datos lleguen continuamente o en lotes grandes que no se puedan mantener en memoria, cuando la deriva del concepto sea plausible (p. ej., flujos financieros, redes de sensores, registros de comportamiento de usuarios), o cuando se requieran predicciones de baja latencia antes de que el conjunto de datos completo esté disponible. También es una opción natural para aplicaciones donde los datos etiquetados llegan gradualmente con el tiempo. Evítelo cuando el conjunto de datos completo quepa cómodamente en memoria y el reentrenamiento sea asequible; en ese caso, un Random Forest estándar entrenado sin conexión (offline) será típicamente más preciso y más simple de validar. Evítelo también cuando necesite clasificaciones de importancia de características (feature-importance) estables y reproducibles, ya que los bosques en línea producen estimaciones de importancia menos estables que sus contrapartes por lotes.
Limitaciones y consideraciones
- Las decisiones de división tomadas temprano con datos escasos pueden ser subóptimas y difíciles de revisar.
- Las estimaciones de importancia de características son menos estables que en el Random Forest por lotes.
- La sintonización de hiperparámetros (número de árboles, umbrales de detección de deriva) es más compleja en un contexto de transmisión.
- La evaluación requiere protocolos dedicados basados en transmisión (prequencial/test-then-train) que difieren de la validación cruzada estándar.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Aprende de datos de transmisión con memoria constante por árbol, independiente de la longitud de la transmisión.
- Se adapta a la deriva del concepto cuando se combina con mecanismos de detección de deriva como ADWIN.
- Hereda los beneficios de reducción de varianza de la agregación de conjuntos (ensemble aggregation) incluso en un entorno en línea.
- Proporciona predicciones utilizables desde las primeras observaciones, mejorando con el tiempo.
- No es necesario almacenar ni reproducir el conjunto de datos histórico completo.
Aplicaciones
- Detección de fraude e intrusiones en tiempo real en flujos de red o transacciones.
- Mantenimiento predictivo a partir de flujos de sensores donde las distribuciones cambian con el envejecimiento del equipo.
- Predicción de tasa de clics (click-through rate) en publicidad, donde el comportamiento del usuario evoluciona diariamente.
- Monitorización médica donde el estado del paciente cambia continuamente con el tiempo.
- Detección ambiental y climática con patrones estacionales no estacionarios.
Cómo funciona
Cómo funciona
Se inicializa un conjunto de T árboles (o árboles de Hoeffding). Cada árbol mantiene estadísticas suficientes por hoja —recuentos de clases o sumas de cuadrados para regresión— en lugar de almacenar observaciones crudas, lo que hace que el modelo tenga una memoria constante por árbol.
Para cada observación que llega, cada árbol extrae independientemente k de una distribución Poisson(1) y trata la observación como k replicaciones virtuales de sí misma. Cuando k = 0, el árbol omite el punto (actuando como su muestra fuera de bolsa o out-of-bag sample). Esto aproxima el muestreo bootstrap sin requerir el conjunto de datos completo.
Fórmula
k \sim \text{Poisson}(\lambda),\; \lambda=1Cada árbol actualiza las estadísticas suficientes en su hoja activa. Se activa una división cuando un criterio estadísticamente sólido (como el límite de Hoeffding) indica que es poco probable que la mejor división cambie con más datos, después de lo cual la hoja se expande a un nodo interno y se inicializan nuevas hojas.
Un módulo opcional de detección de deriva (p. ej., ADWIN) monitoriza el error de predicción de cada árbol en la transmisión fuera de bolsa (out-of-bag stream). Cuando se detecta una degradación estadísticamente significativa, el árbol afectado se reinicia o se reemplaza por un árbol recién inicializado, manteniendo el conjunto actualizado con las distribuciones en evolución.
En cualquier momento, todos los árboles activos votan: voto mayoritario para clasificación o predicción media para regresión. Los árboles que han procesado muy pocos ejemplos pueden ser ponderados a la baja o excluidos hasta que acumulen suficientes datos para emitir votos fiables.
Fórmula
\hat{y} = \text{mode/mean of active trees}Errores comunes
- Evaluación con validación cruzada k-fold estándar, que asume datos i.i.d. (independientes e idénticamente distribuidos) e ignora el orden temporal.
- Ignorar la deriva del concepto: no incluir un componente de detección de deriva cuando la distribución de los datos cambia con el tiempo.
- Comparar la precisión del bosque en línea directamente con un Random Forest por lotes entrenado con el conjunto de datos histórico completo; este último tiene una ventaja informativa inherente.
- Usar muy pocos árboles al principio de la transmisión antes de que cada árbol haya visto suficientes datos para realizar divisiones fiables.
- Olvidar que el embolsamiento ponderado por Poisson aproxima el bootstrap; no reproduce exactamente las propiedades estadísticas del bootstrap por lotes.
Preguntas frecuentes
¿En qué se diferencia Online Random Forest del Random Forest estándar?
El Random Forest estándar entrena todos los árboles a la vez en el conjunto de datos completo utilizando muestreo bootstrap. Online Random Forest reemplaza el bootstrap por lotes con embolsamiento en línea ponderado por Poisson, actualiza las divisiones de los árboles incrementalmente a medida que llega cada observación y opcionalmente detecta y se adapta a la deriva del concepto, todo ello sin almacenar datos pasados.
¿Qué es el truco de ponderación de Poisson?
Cada ejemplo entrante se muestra a cada árbol k veces, donde k se extrae de Poisson(1). Dado que el valor esperado de k es 1, y k = 0 con una probabilidad de ~37%, esto aproxima estadísticamente el proceso bootstrap (muestreo con reemplazo) sin necesidad de tener todo el conjunto de datos en memoria.
¿Cómo debo evaluar un bosque aleatorio en línea?
Utilice el protocolo prequencial (test-then-train): para cada observación entrante, primero prediga con el modelo actual, registre el error y luego actualice el modelo. Esto proporciona una estimación imparcial y ordenada temporalmente del rendimiento predictivo sin fuga de datos (data leakage).
¿Cuándo debo añadir detección de deriva?
Siempre que sea probable que el proceso generador de datos cambie con el tiempo; por ejemplo, preferencias del usuario, mercados financieros o sistemas mecánicos que se desgastan. Sin detección de deriva, los árboles obsoletos se acumulan y degradan la precisión del conjunto. ADWIN es una opción común y bien probada.
¿Es Adaptive Random Forest lo mismo?
ARF es la variante más adoptada de Online Random Forest. Combina embolsamiento en línea, selección aleatoria de características y detección de deriva ADWIN por árbol, y está disponible en las bibliotecas MOA y scikit-multiflow/River. El término 'Online Random Forest' a menudo se refiere genéricamente a la familia; ARF es una implementación específica y muy recomendada.
Métodos relacionados
Fuentes
Saffari, A., Leistner, C., Santner, J., Godec, M., & Bischof, H. (2009). On-line random forests. In Proceedings of the 3rd IEEE International Workshop on On-Line Learning for Computer Vision (OLCV 2009), pp. 1–8. IEEE.
Abrir referencia de la publicaciónCopiado.Gomes, H. M., Bifet, A., Read, J., Barddal, J. P., Enembreck, F., Pfharinger, B., Holmes, G., & Abdessalem, T. (2017). Adaptive random forests for evolving data stream classification. Machine Learning, 106(9), 1469–1495.
Abrir referencia DOICopiado.