Saltar al contenido
Volver a los resultados

Agregación por Bootstrap (Bagging)

Propuesto por
Breiman, L.
Año
1996
Tipo
Ensemble meta-algorithm (variance reduction via bootstrap aggregation)

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

El bagging, abreviatura de Bootstrap Aggregating, es un metaalgoritmo de ensamble introducido por Leo Breiman en 1996 que entrena múltiples copias de un aprendiz base en muestras bootstrap extraídas independientemente de los datos de entrenamiento y combina sus predicciones —mediante promediación para regresión o voto mayoritario para clasificación— para producir un predictor final con una varianza sustancialmente menor que la de cualquier aprendiz base individual.

La intuición detrás del método

Imagine que pide la opinión de un experto: su respuesta depende en gran medida de sus experiencias particulares. Ahora imagine que pide la opinión de cien expertos, cada uno con una formación ligeramente diferente, y promedia sus respuestas. Las peculiaridades individuales se cancelan y el consenso del grupo es mucho más fiable. El bagging hace exactamente esto para los modelos de aprendizaje automático: genera muchos conjuntos de entrenamiento ligeramente diferentes remuestreando los datos originales con reemplazo, entrena un modelo por conjunto y fusiona todas las predicciones. Cada modelo ve una porción diferente de la realidad, por lo que sus errores individuales tienden a no alinearse, y el agregado es mucho más estable que cualquier modelo individual.

Historia

Leo Breiman publicó Bagging Predictors in Machine Learning en 1996, motivado por la observación de que los aprendices inestables —aquellos cuya salida cambia sustancialmente bajo pequeñas perturbaciones de datos— podían estabilizarse promediando sobre réplicas bootstrap del conjunto de entrenamiento. La justificación teórica se basa en la descomposición sesgo-varianza: el promediado reduce la varianza mientras deja el sesgo sin cambios. Breiman demostró mejoras consistentes en la precisión sobre árboles de decisión únicos en una batería de puntos de referencia de clasificación y regresión. El bagging se convirtió rápidamente en una técnica de ensamble fundamental e inspiró directamente Random Forest (Breiman, 2001), que añade submuestreo aleatorio de características en cada división para descorrelacionar aún más los árboles y lograr una reducción de varianza aún mayor. Hoy en día, el bagging sirve como el eje conceptual para una amplia familia de métodos de ensamble y es un tema estándar en los planes de estudio de aprendizaje automático a nivel de posgrado.

Cuándo usarlo

El bagging es apropiado siempre que el algoritmo de aprendizaje base sea de alta varianza —es decir, sensible a pequeñas perturbaciones en los datos de entrenamiento— y la reducción de esa varianza sea la principal fuente de error. Los árboles de decisión completamente crecidos y sin podar son el ejemplo canónico. El bagging es adecuado tanto para clasificación como para regresión en datos tabulares, no requiere suposiciones sobre la distribución de los datos y maneja tipos de características mixtas. Es más beneficioso cuando el conjunto de datos es lo suficientemente grande como para soportar B muestras bootstrap independientes de calidad (al menos unas 30 observaciones es un límite práctico inferior, aunque se prefieren cientos). El bagging no es beneficioso cuando el aprendiz base ya es estable (como la regresión lineal en problemas bien especificados) o cuando la fuente de error dominante es el sesgo en lugar de la varianza; en tales casos, los métodos de boosting son más apropiados.

Limitaciones y consideraciones

  • No reduce el sesgo: si el aprendiz base subajusta, el bagging no puede corregirlo.
  • Las predicciones del ensamble son más difíciles de interpretar que las de un modelo único; no hay un análogo de la estructura visual de un árbol de decisión único.
  • La memoria y el almacenamiento escalan linealmente con B: mantener cientos de modelos grandes en memoria puede ser prohibitivo.
  • Las ganancias disminuyen rápidamente a medida que B crece; el rendimiento generalmente se estabiliza mucho antes de B = 500.
  • En aprendices base estables (por ejemplo, regresión lineal con especificación correcta), el bagging produce una mejora insignificante.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Reduce directamente la varianza del estimador sin aumentar el sesgo, produciendo predicciones más estables que cualquier modelo base individual.
  • Trivialmente paralelizable: cada iteración bootstrap es independiente, lo que hace que los ensambles grandes sean computacionalmente tratables.
  • La estimación integrada del error OOB proporciona una estimación honesta de la generalización sin coste de datos adicional.
  • Metaalgoritmo agnóstico al modelo: compatible con cualquier aprendiz base suficientemente inestable (árboles, redes neuronales, vecinos más cercanos).
  • Robusto frente a valores atípicos en el conjunto de entrenamiento: cualquier observación inusual individual está ausente en la mayoría de las muestras bootstrap.

Aplicaciones

  • Construir modelos de clasificación y regresión estables en datos tabulares ruidosos donde un solo árbol de decisión sobreajustaría.
  • Generar intervalos de predicción inspeccionando la dispersión de las predicciones entre los B aprendices base.
  • Estimación de la importancia de las características mediante la disminución de la precisión OOB cuando cada característica se permuta en todo el ensamble.
  • Línea base del ensamble: un punto de referencia rápido para cuantificar cuánto mejora un método más sofisticado (boosting, stacking) sobre la agregación simple.

Cómo funciona

Cómo funciona

1

Se extraen B muestras bootstrap independientes del conjunto de entrenamiento original de tamaño n. Cada muestra se genera extrayendo n observaciones con reemplazo de los datos originales, por lo que en promedio cada muestra contiene aproximadamente el 63,2% de las instancias de entrenamiento únicas; el restante ~36,8% se deja fuera y forma el conjunto fuera de bolsa (OOB, Out-Of-Bag) para esa iteración.

Fórmula
\mathcal{D}_b = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^{n}, \quad (\mathbf{x}_i^*, y_i^*) \overset{\text{i.i.d.}}{\sim} \hat{F}_n, \quad b = 1, \dots, B
2

Un algoritmo de aprendizaje base —más a menudo un árbol de decisión crecido hasta su máxima profundidad, pero cualquier aprendiz suficientemente inestable califica— se ajusta independientemente en cada muestra bootstrap, produciendo B modelos distintos. El requisito clave es la inestabilidad: si pequeñas perturbaciones en los datos causan grandes cambios en el modelo, el bagging produce la mayor reducción de varianza.

Fórmula
\hat{f}_b = \mathcal{A}(\mathcal{D}_b)
3

Para tareas de regresión, se promedian las B predicciones de los modelos. Este paso de promediación es el principal mecanismo de reducción de varianza: bajo supuestos de independencia, la varianza del promedio de B modelos idénticamente distribuidos es 1/B de la varianza de un solo modelo, e incluso bajo correlación positiva, la reducción es sustancial.

Fórmula
\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(\mathbf{x})
4

Para tareas de clasificación, cada aprendiz base emite un voto para una etiqueta de clase, y la clase con más votos se devuelve como la predicción final. Los empates se resuelven de forma arbitraria. La votación por pluralidad es asintóticamente equivalente a promediar las estimaciones de probabilidad de clase producidas por cada aprendiz base.

Fórmula
\hat{y}(\mathbf{x}) = \underset{k}{\operatorname{arg\,max}} \sum_{b=1}^{B} \mathbf{1}\!\left[\hat{f}_b(\mathbf{x}) = k\right]
5

Dado que cada aprendiz base se entrena con aproximadamente el 63,2% de los datos, las observaciones restantes pueden servir como un conjunto de prueba honesto y reservado para ese aprendiz. El promedio de estas predicciones OOB en todos los aprendices que no vieron cada observación proporciona una estimación casi insesgada del error de generalización sin requerir un pliegue de validación separado o validación cruzada.

Fórmula
\widehat{\text{Err}}_{\text{OOB}} = \frac{1}{n} \sum_{i=1}^{n} L\!\left(y_i,\; \frac{1}{|\mathcal{B}_i^c|} \sum_{b \in \mathcal{B}_i^c} \hat{f}_b(\mathbf{x}_i)\right)

Errores comunes

  • Aplicar bagging a un aprendiz base de baja varianza (como la regresión ridge) y esperar grandes ganancias de precisión.
  • Establecer B demasiado pequeño (por ejemplo, B < 10) de modo que el agregado siga siendo ruidoso y las estimaciones OOB no sean fiables.
  • Ignorar el desequilibrio de clases: el bagging preserva la distribución de clases de los datos originales en cada muestra bootstrap, por lo que el desequilibrio severo se replica en todos los aprendices.
  • Confundir bagging con boosting: el bagging entrena modelos en paralelo en muestras independientes para reducir la varianza, mientras que el boosting entrena modelos secuencialmente para reducir el sesgo; abordan diferentes fuentes de error.
  • Tratar el error OOB como un sustituto de la evaluación adecuada reservada cuando el conjunto de datos es muy pequeño, ya que las estimaciones OOB pueden ser optimistas en ese régimen.

Preguntas frecuentes

¿Cuántas muestras bootstrap B debo usar?

Breiman (1996) encontró que el rendimiento se estabiliza con relativa rapidez; B = 50 a 100 suele ser suficiente para los árboles de decisión. Aumentar B más allá de unos pocos cientos produce rendimientos decrecientes. Supervise el error OOB a medida que B crece y deténgase cuando se estabilice.

¿Cuál es la diferencia entre bagging y Random Forest?

Random Forest extiende el bagging añadiendo submuestreo aleatorio de características en cada división de cada árbol. Esta aleatorización adicional descorrelaciona aún más los aprendices base, reduciendo la varianza más allá de lo que el bagging solo logra. Por lo tanto, el bagging con árboles completamente crecidos es un caso especial de Random Forest donde se consideran todas las características en cada división.

¿Se puede aplicar el bagging a aprendices distintos de los árboles de decisión?

Sí. Cualquier aprendiz que sea inestable —cuyas predicciones cambian sustancialmente cuando los datos de entrenamiento cambian ligeramente— puede beneficiarse del bagging. Las redes neuronales, los k-vecinos más cercanos y los árboles de regresión sin podar califican. Los aprendices estables como la regresión lineal con un modelo bien especificado se benefician poco porque hay poca varianza que reducir.

¿Es el error OOB un sustituto fiable de la validación cruzada?

Para conjuntos de datos moderados a grandes, el error OOB es una estimación casi insesgada del error de generalización y es computacionalmente gratuito, ya que no se requieren ajustes de modelo adicionales. En conjuntos de datos muy pequeños (n por debajo de unas 50), las estimaciones OOB pueden ser optimistas y la validación cruzada es preferible.

Métodos relacionados

Fuentes

  1. Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2), 123–140.

    Abrir referencia DOI
    Copiado.
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8.7). Springer.

    ISBN: 978-0-387-84857-0
    Copiado.
  3. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8.2). Springer.

    ISBN: 978-1-4614-7138-7
    Copiado.