Saltar al contenido
Volver a los resultados

Agregación de muestras bootstrap (Bagging)

Propuesto por
Leo Breiman
Año
1996
Tipo
parallel ensemble
Familia
Ensemble

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

Bagging, abreviatura de agregación de muestras bootstrap (bootstrap aggregating), es un método de conjunto (ensemble) que reduce la varianza entrenando múltiples copias de un único algoritmo de aprendizaje sobre diferentes subconjuntos aleatorios de los datos de entrenamiento.

Cada subconjunto se crea mediante muestreo bootstrap: extracción aleatoria de muestras con reemplazo. Las predicciones se combinan mediante votación mayoritaria (clasificación) o promediación (regresión). Introducido por Leo Breiman en 1996, el bagging constituye la base de los bosques aleatorios (random forests) y es particularmente eficaz para reducir el sobreajuste (overfitting) en modelos de alta varianza.

La intuición detrás del método

La idea central es que, al entrenar el mismo modelo sobre diferentes subconjuntos aleatorios de datos y promediar sus predicciones, se reduce la varianza sin aumentar el sesgo. Si un modelo se sobreajusta a muestras de entrenamiento específicas, diferentes muestras bootstrap exponen distintos subconjuntos de este sobreajuste, y el promedio cancela los patrones espurios. El bagging funciona explotando la aleatoriedad: cada muestra bootstrap es ligeramente diferente, por lo que cada modelo entrenado es ligeramente diferente, y su agregado es más estable que cualquier modelo individual.

Historia

El bagging fue introducido por Leo Breiman en 1996, basándose en el método bootstrap de la estadística (Efron, 1979). Breiman demostró que el bagging reduce el error de predicción de los aprendices inestables al disminuir la varianza. El método se convirtió en fundamental con la introducción de los Bosques Aleatorios (Random Forests) (Breiman, 2001), que combinan el bagging con la selección aleatoria de características. El bagging sigue siendo una técnica estándar en el aprendizaje automático, especialmente para métodos de conjunto.

Cuándo usarlo

Utilizar bagging cuando se trabaja con modelos de alta varianza (p. ej., árboles de decisión, redes neuronales) que tienden a sobreajustarse. Es más eficaz cuando los aprendices base son inestables —sensibles a pequeños cambios en los datos de entrenamiento. El bagging es menos eficaz para modelos de bajo sesgo y baja varianza (p. ej., k-NN con k pequeño, regresión lineal sobre datos estables). También es adecuado para la computación paralela, ya que cada aprendiz base puede entrenarse de forma independiente.

Limitaciones y consideraciones

  • No proporciona reducción de sesgo; solo es eficaz para aprendices base de alta varianza.
  • El coste computacional escala linealmente con el número de aprendices base.
  • Las muestras bootstrap carecen de diversidad en comparación con estrategias de muestreo deliberadas.
  • Puede no mejorar el rendimiento cuando los modelos base tienen un alto sesgo (p. ej., modelos lineales sobre datos complejos).

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Reduce la varianza sin aumentar el sesgo, mejorando la generalización.
  • Funciona con cualquier tipo de aprendiz base; puede utilizar modelos inestables como los árboles.
  • Fácilmente paralelizable — cada muestra bootstrap puede procesarse de forma independiente.
  • Proporciona estimaciones de varianza a través del cálculo del error fuera de muestra (out-of-bag error).
  • Simple de implementar con una mínima sintonización de hiperparámetros.

Aplicaciones

  • Diagnóstico médico: bagging de árboles de decisión para la clasificación de enfermedades con el fin de mejorar la robustez ante datos de pacientes ruidosos.
  • Modelado de riesgo financiero: conjunto de árboles de decisión para la predicción de impago de crédito en diversas condiciones de mercado.
  • Teledetección: bagging de clasificadores de imágenes para clasificar imágenes satelitales con sobreajuste reducido.
  • Genómica: métodos de conjunto para la selección de genes y la predicción de enfermedades a partir de datos de microarrays de alta dimensionalidad.
  • Control de calidad de fabricación: bagging de redes neuronales para la detección de defectos en procesos de producción.

Cómo funciona

Cómo funciona

1

Crear B muestras bootstrap muestreando aleatoriamente los datos de entrenamiento con reemplazo, cada una de tamaño igual al conjunto de datos original.

2

Entrenar un aprendiz base independiente (p. ej., árbol de decisión, red neuronal) en cada muestra bootstrap.

3

Para una nueva entrada, pasarla a través de los B aprendices base entrenados y recopilar sus predicciones.

4

Combinar predicciones mediante votación mayoritaria (clasificación) o promediación (regresión).

Errores comunes

  • Usar muy pocos aprendices base (B < 20) reduce el beneficio de reducción de varianza; los rendimientos decrecientes suelen ocurrir alrededor de B = 100-500.
  • Entrenar aprendices base en subconjuntos superpuestos (p. ej., divisiones de datos consecutivas) en lugar de muestras bootstrap aleatorias.
  • Asumir que el bagging elimina el sobreajuste; reduce la varianza pero los modelos sesgados siguen estando sesgados.
  • No aprovechar las predicciones fuera de muestra (out-of-bag) para la validación, perdiendo una alternativa eficiente a la validación cruzada.

Preguntas frecuentes

¿Cuántas muestras bootstrap (B) debería usar?

Comience con B = 50-100 y monitorice el rendimiento; típicamente, los beneficios se estabilizan alrededor de B = 100-500. Aumente B si la reducción de varianza se estanca. Para aplicaciones críticas, B > 1000 puede estar justificado a pesar del coste computacional.

¿Qué es el error fuera de muestra (out-of-bag error) y cómo lo uso?

Cada muestra bootstrap excluye aproximadamente 1/3 de los datos originales (alrededor del 36.8% en promedio). Estas muestras fuera de muestra pueden usarse para validar ese modelo específico sin necesidad de un conjunto de validación separado. El promedio de los errores fuera de muestra de todos los modelos estima el error de generalización.

¿Es el bagging mejor que la validación cruzada?

Sirven para propósitos diferentes. La validación cruzada estima el rendimiento del modelo; el bagging lo mejora. Use bagging para entrenar un conjunto y estimaciones fuera de muestra para validar, evitando la sobrecarga de la validación cruzada k-fold.

¿Puede el bagging mejorar modelos de baja varianza como k-NN?

No de manera efectiva. El bagging está diseñado para modelos de alta varianza. Los modelos de baja varianza (estables, simples) se benefician poco de la reducción de varianza. Considere otros métodos de conjunto o céntrese en la reducción de sesgo en su lugar.

Métodos relacionados

Fuentes

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    Abrir referencia DOI
    Copiado.
  2. Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.

    Abrir referencia DOI
    Copiado.