Bagging (Bootstrap Aggregating)
- Proposto por
- Breiman, L.
- Ano
- 1996
- Tipo
- Ensemble meta-algorithm (variance reduction via bootstrap aggregation)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Bagging, abreviação de Bootstrap Aggregating, é um meta-algoritmo de ensemble introduzido por Leo Breiman em 1996 que treina múltiplas cópias de um aprendiz base em amostras bootstrap extraídas independentemente dos dados de treinamento e combina suas previsões — por média para regressão ou voto majoritário para classificação — para produzir um preditor final com variância substancialmente menor do que qualquer aprendiz base individual.
A intuição por trás do método
Imagine pedir a opinião de um especialista: a resposta dele depende fortemente de suas experiências particulares. Agora imagine pedir a opinião de cem especialistas, cada um com um histórico ligeiramente diferente, e fazer a média de suas respostas. As peculiaridades individuais se cancelam e o consenso do grupo é muito mais confiável. O Bagging faz exatamente isso para modelos de aprendizado de máquina: gera muitos conjuntos de treinamento ligeiramente diferentes, reamostrando os dados originais com reposição, treina um modelo por conjunto e mescla todas as previsões. Cada modelo vê uma fatia diferente da realidade, de modo que seus erros individuais tendem a não se alinhar, e o agregado é muito mais estável do que qualquer modelo individual.
História
Leo Breiman publicou Bagging Predictors in Machine Learning em 1996, motivado pela observação de que aprendizes instáveis — aqueles cuja saída muda substancialmente sob pequenas perturbações nos dados — poderiam ser estabilizados pela média sobre réplicas bootstrap do conjunto de treinamento. A justificativa teórica repousa na decomposição viés-variância: a média reduz a variância enquanto deixa o viés inalterado. Breiman demonstrou melhorias consistentes de precisão sobre árvores de decisão únicas em uma bateria de benchmarks de classificação e regressão. O Bagging rapidamente se tornou uma técnica fundamental de ensemble e inspirou diretamente o Random Forest (Breiman, 2001), que adiciona subamostragem aleatória de variáveis em cada divisão para descorrelacionar ainda mais as árvores e alcançar uma redução de variância ainda maior. Hoje, o bagging serve como a alicerce conceitual para uma ampla família de métodos de ensemble e é um tópico padrão em currículos de aprendizado de máquina em nível de pós-graduação.
Quando usar
O Bagging é apropriado sempre que o algoritmo de aprendizado base tem alta variância — ou seja, é sensível a pequenas perturbações nos dados de treinamento — e a redução dessa variância é a principal fonte de erro. Árvores de decisão totalmente desenvolvidas e sem poda são o exemplo canônico. O Bagging é adequado tanto para classificação quanto para regressão em dados tabulares, não requer suposições sobre a distribuição dos dados e lida com tipos mistos de variáveis. É mais benéfico quando o conjunto de dados é grande o suficiente para suportar B amostras bootstrap independentes de qualidade (pelo menos cerca de 30 observações é um limite inferior prático, embora centenas sejam preferíveis). O Bagging não é benéfico quando o aprendiz base já é estável (como regressão linear em problemas bem especificados) ou quando a fonte de erro dominante é o viés em vez da variância — nesses casos, métodos de boosting são mais apropriados.
Limitações e considerações
- Não reduz o viés: se o aprendiz base subajusta, o bagging não pode corrigi-lo.
- As previsões do ensemble são mais difíceis de interpretar do que um único modelo; não há análogo da estrutura visual de uma única árvore de decisão.
- Memória e armazenamento escalam linearmente com B: manter centenas de modelos grandes na memória pode ser proibitivo.
- Os ganhos diminuem rapidamente à medida que B cresce; o desempenho geralmente se estabiliza bem antes de B = 500.
- Em aprendizes base estáveis (por exemplo, regressão linear com especificação correta), o bagging produz melhorias negligenciáveis.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Reduz diretamente a variância do estimador sem aumentar o viés, produzindo previsões mais estáveis do que qualquer modelo base único.
- Facilmente paralelizável: cada iteração bootstrap é independente, tornando grandes ensembles computacionalmente tratáveis.
- A estimativa de erro OOB integrada fornece uma estimativa honesta de generalização sem custo adicional de dados.
- Meta-algoritmo agnóstico ao modelo: compatível com qualquer aprendiz base suficientemente instável (árvores, redes neurais, vizinhos mais próximos).
- Robusto a valores atípicos no conjunto de treinamento: qualquer observação incomum única está ausente da maioria das amostras bootstrap.
Aplicações
- Construir modelos de classificação e regressão estáveis em dados tabulares ruidosos onde uma única árvore de decisão sofreria sobreajuste (overfitting).
- Gerar intervalos de predição inspecionando a dispersão das previsões entre os B aprendizes base.
- Estimativa da importância das variáveis por meio da diminuição da precisão OOB quando cada variável é permutada em todo o ensemble.
- Linha de base do ensemble: um benchmark rápido para quantificar o quanto um método mais sofisticado (boosting, stacking) melhora em relação à agregação simples.
Como funciona
Como funciona
B amostras bootstrap independentes são extraídas do conjunto de treinamento original de tamanho n. Cada amostra é gerada extraindo n observações com reposição dos dados originais, de modo que, em média, cada amostra contém cerca de 63,2% das instâncias de treinamento únicas; os restantes ~36,8% são deixados de fora e formam o conjunto out-of-bag (OOB) para aquela iteração.
Fórmula
\mathcal{D}_b = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^{n}, \quad (\mathbf{x}_i^*, y_i^*) \overset{\text{i.i.d.}}{\sim} \hat{F}_n, \quad b = 1, \dots, BUm algoritmo de aprendizado base — mais frequentemente uma árvore de decisão levada à profundidade máxima, mas qualquer aprendiz suficientemente instável se qualifica — é ajustado independentemente em cada amostra bootstrap, produzindo B modelos distintos. O requisito fundamental é a instabilidade: se pequenas perturbações nos dados causam grandes mudanças no modelo, o bagging produz a maior redução de variância.
Fórmula
\hat{f}_b = \mathcal{A}(\mathcal{D}_b)Para tarefas de regressão, as B saídas do modelo são calculadas pela média. Esta etapa de média é o principal mecanismo de redução de variância: sob suposições de independência, a variância da média de B modelos identicamente distribuídos é 1/B da variância de um único modelo, e mesmo sob correlação positiva, a redução é substancial.
Fórmula
\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(\mathbf{x})Para tarefas de classificação, cada aprendiz base lança um voto para um rótulo de classe, e a classe com mais votos é retornada como a previsão final. Empates são decididos arbitrariamente. A votação pela pluralidade é assintoticamente equivalente à média das estimativas de probabilidade de classe produzidas por cada aprendiz base.
Fórmula
\hat{y}(\mathbf{x}) = \underset{k}{\operatorname{arg\,max}} \sum_{b=1}^{B} \mathbf{1}\!\left[\hat{f}_b(\mathbf{x}) = k\right]Como cada aprendiz base é treinado em aproximadamente 63,2% dos dados, as observações restantes podem servir como um conjunto de teste honesto e retido para aquele aprendiz. A média dessas previsões OOB em todos os aprendizes que não viram cada observação fornece uma estimativa quase sem viés do erro de generalização sem a necessidade de uma dobra de validação separada ou validação cruzada.
Fórmula
\widehat{\text{Err}}_{\text{OOB}} = \frac{1}{n} \sum_{i=1}^{n} L\!\left(y_i,\; \frac{1}{|\mathcal{B}_i^c|} \sum_{b \in \mathcal{B}_i^c} \hat{f}_b(\mathbf{x}_i)\right)Erros comuns
- Aplicar bagging a um aprendiz base de baixa variância (como regressão ridge) e esperar grandes ganhos de precisão.
- Definir B muito pequeno (por exemplo, B < 10) de modo que o agregado ainda seja ruidoso e as estimativas OOB sejam não confiáveis.
- Ignorar o desbalanceamento de classes: o bagging preserva a distribuição de classes dos dados originais em cada amostra bootstrap, de modo que um desbalanceamento severo é replicado em todos os aprendizes.
- Confundir bagging com boosting: o bagging treina modelos em paralelo em amostras independentes para reduzir a variância, enquanto o boosting treina modelos sequencialmente para reduzir o viés — eles abordam fontes de erro diferentes.
- Tratar o erro OOB como substituto para avaliação adequada retida quando o conjunto de dados é muito pequeno, pois as estimativas OOB podem ser otimistas nesse regime.
Perguntas frequentes
Quantas amostras bootstrap B devo usar?
Breiman (1996) descobriu que o desempenho se estabiliza relativamente rápido; B = 50 a 100 é frequentemente suficiente para árvores de decisão. Aumentar B além de algumas centenas produz retornos decrescentes. Monitore o erro OOB à medida que B cresce e pare quando ele se estabilizar.
Qual é a diferença entre bagging e Random Forest?
Random Forest estende o bagging adicionando subamostragem aleatória de variáveis em cada divisão de cada árvore. Essa aleatorização adicional descorrelaciona ainda mais os aprendizes base, reduzindo a variância além do que o bagging sozinho alcança. O Bagging com árvores totalmente desenvolvidas é, portanto, um caso especial de Random Forest onde todas as variáveis são consideradas em cada divisão.
O bagging pode ser aplicado a aprendizes além de árvores de decisão?
Sim. Qualquer aprendiz que seja instável — cujas previsões mudam substancialmente quando os dados de treinamento mudam ligeiramente — pode se beneficiar do bagging. Redes neurais, k-vizinhos mais próximos e árvores de regressão não podadas se qualificam. Aprendizes estáveis, como regressão linear com um modelo bem especificado, beneficiam-se pouco porque há pouca variância a ser reduzida.
O erro OOB é um substituto confiável para validação cruzada?
Para conjuntos de dados moderados a grandes, o erro OOB é uma estimativa quase sem viés do erro de generalização e é computacionalmente gratuito, pois nenhum ajuste de modelo adicional é necessário. Em conjuntos de dados muito pequenos (n abaixo de cerca de 50), as estimativas OOB podem ser otimistas e a validação cruzada é preferível.
Métodos relacionados
Fontes
Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2), 123–140.
Abrir referência DOICopiado.Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8.7). Springer.
ISBN: 978-0-387-84857-0Copiado.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8.2). Springer.
ISBN: 978-1-4614-7138-7Copiado.