Skip to content
Voltar aos resultados

Bagging Ensemble

Proposto por
Leo Breiman
Ano
1996
Tipo
parallel ensemble
Família
Ensemble

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Bagging, abreviação de bootstrap aggregating, é um método de ensemble que reduz a variância treinando múltiplas cópias de um único algoritmo de aprendizado em diferentes subconjuntos aleatórios dos dados de treinamento.

Cada subconjunto é criado via bootstrap sampling—amostragem aleatória com reposição. As previsões são combinadas por meio de voto majoritário (classificação) ou média (regressão). Introduzido por Leo Breiman em 1996, o bagging forma a base para random forests e é particularmente eficaz na redução de overfitting em modelos de alta variância.

A intuição por trás do método

A ideia central é que, ao treinar o mesmo modelo em diferentes subconjuntos aleatórios de dados e calcular a média de suas previsões, reduz-se a variância sem aumentar o viés. Se um modelo sofre overfitting para amostras de treinamento específicas, diferentes amostras de bootstrap expõem diferentes subconjuntos desse overfitting, e a média cancela padrões espúrios. O bagging funciona explorando a aleatoriedade: cada amostra de bootstrap é ligeiramente diferente, de modo que cada modelo treinado é ligeiramente diferente, e seu agregado é mais estável do que qualquer modelo individual.

História

O bagging foi introduzido por Leo Breiman em 1996, baseando-se no método bootstrap da estatística (Efron, 1979). Breiman demonstrou que o bagging reduz o erro de predição de aprendizes instáveis ao reduzir a variância. O método tornou-se fundamental com a introdução do Random Forests (Breiman, 2001), que combina bagging com seleção aleatória de características. O bagging permanece uma técnica padrão em aprendizado de máquina, especialmente para métodos de ensemble.

Quando usar

Use bagging ao trabalhar com modelos de alta variância (por exemplo, árvores de decisão, redes neurais) que tendem a sofrir overfitting. É mais eficaz quando os aprendizes base são instáveis—sensíveis a pequenas mudanças nos dados de treinamento. O bagging é menos eficaz para modelos de baixo viés e baixa variância (por exemplo, k-NN com k pequeno, regressão linear em dados estáveis). Também é bem adequado para computação paralela, pois cada aprendiz base pode ser treinado independentemente.

Limitações e considerações

  • Não fornece redução de viés; só é eficaz para aprendizes base de alta variância.
  • O custo computacional escala linearmente com o número de aprendizes base.
  • As amostras de bootstrap carecem de diversidade em comparação com estratégias de amostragem deliberadas.
  • Pode não melhorar o desempenho quando os modelos base têm alto viés (por exemplo, modelos lineares em dados complexos).

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Reduz a variância sem aumentar o viés, melhorando a generalização.
  • Funciona com qualquer tipo de aprendiz base; pode usar modelos instáveis como árvores.
  • Facilmente paralelizado—cada amostra de bootstrap pode ser processada independentemente.
  • Fornece estimativas de variância através do cálculo do erro out-of-bag.
  • Simples de implementar com ajuste mínimo de hiperparâmetros.

Aplicações

  • Diagnóstico médico: bagging de árvores de decisão para classificação de doenças para melhorar a robustez a dados ruidosos de pacientes.
  • Modelagem de risco financeiro: ensemble de árvores de decisão para predição de inadimplência de crédito em diferentes condições de mercado.
  • Sensoriamento remoto: bagging de classificadores de imagem para classificar imagens de satélite com overfitting reduzido.
  • Genômica: métodos de ensemble para seleção de genes e predição de doenças a partir de dados de microarray de alta dimensionalidade.
  • Controle de qualidade na fabricação: bagging de redes neurais para detecção de defeitos em processos de produção.

Como funciona

Como funciona

1

Criar B amostras de bootstrap amostrando aleatoriamente dos dados de treinamento com reposição, cada uma com tamanho igual ao do conjunto de dados original.

2

Treinar um aprendiz base independente (por exemplo, árvore de decisão, rede neural) em cada amostra de bootstrap.

3

Para uma nova entrada, passá-la por todos os B aprendizes base treinados e coletar suas previsões.

4

Combinar previsões por voto majoritário (classificação) ou média (regressão).

Erros comuns

  • Usar poucos aprendizes base (B < 20) reduz o benefício da redução de variância; retornos decrescentes geralmente ocorrem em torno de B = 100-500.
  • Treinar aprendizes base em subconjuntos sobrepostos (por exemplo, divisões consecutivas de dados) em vez de amostras de bootstrap aleatórias.
  • Assumir que o bagging elimina o overfitting; ele reduz a variância, mas modelos enviesados permanecem enviesados.
  • Não alavancar previsões out-of-bag para validação, perdendo uma alternativa eficiente à validação cruzada.

Perguntas frequentes

Quantas amostras de bootstrap (B) devo usar?

Comece com B = 50-100 e monitore o desempenho; tipicamente, os benefícios se estabilizam em torno de B = 100-500. Aumente B se a redução de variância estagnar. Para aplicações críticas, B > 1000 pode ser justificado apesar do custo computacional.

O que é erro out-of-bag e como usá-lo?

Cada amostra de bootstrap exclui aproximadamente 1/3 dos dados originais (cerca de 36,8% em média). Essas amostras out-of-bag podem ser usadas para validar aquele modelo específico sem a necessidade de um conjunto de validação separado. Erros out-of-bag médios de todos os modelos estimam o erro de generalização.

O bagging é melhor que a validação cruzada?

Eles servem a propósitos diferentes. A validação cruzada estima o desempenho do modelo; o bagging o melhora. Use bagging para treinar um ensemble e estimativas out-of-bag para validar, evitando a sobrecarga da validação cruzada k-fold.

O bagging pode melhorar modelos de baixa variância como k-NN?

Não efetivamente. O bagging é projetado para modelos de alta variância. Modelos de baixa variância (estáveis, simples) beneficiam-se pouco da redução de variância. Considere outros métodos de ensemble ou concentre-se na redução de viés.

Métodos relacionados

Fontes

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    Abrir referência DOI
    Copiado.
  2. Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.

    Abrir referência DOI
    Copiado.