Skip to content
Voltar aos resultados

Boosting Ensemble

Proposto por
Robert Schapire
Ano
1990
Tipo
sequential ensemble
Família
Ensemble

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Boosting é um método de ensemble que treina sequencialmente aprendizes fracos e os combina em um preditor forte, focando em amostras que modelos anteriores classificaram incorretamente.

Cada novo aprendiz fraco é ponderado de acordo com a dificuldade de sua tarefa de treinamento, e as predições finais são feitas por votação ponderada. Pioneiro por Schapire (1990) e refinado em AdaBoost (Freund & Schapire, 1997), o boosting converte aprendizes fracos (pouco melhores que aleatórios) em aprendizes fortes através de reponderação sequencial.

A intuição por trás do método

A ideia central é focar iterativamente em exemplos difíceis: primeiro treina-se um modelo fraco, identificam-se as amostras que ele classifica incorretamente, e então treina-se um novo modelo fraco com peso aumentado nessas amostras mal classificadas. Isso força cada modelo subsequente a aprender padrões que os modelos anteriores não capturaram. Ao longo das iterações, o ensemble combina modelos fracos ponderados por sua acurácia, resultando em um preditor forte. Diferentemente do bagging (paralelo), o boosting é inerentemente sequencial — cada modelo depende do desempenho dos modelos anteriores.

História

O boosting originou-se do resultado teórico de Schapire em 1990, que mostrou que aprendizes fracos podem ser combinados em aprendizes fortes. AdaBoost (Freund & Schapire, 1997) tornou o boosting prático ao introduzir ponderação adaptativa. O gradient boosting (Friedman, 2001) generalizou o framework, permitindo a otimização de funções de perda arbitrárias. Variantes modernas como XGBoost, LightGBM e CatBoost tornaram-se padrões da indústria, vencendo inúmeras competições de machine learning.

Quando usar

Use boosting quando você tem aprendizes fracos e deseja combiná-los em um ensemble forte. É especialmente eficaz para reduzir tanto o viés quanto a variância. Boosting funciona melhor com aprendizes base de complexidade média (e.g., árvores rasas, profundidade 3-4) que podem melhorar iterativamente. Evite boosting se os aprendizes base já forem fortes ou se você precisar de treinamento rápido, pois o boosting sequencial é computacionalmente caro.

Limitações e considerações

  • O treinamento sequencial é computacionalmente caro em comparação com métodos paralelos como o bagging.
  • Sensível a dados ruidosos e outliers (pondera excessivamente exemplos difíceis).
  • Requer ajuste cuidadoso da taxa de aprendizado, número de iterações e complexidade do aprendiz base.
  • Pode ocorrer overfitting se o número de iterações for muito grande; requer parada antecipada ou monitoramento de validação.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Reduz tanto o viés quanto a variância, frequentemente alcançando generalização superior.
  • Converte aprendizes fracos em aprendizes fortes através de reponderação iterativa.
  • Garantias teóricas na redução de erro (sob certas condições).
  • Funciona bem com aprendizes base de baixo viés e alta variância, como árvores de decisão.
  • Robusto a features irrelevantes e ruído nos dados de treinamento.

Aplicações

  • Avaliação de risco de crédito: boosting de árvores de decisão rasas para classificar mutuários com bom crédito com precisão aprimorada.
  • Detecção de faces: AdaBoost com cascades de Haar para detecção de faces em tempo real em sistemas de visão computacional.
  • Classificação de texto: gradient boosting para análise de sentimento e categorização de documentos.
  • Diagnóstico médico: boosting de classificadores fracos para predição de doenças com alta sensibilidade e especificidade.
  • Detecção de fraudes: métodos de ensemble boosting para detectar transações fraudulentas em dados financeiros.

Como funciona

Como funciona

1

Comece com pesos iguais para todas as amostras de treinamento.

2

Para cada iteração: treine um aprendiz fraco (e.g., árvore de decisão rasa) nos dados de treinamento ponderados, calcule sua taxa de erro e aumente os pesos nas amostras mal classificadas.

3

Atribua um peso a cada aprendiz fraco com base em sua acurácia. Aprendizes mais precisos recebem pesos maiores; aprendizes fracos (próximos de aleatórios) recebem pesos menores.

4

Para uma nova amostra, agregue as predições de todos os aprendizes fracos por votação ponderada, onde os pesos refletem a acurácia de cada aprendiz.

Erros comuns

  • Usar aprendizes base fortes (e.g., árvores de decisão profundas) anula o propósito do boosting; atenha-se a aprendizes fracos.
  • Treinar por muitas iterações sem monitorar o erro de validação, levando a overfitting.
  • Definir uma taxa de aprendizado muito alta, o que causa instabilidade nos pesos das amostras.
  • Não monitorar o desempenho fora da amostra; o boosting pode fazer overfitting ao ruído de treinamento se não for controlado.

Perguntas frequentes

O que é um aprendiz fraco e quão fraco ele deve ser?

Um aprendiz fraco é um classificador com taxa de erro ligeiramente inferior a 50% (melhor que adivinhação aleatória). Na prática, use modelos simples como árvores de decisão com profundidade 2-3 ou classificadores lineares curtos. Se o aprendiz base tiver erro > 45%, o boosting o melhorará; se < 10%, o aprendiz é muito forte e o boosting agrega pouco valor.

Quantas iterações de boosting devo usar?

Comece com 50-100 iterações e monitore o erro de validação. Use parada antecipada: se o erro de validação estabilizar ou aumentar em várias iterações, pare o treinamento. Para produção, 100-1000 iterações é típico, dependendo do tamanho e complexidade dos dados.

Como o boosting difere do bagging?

Bagging treina aprendizes base em paralelo em subconjuntos aleatórios e faz a média das predições (sem ponderação). Boosting treina sequencialmente, reponderando exemplos difíceis, e usa votação ponderada. Bagging reduz a variância; boosting reduz tanto o viés quanto a variância. Bagging é mais rápido; boosting é mais poderoso.

Por que o boosting faz overfitting com muitas iterações?

À medida que as iterações aumentam, os pesos em outliers crescem exponencialmente, fazendo com que o ensemble se ajuste ao ruído. O erro de treinamento continua a diminuir, mas o erro de teste pode aumentar. Monitore o erro de validação e pare quando ele começar a aumentar, usando parada antecipada para prevenir overfitting.

Métodos relacionados

Fontes

  1. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197-227.

    Abrir referência DOI
    Copiado.
  2. Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119-139.

    Abrir referência DOI
    Copiado.