Boosting Ensemble
- Proposto por
- Robert Schapire
- Ano
- 1990
- Tipo
- sequential ensemble
- Família
- Ensemble
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Boosting é um método de ensemble que treina sequencialmente aprendizes fracos e os combina em um preditor forte, focando em amostras que modelos anteriores classificaram incorretamente.
Cada novo aprendiz fraco é ponderado de acordo com a dificuldade de sua tarefa de treinamento, e as predições finais são feitas por votação ponderada. Pioneiro por Schapire (1990) e refinado em AdaBoost (Freund & Schapire, 1997), o boosting converte aprendizes fracos (pouco melhores que aleatórios) em aprendizes fortes através de reponderação sequencial.
A intuição por trás do método
A ideia central é focar iterativamente em exemplos difíceis: primeiro treina-se um modelo fraco, identificam-se as amostras que ele classifica incorretamente, e então treina-se um novo modelo fraco com peso aumentado nessas amostras mal classificadas. Isso força cada modelo subsequente a aprender padrões que os modelos anteriores não capturaram. Ao longo das iterações, o ensemble combina modelos fracos ponderados por sua acurácia, resultando em um preditor forte. Diferentemente do bagging (paralelo), o boosting é inerentemente sequencial — cada modelo depende do desempenho dos modelos anteriores.
História
O boosting originou-se do resultado teórico de Schapire em 1990, que mostrou que aprendizes fracos podem ser combinados em aprendizes fortes. AdaBoost (Freund & Schapire, 1997) tornou o boosting prático ao introduzir ponderação adaptativa. O gradient boosting (Friedman, 2001) generalizou o framework, permitindo a otimização de funções de perda arbitrárias. Variantes modernas como XGBoost, LightGBM e CatBoost tornaram-se padrões da indústria, vencendo inúmeras competições de machine learning.
Quando usar
Use boosting quando você tem aprendizes fracos e deseja combiná-los em um ensemble forte. É especialmente eficaz para reduzir tanto o viés quanto a variância. Boosting funciona melhor com aprendizes base de complexidade média (e.g., árvores rasas, profundidade 3-4) que podem melhorar iterativamente. Evite boosting se os aprendizes base já forem fortes ou se você precisar de treinamento rápido, pois o boosting sequencial é computacionalmente caro.
Limitações e considerações
- O treinamento sequencial é computacionalmente caro em comparação com métodos paralelos como o bagging.
- Sensível a dados ruidosos e outliers (pondera excessivamente exemplos difíceis).
- Requer ajuste cuidadoso da taxa de aprendizado, número de iterações e complexidade do aprendiz base.
- Pode ocorrer overfitting se o número de iterações for muito grande; requer parada antecipada ou monitoramento de validação.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Reduz tanto o viés quanto a variância, frequentemente alcançando generalização superior.
- Converte aprendizes fracos em aprendizes fortes através de reponderação iterativa.
- Garantias teóricas na redução de erro (sob certas condições).
- Funciona bem com aprendizes base de baixo viés e alta variância, como árvores de decisão.
- Robusto a features irrelevantes e ruído nos dados de treinamento.
Aplicações
- Avaliação de risco de crédito: boosting de árvores de decisão rasas para classificar mutuários com bom crédito com precisão aprimorada.
- Detecção de faces: AdaBoost com cascades de Haar para detecção de faces em tempo real em sistemas de visão computacional.
- Classificação de texto: gradient boosting para análise de sentimento e categorização de documentos.
- Diagnóstico médico: boosting de classificadores fracos para predição de doenças com alta sensibilidade e especificidade.
- Detecção de fraudes: métodos de ensemble boosting para detectar transações fraudulentas em dados financeiros.
Como funciona
Como funciona
Comece com pesos iguais para todas as amostras de treinamento.
Para cada iteração: treine um aprendiz fraco (e.g., árvore de decisão rasa) nos dados de treinamento ponderados, calcule sua taxa de erro e aumente os pesos nas amostras mal classificadas.
Atribua um peso a cada aprendiz fraco com base em sua acurácia. Aprendizes mais precisos recebem pesos maiores; aprendizes fracos (próximos de aleatórios) recebem pesos menores.
Para uma nova amostra, agregue as predições de todos os aprendizes fracos por votação ponderada, onde os pesos refletem a acurácia de cada aprendiz.
Erros comuns
- Usar aprendizes base fortes (e.g., árvores de decisão profundas) anula o propósito do boosting; atenha-se a aprendizes fracos.
- Treinar por muitas iterações sem monitorar o erro de validação, levando a overfitting.
- Definir uma taxa de aprendizado muito alta, o que causa instabilidade nos pesos das amostras.
- Não monitorar o desempenho fora da amostra; o boosting pode fazer overfitting ao ruído de treinamento se não for controlado.
Perguntas frequentes
O que é um aprendiz fraco e quão fraco ele deve ser?
Um aprendiz fraco é um classificador com taxa de erro ligeiramente inferior a 50% (melhor que adivinhação aleatória). Na prática, use modelos simples como árvores de decisão com profundidade 2-3 ou classificadores lineares curtos. Se o aprendiz base tiver erro > 45%, o boosting o melhorará; se < 10%, o aprendiz é muito forte e o boosting agrega pouco valor.
Quantas iterações de boosting devo usar?
Comece com 50-100 iterações e monitore o erro de validação. Use parada antecipada: se o erro de validação estabilizar ou aumentar em várias iterações, pare o treinamento. Para produção, 100-1000 iterações é típico, dependendo do tamanho e complexidade dos dados.
Como o boosting difere do bagging?
Bagging treina aprendizes base em paralelo em subconjuntos aleatórios e faz a média das predições (sem ponderação). Boosting treina sequencialmente, reponderando exemplos difíceis, e usa votação ponderada. Bagging reduz a variância; boosting reduz tanto o viés quanto a variância. Bagging é mais rápido; boosting é mais poderoso.
Por que o boosting faz overfitting com muitas iterações?
À medida que as iterações aumentam, os pesos em outliers crescem exponencialmente, fazendo com que o ensemble se ajuste ao ruído. O erro de treinamento continua a diminuir, mas o erro de teste pode aumentar. Monitore o erro de validação e pare quando ele começar a aumentar, usando parada antecipada para prevenir overfitting.
Métodos relacionados
Fontes
Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197-227.
Abrir referência DOICopiado.Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119-139.
Abrir referência DOICopiado.