AdaBoost
- Proposto por
- Freund, Y. & Schapire, R.E.
- Ano
- 1997
- Tipo
- Ensemble (sequential boosting of weak learners)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
AdaBoost (Adaptive Boosting) é o algoritmo de boosting original, introduzido por Yoav Freund e Robert Schapire em 1997, que combina uma sequência de aprendizes fracos simples, atribuindo mais peso às observações que erra.
Precursor do gradient boosting, é simples, interpretável e uma forte linha de base para classificação.
A intuição por trás do método
Uma única árvore rasa é um aprendiz fraco: apenas um pouco melhor que o acaso. O AdaBoost transforma muitos aprendizes fracos em um único preditor forte, treinando-os um após o outro. Após cada aprendiz ser treinado, as observações que ele classificou incorretamente recebem mais peso, de modo que o próximo aprendiz se concentra nos casos difíceis que os outros continuam errando. A predição final é um voto ponderado, onde os aprendizes mais precisos contam mais.
História
O AdaBoost foi introduzido por Yoav Freund e Robert Schapire em 1997 como uma generalização teórica de decisão do aprendizado online aplicado ao boosting. Foi o primeiro algoritmo de boosting prático e demonstrou que muitos aprendizes fracos poderiam ser combinados em um forte, trabalho que se tornou fundamental para toda a família de boosting. É o precursor direto do gradient boosting e de ferramentas modernas como XGBoost.
Quando usar
Adequado para classificação e predição em dados tabulares transversais com características contínuas, categóricas ou binárias e pelo menos cerca de 50 observações, quando se deseja uma linha de base de boosting simples e interpretável. O AdaBoost não faz suposição de normalidade, mas é sensível a dados ruidosos e *outliers*, portanto, faça uma triagem de *outliers* primeiro. Controle o número de estimadores para gerenciar o risco pequeno, mas não nulo, de *overfitting*. Em amostras pequenas, regressão logística mais simples ou Random Forest, mais robusto, são mais seguros.
Limitações e considerações
- Sensível a dados ruidosos e *outliers* devido à sua perda exponencial; a triagem de *outliers* é necessária.
- O risco de *overfitting* é baixo, mas não nulo, e deve ser controlado pelo número de estimadores.
- Em amostras pequenas (n abaixo de cerca de 50), observações ruidosas são excessivamente ponderadas e cada iteração pode piorar o desempenho.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Simples e interpretável, com poucos parâmetros para definir.
- Transforma aprendizes fracos de profundidade 1 em um classificador forte, uma linha de base sólida pronta para uso.
- Sem suposição de normalidade; lida com características contínuas, categóricas e binárias.
- Precursor do gradient boosting, com um mecanismo claro de ponderação adaptativa.
Aplicações
- Linhas de base de classificação em dados tabulares transversais.
- Tarefas de predição onde um modelo de boosting simples e interpretável é preferido.
- Ensinar e demonstrar a ideia de boosting antes de passar para o gradient boosting.
- Combinar muitos *decision stumps* rasos em um único classificador forte.
Como funciona
Como funciona
Cada observação de treinamento começa com peso igual. Esses pesos indicam a cada aprendiz fraco sucessivo o quanto ele deve se importar em acertar aquela observação específica.
Um aprendiz fraco — tipicamente um *decision stump*, uma árvore de profundidade 1 — é ajustado aos dados ponderados. Por ser tão simples, por si só ele só faz um pouco melhor que o acaso.
A precisão geral do aprendiz define seu peso no voto final, e os pesos das observações que ele classificou incorretamente são aumentados para que o próximo aprendiz se concentre nelas. Uma função de perda exponencial impulsiona essa atualização: ela penaliza a má classificação a uma taxa acentuadamente crescente, o que também torna o AdaBoost sensível a pontos ruidosos e *outliers*.
Fórmula
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])Após muitas rodadas, os aprendizes fracos são agrupados em uma única predição por um voto majoritário ponderado, com cada aprendiz ponderado por sua precisão. Essa soma de muitos aprendizes simples e focados forma um único classificador forte.
Fórmula
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)Erros comuns
- Executar AdaBoost em dados cheios de *outliers* sem uma triagem prévia.
- Deixar o número de estimadores crescer sem controle em vez de ajustá-lo.
- Usá-lo em uma amostra abaixo de cerca de 50 observações, onde pontos ruidosos dominam a ponderação.
- Optar por AdaBoost quando um ensemble mais robusto como Random Forest se ajusta melhor aos dados ruidosos.
Perguntas frequentes
Como o AdaBoost difere do Random Forest?
O Random Forest constrói muitas árvores independentes em paralelo e as promedia (bagging); o AdaBoost constrói aprendizes fracos sequencialmente, cada um focando nos casos que os anteriores erraram (boosting). Devido à sua perda exponencial, o AdaBoost é mais sensível a ruído e *outliers*, enquanto o Random Forest é mais robusto.
Por que o AdaBoost é sensível a *outliers*?
Ele usa uma função de perda exponencial que penaliza a má classificação a uma taxa acentuadamente crescente. Pontos persistentemente mal classificados — frequentemente *outliers* ou observações ruidosas — continuam ganhando peso, de modo que podem dominar iterações posteriores e degradar o modelo.
Quantos estimadores devo usar?
O número de estimadores (aprendizes fracos) controla o risco pequeno, mas real, de *overfitting* do AdaBoost. Aumente-o enquanto o desempenho de validação melhora e pare assim que ele se estabilizar ou começar a piorar.
O que é um aprendiz fraco aqui?
Tipicamente um *decision stump* — uma árvore de decisão de profundidade 1. Por si só, é apenas um pouco melhor que o acaso, mas o AdaBoost combina muitos deles, cada um ponderado por sua precisão, em um único classificador forte.
Métodos relacionados
Fontes
Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.
Abrir referência DOICopiado.