Skip to content
Voltar aos resultados

AdaBoost

Proposto por
Freund, Y. & Schapire, R.E.
Ano
1997
Tipo
Ensemble (sequential boosting of weak learners)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

AdaBoost (Adaptive Boosting) é o algoritmo de boosting original, introduzido por Yoav Freund e Robert Schapire em 1997, que combina uma sequência de aprendizes fracos simples, atribuindo mais peso às observações que erra.

Precursor do gradient boosting, é simples, interpretável e uma forte linha de base para classificação.

A intuição por trás do método

Uma única árvore rasa é um aprendiz fraco: apenas um pouco melhor que o acaso. O AdaBoost transforma muitos aprendizes fracos em um único preditor forte, treinando-os um após o outro. Após cada aprendiz ser treinado, as observações que ele classificou incorretamente recebem mais peso, de modo que o próximo aprendiz se concentra nos casos difíceis que os outros continuam errando. A predição final é um voto ponderado, onde os aprendizes mais precisos contam mais.

História

O AdaBoost foi introduzido por Yoav Freund e Robert Schapire em 1997 como uma generalização teórica de decisão do aprendizado online aplicado ao boosting. Foi o primeiro algoritmo de boosting prático e demonstrou que muitos aprendizes fracos poderiam ser combinados em um forte, trabalho que se tornou fundamental para toda a família de boosting. É o precursor direto do gradient boosting e de ferramentas modernas como XGBoost.

Quando usar

Adequado para classificação e predição em dados tabulares transversais com características contínuas, categóricas ou binárias e pelo menos cerca de 50 observações, quando se deseja uma linha de base de boosting simples e interpretável. O AdaBoost não faz suposição de normalidade, mas é sensível a dados ruidosos e *outliers*, portanto, faça uma triagem de *outliers* primeiro. Controle o número de estimadores para gerenciar o risco pequeno, mas não nulo, de *overfitting*. Em amostras pequenas, regressão logística mais simples ou Random Forest, mais robusto, são mais seguros.

Limitações e considerações

  • Sensível a dados ruidosos e *outliers* devido à sua perda exponencial; a triagem de *outliers* é necessária.
  • O risco de *overfitting* é baixo, mas não nulo, e deve ser controlado pelo número de estimadores.
  • Em amostras pequenas (n abaixo de cerca de 50), observações ruidosas são excessivamente ponderadas e cada iteração pode piorar o desempenho.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Simples e interpretável, com poucos parâmetros para definir.
  • Transforma aprendizes fracos de profundidade 1 em um classificador forte, uma linha de base sólida pronta para uso.
  • Sem suposição de normalidade; lida com características contínuas, categóricas e binárias.
  • Precursor do gradient boosting, com um mecanismo claro de ponderação adaptativa.

Aplicações

  • Linhas de base de classificação em dados tabulares transversais.
  • Tarefas de predição onde um modelo de boosting simples e interpretável é preferido.
  • Ensinar e demonstrar a ideia de boosting antes de passar para o gradient boosting.
  • Combinar muitos *decision stumps* rasos em um único classificador forte.

Como funciona

Como funciona

1

Cada observação de treinamento começa com peso igual. Esses pesos indicam a cada aprendiz fraco sucessivo o quanto ele deve se importar em acertar aquela observação específica.

2

Um aprendiz fraco — tipicamente um *decision stump*, uma árvore de profundidade 1 — é ajustado aos dados ponderados. Por ser tão simples, por si só ele só faz um pouco melhor que o acaso.

3

A precisão geral do aprendiz define seu peso no voto final, e os pesos das observações que ele classificou incorretamente são aumentados para que o próximo aprendiz se concentre nelas. Uma função de perda exponencial impulsiona essa atualização: ela penaliza a má classificação a uma taxa acentuadamente crescente, o que também torna o AdaBoost sensível a pontos ruidosos e *outliers*.

Fórmula
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])
4

Após muitas rodadas, os aprendizes fracos são agrupados em uma única predição por um voto majoritário ponderado, com cada aprendiz ponderado por sua precisão. Essa soma de muitos aprendizes simples e focados forma um único classificador forte.

Fórmula
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)

Erros comuns

  • Executar AdaBoost em dados cheios de *outliers* sem uma triagem prévia.
  • Deixar o número de estimadores crescer sem controle em vez de ajustá-lo.
  • Usá-lo em uma amostra abaixo de cerca de 50 observações, onde pontos ruidosos dominam a ponderação.
  • Optar por AdaBoost quando um ensemble mais robusto como Random Forest se ajusta melhor aos dados ruidosos.

Perguntas frequentes

Como o AdaBoost difere do Random Forest?

O Random Forest constrói muitas árvores independentes em paralelo e as promedia (bagging); o AdaBoost constrói aprendizes fracos sequencialmente, cada um focando nos casos que os anteriores erraram (boosting). Devido à sua perda exponencial, o AdaBoost é mais sensível a ruído e *outliers*, enquanto o Random Forest é mais robusto.

Por que o AdaBoost é sensível a *outliers*?

Ele usa uma função de perda exponencial que penaliza a má classificação a uma taxa acentuadamente crescente. Pontos persistentemente mal classificados — frequentemente *outliers* ou observações ruidosas — continuam ganhando peso, de modo que podem dominar iterações posteriores e degradar o modelo.

Quantos estimadores devo usar?

O número de estimadores (aprendizes fracos) controla o risco pequeno, mas real, de *overfitting* do AdaBoost. Aumente-o enquanto o desempenho de validação melhora e pare assim que ele se estabilizar ou começar a piorar.

O que é um aprendiz fraco aqui?

Tipicamente um *decision stump* — uma árvore de decisão de profundidade 1. Por si só, é apenas um pouco melhor que o acaso, mas o AdaBoost combina muitos deles, cada um ponderado por sua precisão, em um único classificador forte.

Métodos relacionados

Fontes

  1. Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    Abrir referência DOI
    Copiado.