Skip to content
Voltar aos resultados

Boosting

Proposto por
Schapire, R. E.; Freund, Y.
Ano
1990–1997
Tipo
Sequential ensemble (iterative reweighting)
Família
Machine learning

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Boosting é uma técnica de ensemble sequencial que converte muitos aprendizes simples, mal melhores que o acaso, em um único modelo de alta precisão, focando repetidamente o treinamento nos exemplos que aprendizes anteriores erraram, e então combinando todos os aprendizes com pesos proporcionais à sua precisão individual.

A intuição por trás do método

Imagine corrigir uma prova e devolvê-la aos alunos para revisão: a cada rodada, os alunos dedicam tempo extra às questões que erraram. Boosting funciona da mesma forma — após cada aprendiz fraco ser treinado, exemplos mal classificados recebem pesos maiores para que o próximo aprendiz se concentre nos casos difíceis. A resposta final é um voto ponderado de todos os aprendizes, onde aprendizes mais precisos contam mais. Essa correção iterativa é o que torna boosting muito mais poderoso do que um único modelo simples.

História

A base teórica do boosting foi estabelecida por Robert Schapire em 1990, que provou que a aprendibilidade fraca implica aprendibilidade forte. Freund e Schapire então introduziram o AdaBoost em 1997, o primeiro algoritmo prático, que rapidamente se tornou um resultado marcante em machine learning. Friedman generalizou a abordagem como gradient boosting em 2001, enquadrando o aprendizado sequencial de ensemble como descida de gradiente no espaço de funções. Essa linhagem produziu XGBoost (2016), LightGBM (2017) e CatBoost (2018), que agora dominam benchmarks competitivos de machine learning em dados tabulares.

Quando usar

Use boosting quando precisar de alta precisão preditiva em uma tarefa de classificação ou regressão tabular e tiver um conjunto de dados rotulado de tamanho razoável (tipicamente pelo menos 50–100 observações por classe). Ele se destaca em dados estruturados com relações complexas e não lineares e lida bem com tipos de features mistos. Implementações concretas — AdaBoost para classificação, gradient boosting para regressão e classificação — são as escolhas usuais. Evite boosting quando a qualidade dos dados for ruim ou os rótulos forem ruidosos, pois o re-ponderamento sequencial amplifica agressivamente rótulos ruidosos, levando a overfitting. Evite também quando um modelo simples e interpretável com coeficientes explícitos for necessário (por exemplo, para relatórios regulatórios ou clínicos), ou quando o tempo de treinamento for muito restrito.

Limitações e considerações

  • Altamente sensível a rótulos ruidosos e outliers: o aumento de peso de exemplos difíceis amplifica pontos mal rotulados.
  • Propenso a overfitting em conjuntos de dados pequenos, a menos que a regularização (taxa de aprendizado, profundidade da árvore, subamostragem) seja cuidadosamente ajustada.
  • O treinamento sequencial é inerentemente mais lento para paralelizar do que métodos baseados em bagging, como random forests.
  • Requer ajuste cuidadoso de hiperparâmetros (número de rodadas, taxa de aprendizado, profundidade da árvore) para realizar sua vantagem de precisão.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Alcança precisão de ponta em dados tabulares, muitas vezes superando random forests quando ajustado.
  • Foca automaticamente em exemplos difíceis através de re-ponderamento iterativo, tornando-o eficaz em dados desbalanceados com funções de perda apropriadas.
  • Funciona com uma variedade de aprendizes base; árvores rasas (stumps) são uma escolha comum e eficaz.
  • Extensões de gradient boosting suportam uma ampla gama de funções de perda para regressão, ranking e classificação.
  • Implementações modernas (XGBoost, LightGBM, CatBoost) são altamente otimizadas e escalam para grandes conjuntos de dados.

Aplicações

  • Classificação binária e multiclasse em dados tabulares em finanças, saúde e marketing.
  • Tarefas de regressão, como previsão de preço de imóveis ou previsão de demanda.
  • Problemas de click-through-rate e ranking em recuperação de informação.
  • Detecção de fraude e pontuação de anomalias, onde a precisão em eventos raros é crítica.
  • Seleção de features e ranking de importância de variáveis em análises exploratórias.

Como funciona

Como funciona

1

Todos os exemplos de treinamento começam com peso igual, de modo que cada um tem a mesma probabilidade de influenciar o primeiro aprendiz fraco. Essa inicialização uniforme garante que a primeira rodada seja uma visão imparcial dos dados.

Fórmula
w_i^{(1)} = 1/n \; \forall i
2

Um aprendiz fraco — frequentemente uma árvore de decisão rasa (stump) — é ajustado para minimizar o erro de treinamento ponderado. Exemplos mal classificados, que carregam pesos maiores, puxam o aprendiz para corrigir os erros da rodada anterior.

Fórmula
h_t = \arg\min_{h} \sum_i w_i^{(t)} \mathbf{1}[h(x_i) \neq y_i]
3

Cada aprendiz recebe um coeficiente de contribuição proporcional à sua precisão em log-odds. Um aprendiz com baixo erro ponderado obtém um coeficiente grande; um que tem desempenho próximo ao acaso obtém um coeficiente próximo de zero e influencia minimamente o ensemble.

Fórmula
\alpha_t = \frac{1}{2} \ln\!\left(\frac{1 - \epsilon_t}{\epsilon_t}\right)
4

Pesos de exemplos corretamente classificados são reduzidos e pesos de exemplos mal classificados são aumentados. Esse re-ponderamento força o próximo aprendiz a se concentrar desproporcionalmente nos exemplos que o ensemble ainda erra.

Fórmula
w_i^{(t+1)} \propto w_i^{(t)} \exp(-\alpha_t y_i h_t(x_i))
5

A predição final é o sinal da soma ponderada das saídas de todos os aprendizes. Cada aprendiz vota em proporção ao seu coeficiente, de modo que o ensemble produz um único classificador forte a partir de muitos fracos.

Fórmula
H(x) = \text{sign}\!\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

Erros comuns

  • Treinar com alta taxa de aprendizado e muitas rodadas em um conjunto de dados pequeno sem early stopping, causando overfitting severo.
  • Ignorar ruído de rótulo antes do treinamento — boosting ajustará rótulos ruidosos mais intensamente do que qualquer outro método.
  • Pular validação cruzada e relatar apenas erro de treinamento in-sample.
  • Usar hiperparâmetros padrão de um tutorial sem ajustar para o tamanho do conjunto de dados ou balanceamento de classe.
  • Escolher boosting quando o objetivo é um modelo interpretável com coeficientes de features explícitos.

Perguntas frequentes

Qual a diferença entre boosting e bagging (random forest)?

Bagging treina árvores independentes em paralelo em amostras bootstrap e calcula a média de suas predições, o que reduz principalmente a variância. Boosting treina árvores sequencialmente, cada uma corrigindo os erros da anterior, reduzindo principalmente o viés. Boosting frequentemente alcança maior precisão, mas é mais propenso a overfitting em dados ruidosos.

Qual algoritmo de boosting devo usar?

AdaBoost é um bom ponto de partida para classificação binária. Para a maioria das tarefas de regressão ou classificação tabular, implementações de gradient boosting como XGBoost, LightGBM ou CatBoost são as escolhas práticas; elas adicionam regularização e escalam melhor que o AdaBoost original.

Como prevenir overfitting com boosting?

Use uma taxa de aprendizado baixa (0.01–0.1) combinada com um número maior de rodadas e aplique early stopping em um conjunto de validação separado. Regularize também a profundidade da árvore (max_depth 3–6 é típico) e considere subamostragem de linhas e colunas por árvore.

Boosting pode lidar com desbalanceamento de classes?

Sim, frameworks de gradient boosting permitem definir pesos de classe ou usar funções de perda personalizadas. A reponderação natural do AdaBoost também ajuda, mas ele também pode amplificar o ruído na classe minoritária, então pré-processamento (oversampling ou undersampling) ainda pode ser benéfico.

Boosting é interpretável?

Ensembles de boosting não são diretamente interpretáveis da forma como modelos lineares são. No entanto, pontuações de importância de features embutidas e ferramentas post-hoc como valores SHAP podem explicar predições individuais, tornando-os aceitáveis em muitos contextos de pesquisa aplicada.

Métodos relacionados

Fontes

  1. Freund, Y. & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    Abrir referência DOI
    Copiado.
  2. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197–227.

    Abrir referência DOI
    Copiado.