Skip to content
Voltar aos resultados

Gradient Boosting

Proposto por
Friedman, J. H.
Ano
2001
Tipo
Ensemble (sequential boosting of decision trees)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

Gradient Boosting é um método de aprendizado em conjunto (ensemble learning), formalizado por Jerome H. Friedman em 2001, que combina uma sequência de "aprendizes fracos" (weak learners) — tipicamente árvores de decisão rasas — de modo que cada nova árvore é ajustada para minimizar os erros residuais das árvores anteriores.

É o algoritmo central por trás de implementações populares como XGBoost, LightGBM e CatBoost.

A intuição por trás do método

Em vez de construir um modelo forte de uma vez, o Gradient Boosting constrói muitas árvores pequenas em sequência, onde cada nova árvore se concentra nos erros que o conjunto atual ainda comete. Ao empurrar repetidamente a previsão na direção que mais reduz o erro restante, uma cadeia de aprendizes fracos se soma para formar um preditor altamente preciso.

História

O Gradient Boosting foi formalizado por Jerome H. Friedman em seu artigo de 2001, Greedy Function Approximation: A Gradient Boosting Machine, que enquadrou o boosting como um gradiente descendente no espaço de funções. A ideia — adicionar aprendizes fracos que cada um ajusta os resíduos do conjunto atual — tornou-se a base para os algoritmos de dados tabulares mais bem-sucedidos na prática, incluindo XGBoost, LightGBM e CatBoost.

Quando usar

Uma escolha forte para classificação e previsão precisas em dados tabulares de corte transversal ou painel com pelo menos cerca de 100 observações, abrangendo características contínuas, categóricas, binárias e ordinais. O escalonamento de características geralmente não é necessário, mas o ajuste de hiperparâmetros do número de árvores, da taxa de aprendizado e da profundidade máxima é crítico, e a parada antecipada é recomendada para evitar o sobreajuste. Com menos de cerca de 100 observações, as árvores sequenciais tendem a memorizar ruído, e Random Forest ou uma única árvore de decisão é mais seguro.

Limitações e considerações

  • O ajuste de hiperparâmetros do número de árvores, da taxa de aprendizado e da profundidade máxima é crítico e demorado.
  • O boosting sequencial é propenso ao sobreajuste se não for regularizado, razão pela qual a parada antecipada é recomendada.
  • Em amostras pequenas (n abaixo de cerca de 100), as árvores sequenciais memorizam ruído, e mesmo a parada antecipada é insuficiente.
  • Com dados insuficientes, não há material de validação cruzada suficiente para otimizar hiperparâmetros de forma confiável.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Altíssima precisão preditiva em dados tabulares para classificação e previsão.
  • O escalonamento de características é geralmente desnecessário e o método lida com características contínuas, categóricas, binárias e ordinais.
  • Forma o algoritmo central por trás de bibliotecas amplamente utilizadas como XGBoost, LightGBM e CatBoost.
  • A parada antecipada e uma pequena taxa de aprendizado proporcionam controle preciso sobre o trade-off entre viés e variância.

Aplicações

  • Classificação e previsão de alta precisão em dados tabulares de corte transversal e painel.
  • Pontuação de risco e previsão de resultados onde o desempenho preditivo máximo é a prioridade.
  • Modelagem de relações não lineares complexas entre características de tipos mistos sem escalonamento manual.
  • Servindo como o motor por trás de bibliotecas de produção de gradient-boosting, como XGBoost e LightGBM.

Como funciona

Como funciona

1

O Gradient Boosting treina aprendizes fracos — geralmente árvores de decisão rasas — um após o outro, em vez de independentemente. O conjunto começa com uma estimativa inicial simples, e cada árvore subsequente é adicionada para corrigir o que o modelo atual ainda erra, de modo que a precisão melhora passo a passo.

2

Em cada rodada, o método examina os erros residuais do conjunto atual e ajusta a próxima árvore a esses resíduos (o gradiente negativo da função de perda). A nova árvore é adicionada com um pequeno peso de taxa de aprendizado, de modo que a previsão é atualizada cautelosamente: F_m(x) = F_{m-1}(x) + nu * h_m(x). Essa correção sequencial, guiada por gradiente, é o que dá ao método seu nome e sua precisão.

Fórmula
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)
3

A previsão final é a soma da estimativa inicial e de todas as pequenas correções de árvore acumuladas ao longo do caminho. Como as árvores são adicionadas de forma gulosa para perseguir o erro restante, ajustar o número de árvores, a taxa de aprendizado e a profundidade da árvore — juntamente com a parada antecipada (early stopping) — é crítico para evitar o sobreajuste (overfitting).

Erros comuns

  • Pular a parada antecipada e deixar o boosting rodar por muitas rodadas até que ocorra sobreajuste.
  • Definir a taxa de aprendizado muito alta, de modo que cada árvore corrija excessivamente em vez de ajustar a previsão suavemente.
  • Aplicá-lo a uma amostra com menos de cerca de 100 observações, onde as árvores sequenciais memorizam ruído.
  • Aceitar hiperparâmetros padrão em vez de ajustar n_estimators, learning_rate e max_depth.
  • Tratá-lo como necessitando de escalonamento de características como modelos baseados em distância, quando o escalonamento é geralmente desnecessário.

Perguntas frequentes

Como o Gradient Boosting difere do Random Forest?

O Random Forest constrói muitas árvores independentes em paralelo e as média, enquanto o Gradient Boosting constrói árvores sequencialmente, cada uma ajustada para corrigir os erros residuais das anteriores. O Boosting frequentemente alcança maior precisão, mas é mais sensível ao sobreajuste e requer ajuste cuidadoso.

Por que a parada antecipada é recomendada?

Como cada nova árvore persegue o erro restante, uma execução de boosting excessivamente longa começa a ajustar o ruído. A parada antecipada interrompe o treinamento assim que o desempenho da validação para de melhorar, o que é a principal salvaguarda contra o sobreajuste.

Preciso escalar minhas características?

O escalonamento de características geralmente não é necessário para o gradient boosting baseado em árvores, pois as divisões dependem da ordem e não da magnitude. Os principais controles são, em vez disso, o número de árvores, a taxa de aprendizado e a profundidade da árvore.

Qual o tamanho da amostra que preciso?

Pelo menos cerca de 100 observações. Abaixo disso, as árvores sequenciais memorizam ruído e mesmo a parada antecipada é insuficiente, então Random Forest ou uma única árvore de decisão é a escolha mais segura.

Métodos relacionados

Fontes

  1. Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.

    Abrir referência DOI
    Copiado.