Gradient Boosting
- Proposto por
- Friedman, J. H.
- Ano
- 2001
- Tipo
- Ensemble (sequential boosting of decision trees)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Gradient Boosting é um método de aprendizado em conjunto (ensemble learning), formalizado por Jerome H. Friedman em 2001, que combina uma sequência de "aprendizes fracos" (weak learners) — tipicamente árvores de decisão rasas — de modo que cada nova árvore é ajustada para minimizar os erros residuais das árvores anteriores.
É o algoritmo central por trás de implementações populares como XGBoost, LightGBM e CatBoost.
A intuição por trás do método
Em vez de construir um modelo forte de uma vez, o Gradient Boosting constrói muitas árvores pequenas em sequência, onde cada nova árvore se concentra nos erros que o conjunto atual ainda comete. Ao empurrar repetidamente a previsão na direção que mais reduz o erro restante, uma cadeia de aprendizes fracos se soma para formar um preditor altamente preciso.
História
O Gradient Boosting foi formalizado por Jerome H. Friedman em seu artigo de 2001, Greedy Function Approximation: A Gradient Boosting Machine, que enquadrou o boosting como um gradiente descendente no espaço de funções. A ideia — adicionar aprendizes fracos que cada um ajusta os resíduos do conjunto atual — tornou-se a base para os algoritmos de dados tabulares mais bem-sucedidos na prática, incluindo XGBoost, LightGBM e CatBoost.
Quando usar
Uma escolha forte para classificação e previsão precisas em dados tabulares de corte transversal ou painel com pelo menos cerca de 100 observações, abrangendo características contínuas, categóricas, binárias e ordinais. O escalonamento de características geralmente não é necessário, mas o ajuste de hiperparâmetros do número de árvores, da taxa de aprendizado e da profundidade máxima é crítico, e a parada antecipada é recomendada para evitar o sobreajuste. Com menos de cerca de 100 observações, as árvores sequenciais tendem a memorizar ruído, e Random Forest ou uma única árvore de decisão é mais seguro.
Limitações e considerações
- O ajuste de hiperparâmetros do número de árvores, da taxa de aprendizado e da profundidade máxima é crítico e demorado.
- O boosting sequencial é propenso ao sobreajuste se não for regularizado, razão pela qual a parada antecipada é recomendada.
- Em amostras pequenas (n abaixo de cerca de 100), as árvores sequenciais memorizam ruído, e mesmo a parada antecipada é insuficiente.
- Com dados insuficientes, não há material de validação cruzada suficiente para otimizar hiperparâmetros de forma confiável.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Altíssima precisão preditiva em dados tabulares para classificação e previsão.
- O escalonamento de características é geralmente desnecessário e o método lida com características contínuas, categóricas, binárias e ordinais.
- Forma o algoritmo central por trás de bibliotecas amplamente utilizadas como XGBoost, LightGBM e CatBoost.
- A parada antecipada e uma pequena taxa de aprendizado proporcionam controle preciso sobre o trade-off entre viés e variância.
Aplicações
- Classificação e previsão de alta precisão em dados tabulares de corte transversal e painel.
- Pontuação de risco e previsão de resultados onde o desempenho preditivo máximo é a prioridade.
- Modelagem de relações não lineares complexas entre características de tipos mistos sem escalonamento manual.
- Servindo como o motor por trás de bibliotecas de produção de gradient-boosting, como XGBoost e LightGBM.
Como funciona
Como funciona
O Gradient Boosting treina aprendizes fracos — geralmente árvores de decisão rasas — um após o outro, em vez de independentemente. O conjunto começa com uma estimativa inicial simples, e cada árvore subsequente é adicionada para corrigir o que o modelo atual ainda erra, de modo que a precisão melhora passo a passo.
Em cada rodada, o método examina os erros residuais do conjunto atual e ajusta a próxima árvore a esses resíduos (o gradiente negativo da função de perda). A nova árvore é adicionada com um pequeno peso de taxa de aprendizado, de modo que a previsão é atualizada cautelosamente: F_m(x) = F_{m-1}(x) + nu * h_m(x). Essa correção sequencial, guiada por gradiente, é o que dá ao método seu nome e sua precisão.
Fórmula
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)A previsão final é a soma da estimativa inicial e de todas as pequenas correções de árvore acumuladas ao longo do caminho. Como as árvores são adicionadas de forma gulosa para perseguir o erro restante, ajustar o número de árvores, a taxa de aprendizado e a profundidade da árvore — juntamente com a parada antecipada (early stopping) — é crítico para evitar o sobreajuste (overfitting).
Erros comuns
- Pular a parada antecipada e deixar o boosting rodar por muitas rodadas até que ocorra sobreajuste.
- Definir a taxa de aprendizado muito alta, de modo que cada árvore corrija excessivamente em vez de ajustar a previsão suavemente.
- Aplicá-lo a uma amostra com menos de cerca de 100 observações, onde as árvores sequenciais memorizam ruído.
- Aceitar hiperparâmetros padrão em vez de ajustar n_estimators, learning_rate e max_depth.
- Tratá-lo como necessitando de escalonamento de características como modelos baseados em distância, quando o escalonamento é geralmente desnecessário.
Perguntas frequentes
Como o Gradient Boosting difere do Random Forest?
O Random Forest constrói muitas árvores independentes em paralelo e as média, enquanto o Gradient Boosting constrói árvores sequencialmente, cada uma ajustada para corrigir os erros residuais das anteriores. O Boosting frequentemente alcança maior precisão, mas é mais sensível ao sobreajuste e requer ajuste cuidadoso.
Por que a parada antecipada é recomendada?
Como cada nova árvore persegue o erro restante, uma execução de boosting excessivamente longa começa a ajustar o ruído. A parada antecipada interrompe o treinamento assim que o desempenho da validação para de melhorar, o que é a principal salvaguarda contra o sobreajuste.
Preciso escalar minhas características?
O escalonamento de características geralmente não é necessário para o gradient boosting baseado em árvores, pois as divisões dependem da ordem e não da magnitude. Os principais controles são, em vez disso, o número de árvores, a taxa de aprendizado e a profundidade da árvore.
Qual o tamanho da amostra que preciso?
Pelo menos cerca de 100 observações. Abaixo disso, as árvores sequenciais memorizam ruído e mesmo a parada antecipada é insuficiente, então Random Forest ou uma única árvore de decisão é a escolha mais segura.
Métodos relacionados
Fontes
Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
Abrir referência DOICopiado.