Skip to content
Voltar aos resultados

XGBoost

Proposto por
Chen, T. & Guestrin, C.
Ano
2016
Tipo
Ensemble (gradient-boosted decision trees)

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

XGBoost (Extreme Gradient Boosting) é um algoritmo escalável de aumento de árvores introduzido por Tianqi Chen e Carlos Guestrin em 2016.

Ele constrói um preditor forte adicionando árvores de decisão uma a uma, cada uma corrigindo os erros deixados pelas árvores anteriores, e é um método de predição poderoso amplamente utilizado em competições.

A intuição por trás do método

Em vez de gerar muitas árvores independentes e fazer a média delas, o XGBoost gera árvores em sequência: cada nova árvore foca nos casos que o modelo atual ainda erra. Passo a passo, o conjunto reduz o erro restante, enquanto uma penalidade de regularização mantém as árvores individuais simples para que o modelo combinado generalize em vez de memorizar os dados de treinamento.

História

O XGBoost foi introduzido por Tianqi Chen e Carlos Guestrin em seu artigo de 2016 'XGBoost: A Scalable Tree Boosting System' na ACM SIGKDD. Ao combinar o aumento de gradiente regularizado de árvores de decisão com uma implementação escalável e eficiente, tornou-se um dos algoritmos de predição mais amplamente adotados, especialmente proeminente em competições de ciência de dados.

Quando usar

Use XGBoost para classificação ou predição precisa em dados tabulares com características contínuas, categóricas, binárias ou de contagem e pelo menos cerca de 100 observações, quando o desempenho preditivo é a prioridade. Ele não requer dados normalmente distribuídos; dados suficientes e engenharia de características cuidadosa são as principais suposições práticas. Com menos de ~100 casos, o aumento de gradiente tende a sobreajustar e um modelo mais simples (como regressão logística ou uma única árvore de decisão) é mais confiável.

Limitações e considerações

  • Precisa de dados suficientes — aproximadamente 100+ observações — ou ele sobreajusta e os resultados da validação cruzada se tornam não confiáveis.
  • Em amostras pequenas, não há dados suficientes para ajustar os muitos hiperparâmetros, então um modelo mais simples generaliza melhor.
  • Muitos hiperparâmetros e um conjunto de caixa preta tornam mais difícil de configurar e interpretar do que um único modelo.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Forte precisão preditiva em dados tabulares, razão pela qual é tão comum em competições.
  • Regularização integrada penaliza a complexidade da árvore e ajuda a controlar o sobreajuste.
  • Tolera valores ausentes e lida com tipos de características mistos (contínuas, categóricas, binárias, de contagem).
  • Escala bem e se beneficia diretamente da engenharia de características.

Aplicações

  • Classificação e predição em dados tabulares com muitas características.
  • Modelagem preditiva de nível de competição onde a precisão é primordial.
  • Tarefas de pontuação de risco e predição em características contínuas, categóricas, binárias e de contagem.
  • Problemas de modelagem onde valores ausentes e características engenheiradas são comuns.

Como funciona

Como funciona

1

XGBoost é um método de aumento de gradiente: ele combina muitas árvores de decisão rasas em um único conjunto. As árvores são adicionadas uma após a outra, e cada nova árvore é ajustada para reduzir o erro de predição que permanece após as árvores já presentes no modelo.

2

O modelo minimiza um objetivo que soma um termo de perda medindo o ajuste aos dados mais um termo de regularização que penaliza a complexidade da árvore. Essa penalidade explícita de complexidade é o que ajuda o XGBoost a controlar o sobreajuste, ao mesmo tempo em que ajusta relações não lineares flexíveis.

Fórmula
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)
3

Em cada rodada de aumento, a predição atual é atualizada adicionando a saída de uma árvore recém-ajustada. Cada árvore é escolhida para mover as predições na direção que mais reduz o objetivo, de modo que a precisão do conjunto melhora rodada a rodada.

Fórmula
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)
4

Após todas as rodadas, a predição final é a soma das contribuições de cada árvore, usada para classificação ou para prever um alvo. Como o modelo tolera valores ausentes e se beneficia da engenharia de características, ele tem um desempenho forte em dados tabulares quando há observações suficientes disponíveis.

Erros comuns

  • Aplicá-lo a amostras pequenas (n < 100) onde o aumento de gradiente sobreajusta e as estimativas de CV não são confiáveis.
  • Ignorar o ajuste de hiperparâmetros via validação cruzada (por exemplo, busca em grade) e aceitar os padrões.
  • Deixar o tratamento de valores ausentes e a codificação categórica indefinidos, mesmo que o XGBoost tolere lacunas.
  • Não configurar uma divisão adequada de treino/teste ou validação cruzada k-fold antes de relatar o desempenho.

Perguntas frequentes

Quanta dados o XGBoost precisa?

Cerca de 100 observações é um mínimo sensato. Com menos de 100 casos, o aumento de gradiente tende a sobreajustar e os resultados da validação cruzada se tornam não confiáveis, então um modelo mais simples como regressão logística ou uma única árvore de decisão é mais confiável.

O XGBoost requer dados normalmente distribuídos?

Não. Ele não faz suposições de normalidade e funciona com características contínuas, categóricas, binárias e de contagem. Os principais requisitos práticos são ter dados suficientes e realizar alguma engenharia de características cuidadosa.

Como o XGBoost difere do Random Forest?

O Random Forest gera árvores independentemente e faz a média delas para reduzir a variância. O XGBoost gera árvores sequencialmente, cada uma corrigindo os erros das anteriores, e adiciona uma penalidade de regularização na complexidade da árvore, o que pode alcançar maior precisão com ajuste cuidadoso.

Como interpreto um modelo XGBoost?

Como o modelo é um conjunto de muitas árvores, as contribuições são geralmente examinadas com análise de atribuição de características como SHAP, juntamente com métricas de conjunto de teste como RMSE ou AUC e ajuste de hiperparâmetros validado cruzado.

Métodos relacionados

Fontes

  1. Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.

    Abrir referência DOI
    Copiado.