Skip to content
Voltar aos resultados

LightGBM

Proposto por
Ke, G. et al. (Microsoft)
Ano
2017
Tipo
Gradient boosting decision tree ensemble

Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês

Tamanho da fonte

O que ele faz?

LightGBM é a implementação de árvore de decisão com gradient boosting da Microsoft, introduzida por Ke e colegas em 2017, que constrói árvores folha a folha (leaf-wise) e agrupa características em histogramas para velocidade.

Em grandes conjuntos de dados, é muito mais rápido que o XGBoost, mantendo uma forte precisão preditiva.

A intuição por trás do método

O gradient boosting constrói um ensemble uma árvore de cada vez, onde cada nova árvore corrige os erros deixados pelas árvores anteriores. LightGBM mantém essa ideia central, mas a torna rápida: em vez de testar todos os pontos de divisão possíveis em características contínuas, ele agrupa valores de características em um número fixo de bins de histograma e, em vez de construir cada árvore nível a nível, ele sempre constrói a folha que promete a maior melhoria. O resultado é um modelo que converge rapidamente e escala para grandes dados tabulares.

História

LightGBM foi introduzido por Guolin Ke e colegas na Microsoft em um artigo de 2017 da NeurIPS, 'LightGBM: A Highly Efficient Gradient Boosting Decision Tree.' Suas duas escolhas distintas — agrupamento de características em bins de histograma e crescimento de árvore folha a folha (best-first) — foram projetadas para tornar o gradient boosting dramaticamente mais rápido e mais eficiente em memória em grandes conjuntos de dados, e tornou-se uma das bibliotecas de boosting mais amplamente utilizadas para dados tabulares, ao lado do XGBoost.

Quando usar

Uma forte escolha para predição, classificação e previsão em grandes conjuntos de dados tabulares — transversais, de painel ou séries temporais — com características contínuas, categóricas, binárias ou ordinais e pelo menos cerca de 200 observações. É mais valioso quando a velocidade de treinamento e a escala importam e você pode ajustar a regularização. Abaixo de aproximadamente 200 observações, o crescimento folha a folha tende a levar a overfitting severo, e um método nível a nível como XGBoost ou um Random Forest mais estável é mais seguro.

Limitações e considerações

  • O crescimento folha a folha leva a overfitting em amostras pequenas, a menos que seja cuidadosamente regularizado.
  • Requer ajuste de num_leaves e min_data_in_leaf para controlar a complexidade.
  • Em conjuntos de dados abaixo de cerca de 200 observações, um método nível a nível (XGBoost) ou Random Forest é mais confiável.
  • Como outras árvores de boosting, é uma caixa preta sem coeficientes diretamente interpretáveis.

As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.

Pontos fortes

  • Muito mais rápido que o XGBoost em grandes conjuntos de dados graças à divisão baseada em histograma.
  • O crescimento folha a folha converge rapidamente e frequentemente atinge alta precisão.
  • Lida com características categóricas diretamente, sem codificação one-hot manual.
  • Funciona para predição, classificação e previsão em dados transversais, de painel e séries temporais.

Aplicações

  • Predição e classificação em grandes conjuntos de dados tabulares.
  • Tarefas de previsão em dados transversais, de painel e séries temporais.
  • Alternativa rápida e escalável ao XGBoost quando o tempo de treinamento é importante.
  • Modelagem de dados com muitas características categóricas sem pré-processamento pesado.

Como funciona

Como funciona

1

Árvores são adicionadas sequencialmente: cada nova árvore é ajustada aos erros residuais do ensemble atual e adicionada com uma redução (shrinkage) da taxa de aprendizado, de modo que o modelo gradualmente reduz sua perda passo a passo. Características categóricas podem ser fornecidas ao LightGBM diretamente, sem codificação one-hot manual.

Fórmula
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)
2

Valores de características contínuas são agrupados em um número fixo de bins discretos de histograma antes da divisão. O algoritmo então busca a melhor divisão nesses bins, em vez de todos os valores brutos, que é a principal razão pela qual LightGBM é tão mais rápido que implementações nível a nível, como o XGBoost, em grandes volumes de dados.

3

Em vez de expandir todas as folhas na mesma profundidade (nível a nível), LightGBM constrói folha a folha: ele sempre divide a folha que resulta na maior redução de perda. Isso converge mais rápido, mas pode levar a overfitting em amostras pequenas, então o número de folhas (num_leaves) e os dados mínimos por folha (min_data_in_leaf) devem ser definidos para regularizar as árvores.

Erros comuns

  • Usando LightGBM em uma amostra pequena onde o crescimento folha a folha leva a overfitting severo.
  • Deixando num_leaves e min_data_in_leaf em valores muito permissivos para o tamanho dos dados.
  • Codificando manualmente variáveis categóricas em one-hot em vez de passá-las diretamente para LightGBM.
  • Confiar na precisão in-sample sem uma avaliação hold-out ou validação cruzada.

Perguntas frequentes

Como o LightGBM difere do XGBoost?

Ambos são bibliotecas de árvore de decisão com gradient boosting. LightGBM usa divisão baseada em histograma e crescimento de árvore folha a folha (best-first), o que o torna muito mais rápido em grandes conjuntos de dados. XGBoost cresce nível a nível, o que é frequentemente mais seguro em amostras menores.

Por que o LightGBM leva a overfitting em pequenos conjuntos de dados?

Seu crescimento folha a folha sempre divide a folha com o maior ganho, o que pode dividir os dados em muitas folhas em relação ao seu tamanho. Em amostras pequenas (abaixo de cerca de 200 observações), isso leva a overfitting sério, então um método nível a nível ou Random Forest é recomendado.

Preciso codificar variáveis categóricas em one-hot?

Não. LightGBM pode aceitar características categóricas diretamente, então a codificação one-hot manual geralmente é desnecessária e pode até prejudicar o desempenho.

Quais configurações controlam o overfitting?

O número de folhas (num_leaves) e os dados mínimos por folha (min_data_in_leaf) são os principais controles de regularização; apertá-los limita a complexidade da árvore em relação ao tamanho do conjunto de dados.

Métodos relacionados

Fontes

  1. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.

    Abrir referência da publicação
    Copiado.