Skip to content
Retour aux résultats

LightGBM

Introduite par
Ke, G. et al. (Microsoft)
Année
2017
Type
Gradient boosting decision tree ensemble

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

LightGBM est l'implémentation d'arbre de décision à gradient boosting de Microsoft, introduite par Ke et ses collègues en 2017, qui développe les arbres feuille par feuille et regroupe les caractéristiques en histogrammes pour accélérer le traitement.

Sur les grands ensembles de données, il est beaucoup plus rapide que XGBoost tout en conservant une forte précision prédictive.

L’intuition derrière la méthode

Le gradient boosting construit un ensemble un arbre à la fois, où chaque nouvel arbre corrige les erreurs laissées par les arbres précédents. LightGBM conserve cette idée fondamentale mais la rend rapide : au lieu de tester chaque point de division possible sur des caractéristiques continues, il regroupe les valeurs des caractéristiques en un nombre fixe de bacs d'histogramme, et au lieu de développer chaque arbre niveau par niveau, il développe toujours la feuille qui promet la plus grande amélioration. Le résultat est un modèle qui converge rapidement et s'adapte aux grandes données tabulaires.

Histoire

LightGBM a été introduit par Guolin Ke et ses collègues de Microsoft dans un article de NeurIPS de 2017, « LightGBM: A Highly Efficient Gradient Boosting Decision Tree ». Ses deux choix distinctifs — le regroupement des caractéristiques basé sur l'histogramme et la croissance des arbres feuille par feuille (meilleur premier) — ont été conçus pour rendre le gradient boosting considérablement plus rapide et plus économe en mémoire sur de grands ensembles de données, et il est devenu l'une des bibliothèques de boosting les plus utilisées pour les données tabulaires aux côtés de XGBoost.

Quand l’utiliser

Un excellent choix pour la prédiction, la classification et la prévision sur de grands ensembles de données tabulaires — transversaux, de panel ou de séries chronologiques — avec des caractéristiques continues, catégorielles, binaires ou ordinales et au moins environ 200 observations. Il est le plus précieux lorsque la vitesse d'entraînement et l'échelle sont importantes et que vous pouvez ajuster la régularisation. En dessous d'environ 200 observations, la croissance feuille par feuille a tendance à surajuster gravement, et une méthode niveau par niveau comme XGBoost ou une forêt aléatoire plus stable est plus sûre.

Limites et points d’attention

  • La croissance feuille par feuille surajuste sur de petits échantillons à moins d'être soigneusement régularisée.
  • Nécessite l'ajustement de num_leaves et min_data_in_leaf pour contrôler la complexité.
  • Sur les ensembles de données de moins d'environ 200 observations, une méthode niveau par niveau (XGBoost) ou une forêt aléatoire est plus fiable.
  • Comme les autres arbres boostés, c'est une boîte noire sans coefficients directement interprétables.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Beaucoup plus rapide que XGBoost sur les grands ensembles de données grâce à la division basée sur l'histogramme.
  • La croissance feuille par feuille converge rapidement et atteint souvent une grande précision.
  • Gère directement les caractéristiques catégorielles, sans encodage one-hot manuel.
  • Fonctionne pour la prédiction, la classification et la prévision sur des données transversales, de panel et de séries chronologiques.

Applications

  • Prédiction et classification sur de grands ensembles de données tabulaires.
  • Tâches de prévision sur des données transversales, de panel et de séries chronologiques.
  • Alternative rapide et évolutive à XGBoost lorsque le temps d'entraînement est important.
  • Modélisation de données avec de nombreuses caractéristiques catégorielles sans prétraitement lourd.

Comment ça marche

Comment ça marche

1

Les arbres sont ajoutés séquentiellement : chaque nouvel arbre est ajusté aux erreurs résiduelles de l'ensemble actuel et ajouté avec une réduction du taux d'apprentissage, de sorte que le modèle réduit progressivement sa perte étape par étape. Les caractéristiques catégorielles peuvent être directement fournies à LightGBM sans encodage one-hot manuel.

Formule
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)
2

Les valeurs des caractéristiques continues sont regroupées en un nombre fixe de bacs d'histogramme discrets avant la division. L'algorithme recherche ensuite la meilleure division sur ces bacs plutôt que sur chaque valeur brute, ce qui est la principale raison pour laquelle LightGBM est tellement plus rapide que les implémentations niveau par niveau comme XGBoost sur de grandes données.

3

Plutôt que d'étendre toutes les feuilles à la même profondeur (niveau par niveau), LightGBM se développe feuille par feuille : il divise toujours la feuille qui produit la plus grande réduction de perte. Cela converge plus rapidement mais peut surajuster sur de petits échantillons, de sorte que le nombre de feuilles (num_leaves) et le nombre minimum de données par feuille (min_data_in_leaf) doivent être définis pour régulariser les arbres.

Pièges courants

  • Utiliser LightGBM sur un petit échantillon où la croissance feuille par feuille surajuste gravement.
  • Laisser num_leaves et min_data_in_leaf à des valeurs trop permissives pour la taille des données.
  • Encoder manuellement les variables catégorielles en one-hot au lieu de les passer directement à LightGBM.
  • Faire confiance à la précision intra-échantillon sans évaluation par validation croisée ou sur un ensemble de test.

Questions fréquentes

En quoi LightGBM est-il différent de XGBoost ?

Les deux sont des bibliothèques d'arbres de décision à gradient boosting. LightGBM utilise la division basée sur l'histogramme et la croissance des arbres feuille par feuille (meilleur premier), ce qui le rend beaucoup plus rapide sur les grands ensembles de données. XGBoost se développe niveau par niveau, ce qui est souvent plus sûr sur de plus petits échantillons.

Pourquoi LightGBM surajuste-t-il sur de petits ensembles de données ?

Sa croissance feuille par feuille divise toujours la feuille avec le plus grand gain, ce qui peut découper les données en trop de feuilles par rapport à leur taille. Sur de petits échantillons (en dessous d'environ 200 observations), cela conduit à un surajustement grave, de sorte qu'une méthode niveau par niveau ou une forêt aléatoire est recommandée.

Dois-je encoder les variables catégorielles en one-hot ?

Non. LightGBM peut prendre directement les caractéristiques catégorielles, de sorte que l'encodage one-hot manuel est généralement inutile et peut même nuire aux performances.

Quels paramètres contrôlent le surajustement ?

Le nombre de feuilles (num_leaves) et le nombre minimum de données par feuille (min_data_in_leaf) sont les principaux contrôles de régularisation ; les resserrer limite la complexité de l'arbre par rapport à la taille de l'ensemble de données.

Méthodes associées

Sources

  1. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.

    Ouvrir la référence de la publication
    Copié.