Gradient Boosting
- Introduite par
- Friedman, J. H.
- Année
- 2001
- Type
- Ensemble (sequential boosting of decision trees)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Le Gradient Boosting est une méthode d'apprentissage d'ensemble, formalisée par Jerome H. Friedman en 2001, qui combine une séquence d'apprenants faibles — typiquement des arbres de décision peu profonds — de telle sorte que chaque nouvel arbre soit ajusté pour minimiser les erreurs résiduelles des arbres précédents.
C'est l'algorithme central derrière des implémentations populaires telles que XGBoost, LightGBM et CatBoost.
L’intuition derrière la méthode
Plutôt que de construire un modèle fort d'un seul coup, le Gradient Boosting construit de nombreux petits arbres en séquence, où chaque nouvel arbre se concentre sur les erreurs que l'ensemble actuel commet encore. En ajustant à plusieurs reprises la prédiction dans la direction qui réduit le plus l'erreur restante, une chaîne d'apprenants faibles s'additionne pour former un prédicteur hautement précis.
Histoire
Le Gradient Boosting a été formalisé par Jerome H. Friedman dans son article de 2001 Greedy Function Approximation: A Gradient Boosting Machine, qui a présenté le boosting comme une descente de gradient dans l'espace des fonctions. L'idée — ajouter des apprenants faibles qui ajustent chacun les résidus de l'ensemble actuel — est devenue la base des algorithmes les plus performants sur données tabulaires en pratique, y compris XGBoost, LightGBM et CatBoost.
Quand l’utiliser
Un excellent choix pour une classification et une prédiction précises sur des données tabulaires transversales ou de panel avec au moins environ 100 observations, sur des caractéristiques continues, catégorielles, binaires et ordinales. La mise à l'échelle des caractéristiques n'est généralement pas nécessaire, mais le réglage des hyperparamètres du nombre d'arbres, du taux d'apprentissage et de la profondeur maximale est essentiel, et l'arrêt précoce est recommandé pour se prémunir contre le surajustement. Avec moins d'environ 100 observations, les arbres séquentiels ont tendance à mémoriser le bruit, et Random Forest ou un arbre de décision unique est plus sûr.
Limites et points d’attention
- Le réglage des hyperparamètres du nombre d'arbres, du taux d'apprentissage et de la profondeur maximale est essentiel et prend du temps.
- Le boosting séquentiel est sujet au surajustement s'il n'est pas régularisé, c'est pourquoi l'arrêt précoce est recommandé.
- Sur de petits échantillons (n inférieur à environ 100), les arbres séquentiels mémorisent le bruit, et même l'arrêt précoce est insuffisant.
- Avec trop peu de données, il n'y a pas assez de matériel de validation croisée pour optimiser les hyperparamètres de manière fiable.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Très haute précision prédictive sur les données tabulaires pour la classification et la prédiction.
- La mise à l'échelle des caractéristiques est généralement inutile, et elle gère les caractéristiques continues, catégorielles, binaires et ordinales.
- Forme l'algorithme central derrière des bibliothèques largement utilisées telles que XGBoost, LightGBM et CatBoost.
- L'arrêt précoce et un faible taux d'apprentissage permettent un contrôle fin du compromis biais-variance.
Applications
- Classification et prédiction de haute précision sur des données tabulaires transversales et de panel.
- Notation des risques et prédiction des résultats où la performance prédictive maximale est la priorité.
- Modélisation de relations non linéaires complexes parmi des caractéristiques de types mixtes sans mise à l'échelle manuelle.
- Servir de moteur derrière les bibliothèques de gradient boosting en production telles que XGBoost et LightGBM.
Comment ça marche
Comment ça marche
Le Gradient Boosting entraîne des apprenants faibles — généralement des arbres de décision peu profonds — l'un après l'autre plutôt qu'indépendamment. L'ensemble commence par une estimation initiale simple, et chaque arbre subséquent est ajouté pour corriger ce que le modèle actuel a encore faux, de sorte que la précision s'améliore pas à pas.
À chaque tour, la méthode examine les erreurs résiduelles de l'ensemble actuel et ajuste le prochain arbre à ces résidus (le gradient négatif de la perte). Le nouvel arbre est ajouté avec un petit poids de taux d'apprentissage, de sorte que la prédiction est mise à jour prudemment : F_m(x) = F_{m-1}(x) + nu * h_m(x). Cette correction séquentielle guidée par le gradient est ce qui donne son nom et sa précision à la méthode.
Formule
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)La prédiction finale est la somme de l'estimation initiale et de toutes les petites corrections d'arbres accumulées en cours de route. Comme les arbres sont ajoutés de manière gloutonne pour chasser l'erreur restante, le réglage du nombre d'arbres, du taux d'apprentissage et de la profondeur de l'arbre — conjointement avec l'arrêt précoce — est essentiel pour éviter le surajustement.
Pièges courants
- Sauter l'arrêt précoce et laisser le boosting s'exécuter pendant trop de tours jusqu'à ce qu'il surajuste.
- Définir le taux d'apprentissage trop haut de sorte que chaque arbre surcorrige au lieu de guider doucement la prédiction.
- L'appliquer à un échantillon inférieur à environ 100 observations où les arbres séquentiels mémorisent le bruit.
- Accepter les hyperparamètres par défaut au lieu de régler n_estimators, learning_rate et max_depth.
- Traiter cela comme nécessitant une mise à l'échelle des caractéristiques comme les modèles basés sur la distance, alors que la mise à l'échelle est généralement inutile.
Questions fréquentes
Quelle est la différence entre Gradient Boosting et Random Forest ?
Random Forest construit de nombreux arbres indépendants en parallèle et les moyenne, tandis que Gradient Boosting construit des arbres séquentiellement, chacun étant ajusté pour corriger les erreurs résiduelles de ceux qui le précèdent. Le boosting atteint souvent une précision plus élevée mais est plus sensible au surajustement et nécessite un réglage minutieux.
Pourquoi l'arrêt précoce est-il recommandé ?
Comme chaque nouvel arbre chasse l'erreur restante, une exécution de boosting trop longue commence à ajuster le bruit. L'arrêt précoce interrompt l'entraînement une fois que la performance de validation cesse de s'améliorer, ce qui est la principale protection contre le surajustement.
Dois-je mettre à l'échelle mes caractéristiques ?
La mise à l'échelle des caractéristiques n'est généralement pas nécessaire pour le gradient boosting basé sur les arbres, car les divisions dépendent de l'ordre plutôt que de la magnitude. Les leviers critiques sont plutôt le nombre d'arbres, le taux d'apprentissage et la profondeur de l'arbre.
Quelle taille d'échantillon me faut-il ?
Au moins environ 100 observations. En dessous, les arbres séquentiels mémorisent le bruit et même l'arrêt précoce est insuffisant, donc Random Forest ou un arbre de décision unique est le choix le plus sûr.
Méthodes associées
Sources
Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
Ouvrir la référence DOICopié.