XGBoost
- Introduite par
- Chen, T. & Guestrin, C.
- Année
- 2016
- Type
- Ensemble (gradient-boosted decision trees)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
XGBoost (Extreme Gradient Boosting) est un algorithme de tree-boosting évolutif introduit par Tianqi Chen et Carlos Guestrin en 2016.
Il construit un prédicteur fort en ajoutant des arbres de décision un par un, chacun corrigeant les erreurs laissées par les arbres précédents, et constitue une méthode de prédiction puissante largement utilisée dans les compétitions.
L’intuition derrière la méthode
Au lieu de construire de nombreux arbres indépendants et de les moyenner, XGBoost construit les arbres séquentiellement : chaque nouvel arbre se concentre sur les cas que le modèle actuel gère encore mal. Pas à pas, l'ensemble réduit l'erreur restante, tandis qu'une pénalité de régularisation maintient la simplicité des arbres individuels afin que le modèle combiné généralise plutôt que de mémoriser les données d'entraînement.
Histoire
XGBoost a été introduit par Tianqi Chen et Carlos Guestrin dans leur article de 2016 'XGBoost: A Scalable Tree Boosting System' à l'ACM SIGKDD. En combinant le gradient boosting régularisé d'arbres de décision avec une implémentation évolutive et efficace, il est devenu l'un des algorithmes de prédiction les plus largement adoptés, particulièrement proéminent dans les compétitions de science des données.
Quand l’utiliser
Utilisez XGBoost pour une classification ou une prédiction précise sur des données tabulaires avec des caractéristiques continues, catégorielles, binaires ou de comptage et au moins environ 100 observations, lorsque la performance prédictive est la priorité. Il ne nécessite pas de données normalement distribuées ; des données suffisantes et une ingénierie des caractéristiques réfléchie sont les principales hypothèses pratiques. Avec moins d'environ 100 cas, le gradient boosting a tendance à surajuster et un modèle plus simple (tel qu'une régression logistique ou un arbre de décision unique) est plus fiable.
Limites et points d’attention
- Nécessite suffisamment de données — environ 100 observations ou plus — sinon il surajuste et les résultats de la validation croisée deviennent peu fiables.
- Sur de petits échantillons, il n'y a pas assez de données pour ajuster les nombreux hyperparamètres, donc un modèle plus simple généralise mieux.
- De nombreux hyperparamètres et un ensemble boîte noire rendent la configuration et l'interprétation plus difficiles qu'avec un modèle unique.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Forte précision prédictive sur les données tabulaires, ce qui explique sa popularité dans les compétitions.
- Régularisation intégrée pénalisant la complexité de l'arbre et aidant à contrôler le surajustement.
- Tolère les valeurs manquantes et gère les types de caractéristiques mixtes (continues, catégorielles, binaires, de comptage).
- Évolue bien et bénéficie directement de l'ingénierie des caractéristiques.
Applications
- Classification et prédiction sur des données tabulaires avec de nombreuses caractéristiques.
- Modélisation prédictive de niveau compétition où la précision est primordiale.
- Tâches de scoring et de prédiction de risque sur des caractéristiques continues, catégorielles, binaires et de comptage.
- Problèmes de modélisation où les valeurs manquantes et les caractéristiques ingénierées sont courantes.
Comment ça marche
Comment ça marche
XGBoost est une méthode de gradient boosting : il combine de nombreux arbres de décision peu profonds en un seul ensemble. Les arbres sont ajoutés l'un après l'autre, et chaque nouvel arbre est ajusté pour réduire l'erreur de prédiction qui subsiste après les arbres déjà présents dans le modèle.
Le modèle minimise un objectif qui somme un terme de perte mesurant l'ajustement aux données plus un terme de régularisation qui pénalise la complexité de l'arbre. Cette pénalité de complexité explicite est ce qui aide XGBoost à contrôler le surajustement tout en ajustant des relations flexibles et non linéaires.
Formule
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)À chaque tour de boosting, la prédiction actuelle est mise à jour en ajoutant la sortie d'un nouvel arbre ajusté. Chaque arbre est choisi pour déplacer les prédictions dans la direction qui réduit le plus l'objectif, de sorte que la précision de l'ensemble s'améliore tour après tour.
Formule
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)Après tous les tours, la prédiction finale est la somme des contributions de chaque arbre, utilisée pour la classification ou pour la prédiction d'une cible. Parce que le modèle tolère les valeurs manquantes et bénéficie de l'ingénierie des caractéristiques, il obtient de bons résultats sur les données tabulaires une fois qu'un nombre suffisant d'observations est disponible.
Pièges courants
- L'appliquer à de petits échantillons (n < 100) où le gradient boosting surajuste et les estimations de validation croisée ne sont pas fiables.
- Ignorer le réglage des hyperparamètres via la validation croisée (par exemple, recherche par grille) et accepter les valeurs par défaut.
- Laisser la gestion des valeurs manquantes et le codage catégoriel indécis, même si XGBoost tolère les lacunes.
- Ne pas mettre en place une division appropriée entraînement/test ou une validation croisée k-fold avant de rapporter les performances.
Questions fréquentes
Quelle quantité de données XGBoost nécessite-t-il ?
Environ 100 observations est un minimum raisonnable. Avec moins de 100 cas, le gradient boosting a tendance à surajuster et les résultats de la validation croisée deviennent peu fiables, donc un modèle plus simple tel qu'une régression logistique ou un arbre de décision unique est plus fiable.
XGBoost nécessite-t-il des données normalement distribuées ?
Non. Il ne fait aucune hypothèse de normalité et fonctionne avec des caractéristiques continues, catégorielles, binaires et de comptage. Les principales exigences pratiques sont d'avoir suffisamment de données et de réaliser une ingénierie des caractéristiques réfléchie.
Quelle est la différence entre XGBoost et Random Forest ?
Random Forest construit des arbres indépendamment et les moyenne pour réduire la variance. XGBoost construit des arbres séquentiellement, chacun corrigeant les erreurs des précédents, et ajoute une pénalité de régularisation sur la complexité de l'arbre, ce qui peut atteindre une plus grande précision avec un réglage minutieux.
Comment interpréter un modèle XGBoost ?
Étant donné que le modèle est un ensemble de nombreux arbres, les contributions sont généralement examinées avec une analyse d'attribution des caractéristiques telle que SHAP, ainsi qu'avec des métriques sur l'ensemble de test comme le RMSE ou l'AUC et un réglage des hyperparamètres validé par validation croisée.
Méthodes associées
Sources
Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.
Ouvrir la référence DOICopié.