Skip to content
Retour aux résultats

Ensemble de Bagging

Introduite par
Leo Breiman
Année
1996
Type
parallel ensemble
Famille
Ensemble

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le bagging, abréviation de « bootstrap aggregating », est une méthode d'ensemble qui réduit la variance en entraînant plusieurs copies d'un même algorithme d'apprentissage sur différents sous-ensembles aléatoires des données d'entraînement.

Chaque sous-ensemble est créé par échantillonnage bootstrap — tirage aléatoire d'échantillons avec remise. Les prédictions sont combinées par vote majoritaire (classification) ou par moyennage (régression). Introduit par Leo Breiman en 1996, le bagging constitue la base des forêts aléatoires et est particulièrement efficace pour réduire le surapprentissage dans les modèles à forte variance.

L’intuition derrière la méthode

L'idée fondamentale est qu'en entraînant le même modèle sur différents sous-ensembles de données aléatoires et en moyennant leurs prédictions, on réduit la variance sans augmenter le biais. Si un modèle surapprend sur des échantillons d'entraînement spécifiques, différents échantillons bootstrap exposent différents sous-ensembles de ce surapprentissage, et le moyennage annule les motifs fallacieux. Le bagging fonctionne en exploitant le caractère aléatoire : chaque échantillon bootstrap est légèrement différent, de sorte que chaque modèle entraîné est légèrement différent, et leur agrégat est plus stable que n'importe quel modèle individuel.

Histoire

Le bagging a été introduit par Leo Breiman en 1996, s'appuyant sur la méthode bootstrap issue des statistiques (Efron, 1979). Breiman a démontré que le bagging réduit l'erreur de prédiction des apprenants instables en diminuant la variance. La méthode est devenue fondamentale avec l'introduction des forêts aléatoires (Breiman, 2001), qui combinent le bagging avec la sélection aléatoire de caractéristiques. Le bagging reste une technique standard en apprentissage automatique, en particulier pour les méthodes d'ensemble.

Quand l’utiliser

Utilisez le bagging lorsque vous travaillez avec des modèles à forte variance (par exemple, les arbres de décision, les réseaux de neurones) qui ont tendance à surapprendre. Il est plus efficace lorsque les apprenants de base sont instables — sensibles aux petits changements dans les données d'entraînement. Le bagging est moins efficace pour les modèles à faible biais et faible variance (par exemple, k-NN avec un petit k, régression linéaire sur des données stables). Il est également bien adapté au calcul parallèle, car chaque apprenant de base peut être entraîné indépendamment.

Limites et points d’attention

  • Ne fournit aucune réduction de biais ; efficace uniquement pour les apprenants de base à forte variance.
  • Le coût de calcul augmente linéairement avec le nombre d'apprenants de base.
  • Les échantillons bootstrap manquent de diversité par rapport aux stratégies d'échantillonnage délibérées.
  • Peut ne pas améliorer les performances lorsque les modèles de base ont un biais élevé (par exemple, les modèles linéaires sur des données complexes).

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Réduit la variance sans augmenter le biais, améliorant la généralisation.
  • Fonctionne avec tout type d'apprenant de base ; peut utiliser des modèles instables comme les arbres.
  • Facilement parallélisable — chaque échantillon bootstrap peut être traité indépendamment.
  • Fournit des estimations de variance grâce au calcul de l'erreur hors-sac (out-of-bag).
  • Simple à implémenter avec un réglage minimal des hyperparamètres.

Applications

  • Diagnostic médical : bagging d'arbres de décision pour la classification des maladies afin d'améliorer la robustesse aux données patient bruitées.
  • Modélisation du risque financier : ensemble d'arbres de décision pour la prédiction de défaut de crédit dans diverses conditions de marché.
  • Télédétection : bagging de classifieurs d'images pour classer l'imagerie satellitaire avec un surapprentissage réduit.
  • Génomique : méthodes d'ensemble pour la sélection de gènes et la prédiction de maladies à partir de données de microréseaux de haute dimension.
  • Contrôle qualité de fabrication : bagging de réseaux de neurones pour la détection de défauts dans les processus de production.

Comment ça marche

Comment ça marche

1

Créer B échantillons bootstrap en échantillonnant aléatoirement les données d'entraînement avec remise, chacun de taille égale à celle du jeu de données original.

2

Entraîner un apprenant de base indépendant (par exemple, un arbre de décision, un réseau de neurones) sur chaque échantillon bootstrap.

3

Pour une nouvelle entrée, la faire passer par les B apprenants de base entraînés et collecter leurs prédictions.

4

Combiner les prédictions par vote majoritaire (classification) ou par moyennage (régression).

Pièges courants

  • L'utilisation d'un nombre trop faible d'apprenants de base (B < 20) réduit le bénéfice de la réduction de variance ; des rendements décroissants se produisent généralement autour de B = 100-500.
  • Entraîner les apprenants de base sur des sous-ensembles qui se chevauchent (par exemple, des divisions de données consécutives) au lieu d'échantillons bootstrap aléatoires.
  • Supposons que le bagging élimine le surapprentissage ; il réduit la variance, mais les modèles biaisés restent biaisés.
  • Ne pas exploiter les prédictions hors-sac pour la validation, manquant ainsi une alternative efficace à la validation croisée.

Questions fréquentes

Combien d'échantillons bootstrap (B) dois-je utiliser ?

Commencez avec B = 50-100 et surveillez les performances ; généralement, les bénéfices plafonnent autour de B = 100-500. Augmentez B si la réduction de variance stagne. Pour les applications critiques, B > 1000 peut être justifié malgré le coût de calcul.

Qu'est-ce que l'erreur hors-sac et comment l'utiliser ?

Chaque échantillon bootstrap exclut environ 1/3 des données originales (environ 36,8 % en moyenne). Ces échantillons hors-sac peuvent être utilisés pour valider ce modèle spécifique sans nécessiter un ensemble de validation séparé. La moyenne des erreurs hors-sac sur tous les modèles estime l'erreur de généralisation.

Le bagging est-il meilleur que la validation croisée ?

Ils servent à des fins différentes. La validation croisée estime la performance du modèle ; le bagging l'améliore. Utilisez le bagging pour entraîner un ensemble et les estimations hors-sac pour valider, évitant ainsi la surcharge de la validation croisée k-fold.

Le bagging peut-il améliorer les modèles à faible variance comme le k-NN ?

Non, pas efficacement. Le bagging est conçu pour les modèles à forte variance. Les modèles à faible variance (stables, simples) bénéficient peu de la réduction de variance. Envisagez d'autres méthodes d'ensemble ou concentrez-vous plutôt sur la réduction du biais.

Méthodes associées

Sources

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    Ouvrir la référence DOI
    Copié.
  2. Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.

    Ouvrir la référence DOI
    Copié.