Bagging (agrégation bootstrap)
- Introduite par
- Breiman, L.
- Année
- 1996
- Type
- Ensemble meta-algorithm (variance reduction via bootstrap aggregation)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Le bagging, abréviation de Bootstrap Aggregating (agrégation bootstrap), est un méta-algorithme d'ensemble introduit par Leo Breiman en 1996.
Il entraîne plusieurs copies d'un apprenant de base sur des échantillons bootstrap tirés indépendamment des données d'entraînement et combine leurs prédictions — par moyennage pour la régression ou vote majoritaire pour la classification — afin de produire un prédicteur final dont la variance est substantiellement plus faible que celle de n'importe quel apprenant de base unique.
L’intuition derrière la méthode
Imaginez demander l'avis d'un expert : sa réponse dépend fortement de ses expériences particulières. Imaginez maintenant demander l'avis de cent experts, chacun avec un bagage légèrement différent, et moyennant leurs réponses. Les particularités individuelles s'annulent et le consensus du groupe est beaucoup plus fiable. Le Bagging fait exactement cela pour les modèles d'apprentissage automatique : il génère de nombreux ensembles d'entraînement légèrement différents en rééchantillonnant les données originales avec remise, entraîne un modèle par ensemble, et fusionne toutes les prédictions. Chaque modèle voit une tranche de réalité différente, de sorte que leurs erreurs individuelles n'ont pas tendance à s'aligner, et l'agrégat est beaucoup plus stable que n'importe quel modèle unique.
Histoire
Leo Breiman a publié Bagging Predictors in Machine Learning en 1996, motivé par l'observation que les apprenants instables — ceux dont la sortie change considérablement sous de petites perturbations des données — pouvaient être stabilisés en moyennant sur des répliques bootstrap de l'ensemble d'entraînement. La justification théorique repose sur la décomposition biais-variance : le moyennage réduit la variance tout en laissant le biais inchangé. Breiman a démontré des améliorations constantes de l'exactitude par rapport aux arbres de décision uniques sur une batterie de benchmarks de classification et de régression. Le Bagging est rapidement devenu une technique d'ensemble fondamentale et a directement inspiré les forêts aléatoires (Random Forest ; Breiman, 2001), qui ajoutent un sous-échantillonnage aléatoire des variables à chaque division pour décorréler davantage les arbres et obtenir une réduction de variance encore plus grande. Aujourd'hui, le Bagging sert de colonne vertébrale conceptuelle à une large famille de méthodes d'ensemble et constitue un sujet standard dans les cursus de troisième cycle en apprentissage automatique.
Quand l’utiliser
Le Bagging est approprié chaque fois que l'algorithme d'apprentissage de base a une variance élevée — c'est-à-dire qu'il est sensible aux petites perturbations des données d'entraînement — et que la réduction de cette variance est la principale source d'erreur. Les arbres de décision entièrement développés et non élagués en sont l'exemple canonique. Le Bagging convient à la fois à la classification et à la régression sur des données tabulaires, ne nécessite aucune hypothèse sur la distribution des données et gère les variables de types mixtes. Il est plus bénéfique lorsque le jeu de données est suffisamment grand pour supporter B échantillons bootstrap indépendants de qualité (au moins environ 30 observations est une limite inférieure pratique, bien que des centaines soient préférables). Le Bagging n'est pas bénéfique lorsque l'apprenant de base est déjà stable (comme la régression linéaire sur des problèmes bien spécifiés) ou lorsque la source d'erreur dominante est le biais plutôt que la variance — dans de tels cas, les méthodes de boosting sont plus appropriées.
Limites et points d’attention
- Ne réduit pas le biais : si l'apprenant de base sous-ajuste, le Bagging ne peut pas le corriger.
- Les prédictions d'ensemble sont plus difficiles à interpréter qu'un modèle unique ; pas d'analogue de la structure visuelle d'un arbre de décision unique.
- La mémoire et le stockage évoluent linéairement avec B : conserver des centaines de grands modèles en mémoire peut être prohibitif.
- Les gains diminuent rapidement à mesure que B augmente ; les performances se stabilisent généralement bien avant B = 500.
- Sur des apprenants de base stables (par exemple, la régression linéaire avec une spécification correcte), le Bagging produit une amélioration négligeable.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Réduit directement la variance de l'estimateur sans augmenter le biais, produisant des prédictions plus stables que n'importe quel modèle de base unique.
- Parallélisable de façon triviale : chaque itération bootstrap est indépendante, rendant les grands ensembles de modèles traitables sur le plan computationnel.
- L'estimation intégrée de l'erreur OOB fournit une estimation honnête de la généralisation sans coût de données supplémentaire.
- Méta-algorithme agnostique au modèle : compatible avec tout apprenant de base suffisamment instable (arbres, réseaux neuronaux, k plus proches voisins).
- Robuste aux valeurs aberrantes dans l'ensemble d'entraînement : toute observation inhabituelle unique est absente de la plupart des échantillons bootstrap.
Applications
- Construire des modèles de classification et de régression stables sur des données tabulaires bruitées où un arbre de décision unique surajusterait.
- Générer des intervalles de prédiction en inspectant la dispersion des prédictions entre les B apprenants de base.
- Estimation de l'importance des variables via la diminution de l'exactitude OOB lorsque chaque variable est permutée sur l'ensemble.
- Modèle de référence d'ensemble : un repère rapide pour quantifier dans quelle mesure une méthode plus sophistiquée (boosting, stacking) s'améliore par rapport à une simple agrégation.
Comment ça marche
Comment ça marche
B échantillons bootstrap indépendants sont tirés de l'ensemble d'entraînement original de taille n. Chaque échantillon est généré en tirant n observations avec remise à partir des données originales, de sorte qu'en moyenne chaque échantillon contient environ 63,2 % des instances d'entraînement uniques ; les ~36,8 % restants sont laissés de côté et forment l'ensemble hors-sac (OOB, Out-Of-Bag) pour cette itération.
Formule
\mathcal{D}_b = \{(\mathbf{x}_i^*, y_i^*)\}_{i=1}^{n}, \quad (\mathbf{x}_i^*, y_i^*) \overset{\text{i.i.d.}}{\sim} \hat{F}_n, \quad b = 1, \dots, BUn algorithme d'apprentissage de base — le plus souvent un arbre de décision développé jusqu'à sa profondeur maximale, mais tout apprenant suffisamment instable convient — est ajusté indépendamment sur chaque échantillon bootstrap, produisant B modèles distincts. L'exigence clé est l'instabilité : si de petites perturbations des données provoquent de grands changements dans le modèle, le Bagging offre la plus grande réduction de variance.
Formule
\hat{f}_b = \mathcal{A}(\mathcal{D}_b)Pour les tâches de régression, les B sorties des modèles sont moyennées. Cette étape de moyennage est le principal mécanisme de réduction de la variance : sous des hypothèses d'indépendance, la variance de la moyenne de B modèles identiquement distribués est 1/B de la variance d'un seul modèle, et même en cas de corrélation positive, la réduction est substantielle.
Formule
\hat{f}_{\text{bag}}(\mathbf{x}) = \frac{1}{B} \sum_{b=1}^{B} \hat{f}_b(\mathbf{x})Pour les tâches de classification, chaque apprenant de base émet une voix pour une étiquette de classe, et la classe qui obtient le plus de voix est retournée comme prédiction finale. Les égalités sont rompues de manière arbitraire. Le vote à la majorité relative est asymptotiquement équivalent au moyennage des estimations de probabilité de classe produites par chaque apprenant de base.
Formule
\hat{y}(\mathbf{x}) = \underset{k}{\operatorname{arg\,max}} \sum_{b=1}^{B} \mathbf{1}\!\left[\hat{f}_b(\mathbf{x}) = k\right]Étant donné que chaque apprenant de base est entraîné sur environ 63,2 % des données, les observations restantes peuvent servir d'jeu de test indépendant (hold-out) pour cet apprenant. Le moyennage de ces prédictions OOB sur tous les apprenants qui n'ont pas vu chaque observation donne une estimation quasi sans biais de l'erreur de généralisation sans nécessiter d'échantillon de validation séparé ou de validation croisée.
Formule
\widehat{\text{Err}}_{\text{OOB}} = \frac{1}{n} \sum_{i=1}^{n} L\!\left(y_i,\; \frac{1}{|\mathcal{B}_i^c|} \sum_{b \in \mathcal{B}_i^c} \hat{f}_b(\mathbf{x}_i)\right)Pièges courants
- Appliquer le Bagging à un apprenant de base à faible variance (tel que la régression ridge) et s'attendre à des gains d'exactitude importants.
- Définir B trop petit (par exemple, B < 10) de sorte que l'agrégat soit encore bruyant et que les estimations OOB soient peu fiables.
- Ignorer le déséquilibre des classes : le Bagging préserve la distribution des classes des données originales dans chaque échantillon bootstrap, de sorte qu'un déséquilibre sévère est reproduit dans tous les apprenants.
- Confondre le Bagging avec le Boosting : le Bagging entraîne des modèles en parallèle sur des échantillons indépendants pour réduire la variance, tandis que le Boosting entraîne des modèles séquentiellement pour réduire le biais — ils traitent différentes sources d'erreur.
- Traiter l'erreur OOB comme un substitut à une évaluation sur données indépendantes (hold-out) lorsque le jeu de données est très petit, car les estimations OOB peuvent être optimistes dans ce régime.
Questions fréquentes
Combien d'échantillons bootstrap B dois-je utiliser ?
Breiman (1996) a constaté que les performances se stabilisent relativement rapidement ; B = 50 à 100 est souvent suffisant pour les arbres de décision. Augmenter B au-delà de quelques centaines produit des rendements décroissants. Surveillez l'erreur OOB à mesure que B augmente et arrêtez-vous lorsqu'elle se stabilise.
Quelle est la différence entre le bagging et les forêts aléatoires (Random Forest) ?
Les forêts aléatoires étendent le bagging en ajoutant un sous-échantillonnage aléatoire des variables à chaque division de chaque arbre. Cette randomisation supplémentaire décorrèle davantage les apprenants de base, réduisant la variance au-delà de ce que le Bagging seul permet. Le Bagging avec des arbres entièrement développés est donc un cas particulier de forêt aléatoire où toutes les variables sont considérées à chaque division.
Le Bagging peut-il être appliqué à des apprenants autres que les arbres de décision ?
Oui. Tout apprenant qui est instable — dont les prédictions changent considérablement lorsque les données d'entraînement changent légèrement — peut bénéficier du Bagging. Les réseaux neuronaux, les k plus proches voisins et les arbres de régression non élagués conviennent tous. Les apprenants stables tels que la régression linéaire avec un modèle bien spécifié bénéficient peu car il y a peu de variance à réduire.
L'erreur OOB est-elle un substitut fiable à la validation croisée ?
Pour les jeux de données de taille moyenne à grande, l'erreur OOB est une estimation quasi sans biais de l'erreur de généralisation et est gratuite sur le plan computationnel car aucun ajustement de modèle supplémentaire n'est requis. Sur de très petits jeux de données (n inférieur à environ 50), les estimations OOB peuvent être optimistes et la validation croisée est préférable.
Méthodes associées
Sources
Breiman, L. (1996). Bagging Predictors. Machine Learning, 24(2), 123–140.
Ouvrir la référence DOICopié.Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 8.7). Springer.
ISBN : 978-0-387-84857-0Copié.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8.2). Springer.
ISBN : 978-1-4614-7138-7Copié.