Skip to content
Retour aux résultats

AdaBoost

Introduite par
Freund, Y. & Schapire, R.E.
Année
1997
Type
Ensemble (sequential boosting of weak learners)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

AdaBoost (Adaptive Boosting) est l'algorithme de boosting original, introduit par Yoav Freund et Robert Schapire en 1997, qui combine une séquence d'apprenants faibles simples en donnant plus de poids aux observations qu'ils classent incorrectement.

Précurseur du gradient boosting, il est simple, interprétable et constitue une base solide pour la classification.

L’intuition derrière la méthode

Un seul arbre peu profond est un apprenant faible : à peine meilleur que le hasard. AdaBoost transforme de nombreux apprenants faibles de ce type en un prédicteur fort en les entraînant les uns après les autres. Après l'entraînement de chaque apprenant, les observations qu'il a mal classées reçoivent un poids plus élevé, de sorte que l'apprenant suivant se concentre sur les cas difficiles que les autres continuent de mal classer. La prédiction finale est un vote pondéré, où les apprenants les plus précis comptent davantage.

Histoire

AdaBoost a été introduit par Yoav Freund et Robert Schapire en 1997 comme une généralisation décisionnelle de l'apprentissage en ligne appliquée au boosting. Ce fut le premier algorithme de boosting pratique et il a montré que de nombreux apprenants faibles pouvaient être combinés en un apprenant fort, un travail qui est devenu fondamental pour toute la famille du boosting. C'est le précurseur direct du gradient boosting et des outils modernes tels que XGBoost.

Quand l’utiliser

Un bon choix pour la classification et la prédiction sur des données tabulaires transversales avec des caractéristiques continues, catégorielles ou binaires et au moins environ 50 observations, lorsque l'on souhaite une base de boosting simple et interprétable. AdaBoost ne fait aucune hypothèse de normalité, mais il est sensible aux données bruitées et aux valeurs aberrantes, il faut donc d'abord les filtrer. Contrôlez le nombre d'estimateurs pour gérer le risque de surapprentissage, faible mais non nul. Sur de petits échantillons, une régression logistique plus simple ou le plus robuste Random Forest sont plus sûrs.

Limites et points d’attention

  • Sensible aux données bruitées et aux valeurs aberrantes en raison de sa perte exponentielle ; un filtrage des valeurs aberrantes est nécessaire.
  • Le risque de surapprentissage est faible mais non nul et doit être contrôlé par le nombre d'estimateurs.
  • Sur de petits échantillons (n inférieur à environ 50), les observations bruitées sont surpondérées et chaque itération peut dégrader les performances.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Simple et interprétable, avec peu de paramètres à régler.
  • Transforme des apprenants faibles de profondeur 1 en un classifieur fort, une base solide prête à l'emploi.
  • Aucune hypothèse de normalité ; gère les caractéristiques continues, catégorielles et binaires.
  • Le précurseur du gradient boosting, avec un mécanisme clair de pondération adaptative.

Applications

  • Bases de classification sur des données tabulaires transversales.
  • Tâches de prédiction où un modèle boosté simple et interprétable est préféré.
  • Enseigner et démontrer l'idée du boosting avant de passer au gradient boosting.
  • Combiner de nombreux moignons de décision peu profonds en un seul classifieur fort.

Comment ça marche

Comment ça marche

1

Chaque observation d'entraînement commence avec un poids égal. Ces poids indiquent à chaque apprenant faible successif l'importance qu'il doit accorder à la bonne classification de cette observation particulière.

2

Un apprenant faible — généralement un moignon de décision (decision stump), un arbre de profondeur 1 — est ajusté aux données pondérées. Parce qu'il est si simple, il ne fait à lui seul qu'un peu mieux que le hasard.

3

La précision globale de l'apprenant détermine son influence dans le vote final, et les poids des observations qu'il a mal classées sont augmentés afin que l'apprenant suivant se concentre sur celles-ci. Une fonction de perte exponentielle pilote cette mise à jour : elle pénalise la mauvaise classification à un rythme fortement croissant, ce qui rend également AdaBoost sensible aux points bruyants et aux valeurs aberrantes.

Formule
w_i \leftarrow w_i \exp(\alpha \, \mathbb{1}[y_i \neq h(x_i)])
4

Après de nombreuses itérations, les apprenants faibles sont regroupés en une seule prédiction par un vote majoritaire pondéré, chaque apprenant étant pondéré par sa précision. Cette somme de nombreux apprenants simples et ciblés forme un classifieur fort.

Formule
H(x) = \text{sign}\left(\sum_t \alpha_t h_t(x)\right)

Pièges courants

  • Exécuter AdaBoost sur des données pleines de valeurs aberrantes sans les filtrer au préalable.
  • Laisser le nombre d'estimateurs augmenter sans contrôle au lieu de l'ajuster.
  • L'utiliser sur un échantillon de moins d'environ 50 observations, où les points bruyants dominent la pondération.
  • Opter pour AdaBoost alors qu'un ensemble plus robuste comme Random Forest s'adapte mieux aux données bruitées.

Questions fréquentes

En quoi AdaBoost est-il différent de Random Forest ?

Random Forest construit de nombreux arbres indépendants en parallèle et en fait la moyenne (bagging) ; AdaBoost construit des apprenants faibles séquentiellement, chacun se concentrant sur les cas que les précédents ont mal classés (boosting). En raison de sa perte exponentielle, AdaBoost est plus sensible au bruit et aux valeurs aberrantes, tandis que Random Forest est plus robuste.

Pourquoi AdaBoost est-il sensible aux valeurs aberrantes ?

Il utilise une fonction de perte exponentielle qui pénalise la mauvaise classification à un rythme fortement croissant. Les points constamment mal classés — souvent des valeurs aberrantes ou des observations bruitées — continuent de gagner du poids, de sorte qu'ils peuvent dominer les itérations ultérieures et dégrader le modèle.

Combien d'estimateurs dois-je utiliser ?

Le nombre d'estimateurs (apprenants faibles) contrôle le risque de surapprentissage d'AdaBoost, faible mais réel. Augmentez-le tant que les performances de validation s'améliorent, et arrêtez une fois qu'elles se stabilisent ou commencent à se détériorer.

Qu'est-ce qu'un apprenant faible ici ?

Typiquement un moignon de décision (decision stump) — un arbre de décision de profondeur 1. À lui seul, il n'est que légèrement meilleur que le hasard, mais AdaBoost en combine plusieurs, chacun pondéré par sa précision, en un seul classifieur fort.

Méthodes associées

Sources

  1. Freund, Y. & Schapire, R.E. (1997). A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    Ouvrir la référence DOI
    Copié.