Forêt Aléatoire
- Introduite par
- Breiman, L.
- Année
- 2001
- Type
- Ensemble (bagging of decision trees)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
La Forêt Aléatoire (Random Forest) est une méthode d'apprentissage d'ensemble, introduite par Leo Breiman en 2001, qui construit de nombreux arbres de décision sur des échantillons bootstrap des données et combine leurs votes pour produire une classification et une régression robustes.
En regroupant de nombreux arbres légèrement différents, elle produit des prédictions plus précises et plus stables que n'importe quel arbre unique.
L’intuition derrière la méthode
Un arbre de décision unique, construit en profondeur, s'ajuste étroitement aux données d'entraînement mais est instable : un léger changement dans les données peut produire un arbre très différent. La Forêt Aléatoire résout ce problème en construisant de nombreux arbres, chacun sur une vue aléatoire légèrement différente des données, et en les laissant voter. Les erreurs des arbres individuels ont tendance à s'annuler, de sorte que la prédiction combinée est bien plus fiable que celle d'un seul arbre.
Histoire
La Forêt Aléatoire a été proposée par Leo Breiman en 2001, combinant l'agrégation bootstrap avec la sélection aléatoire de caractéristiques à chaque division. Elle est devenue l'une des méthodes d'apprentissage automatique les plus utilisées et les plus fiables pour les données tabulaires, et constitue une référence standard dans des ouvrages tels que An Introduction to Statistical Learning (Chapitre 8). Plus récemment, des outils comme les valeurs SHAP ont rapproché son interprétabilité de celle de la régression logistique, augmentant son acceptation dans les sciences sociales.
Quand l’utiliser
Un bon choix pour une classification, une régression ou une prédiction précise et robuste sur des données tabulaires avec de nombreuses caractéristiques — éventuellement non linéaires et interactives — et au moins environ 50 observations, lorsque la performance prédictive est plus importante que la présentation de coefficients explicites. La Forêt Aléatoire est peu exigeante en hypothèses : elle ne nécessite pas de données normalement distribuées et gère les caractéristiques continues, catégorielles, binaires, ordinales et de comptage. L'optimisation des hyperparamètres est recommandée. Lorsque la taille des échantillons tombe en dessous d'environ 50, des modèles plus simples tels que la régression logistique ou linéaire sont plus sûrs.
Limites et points d’attention
- Pas de coefficients à interpréter ; sa nature de « boîte noire » peut entrer en conflit avec les évaluateurs qui attendent des effets explicites.
- L'optimisation des hyperparamètres est recommandée, et les grandes forêts coûtent en mémoire et en calcul.
- Sur de petits échantillons (n inférieur à environ 50), de nombreux arbres surapprennent et les résultats de la validation croisée deviennent trompeurs.
- Les estimations d'importance des caractéristiques peuvent être instables et non reproductibles pour de petites tailles d'échantillon.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Précision élevée prête à l'emploi sur les données tabulaires pour la classification et la régression.
- Résistance au surapprentissage grâce au bagging et à la sélection aléatoire des caractéristiques à chaque division.
- L'importance des caractéristiques intégrée permet de classer les variables directement dans le modèle.
- L'erreur hors-sac (out-of-bag) fournit une estimation de validation honnête sans passe de validation croisée séparée.
- Peu exigeante en hypothèses : aucune exigence de normalité, et elle gère les types de caractéristiques mixtes et les interactions non linéaires.
Applications
- Classification et régression sur des données tabulaires avec de nombreuses caractéristiques.
- Sélection et classement des variables via l'importance des caractéristiques native.
- Évaluation et prédiction des risques lorsque la robustesse est plus importante que les coefficients explicites.
- Modélisation de base avant d'essayer des ensembles plus complexes tels que le gradient boosting.
Comment ça marche
Comment ça marche
De nombreux échantillons bootstrap sont tirés de l'ensemble d'entraînement — chacun est un échantillon aléatoire tiré avec remplacement, de sorte que les arbres voient des données légèrement différentes. Les observations laissées hors d'un échantillon donné (l'ensemble hors-sac, ou out-of-bag) fournissent une estimation de validation intégrée sans nécessiter un pli de rétention (hold-out) séparé.
À chaque division dans chaque arbre, seul un sous-ensemble aléatoire des caractéristiques disponibles est considéré comme candidat. Cette sélection aléatoire de caractéristiques décorréle les arbres afin qu'ils ne se fixent pas tous sur les mêmes prédicteurs dominants, ce qui permet à l'ensemble de réduire la variance en dessous de celle de n'importe quel arbre unique.
Chaque arbre fait sa propre prédiction, et la forêt les combine : un vote majoritaire parmi les arbres pour la classification, ou la moyenne de leurs sorties pour la régression. Cette agrégation transforme de nombreux arbres bruyants en un prédicteur robuste.
Formule
\hat{y} = \text{mode/mean of } T \text{ trees}Pièges courants
- Ignorer une division entraînement/test ou une validation croisée et faire confiance aux performances intra-échantillon.
- Ignorer le déséquilibre des classes au lieu de repondérer les classes (class_weight='balanced') ou de rééchantillonner.
- Ne rapporter que la précision sans le score F1 et l'AUC en complément.
- Traiter un classement d'importance des caractéristiques sur un petit échantillon comme stable.
- Accepter aveuglément les hyperparamètres par défaut au lieu d'optimiser le nombre d'arbres.
Questions fréquentes
Combien d'arbres la forêt devrait-elle avoir ?
Plus d'arbres réduisent la variance et stabilisent le vote au prix d'un coût de calcul et de mémoire. Un point de départ courant est d'environ 100 arbres, en augmentant jusqu'à ce que l'erreur hors-sac cesse de s'améliorer.
La Forêt Aléatoire surapprend-elle ?
Elle est très résistante au surapprentissage car le bagging et la sélection aléatoire des caractéristiques décorréle les arbres et annulent leurs erreurs individuelles. Le risque principal est d'ajuster de nombreux arbres profonds sur un très petit ensemble de données, où le modèle surapprend et la validation croisée devient trompeuse.
Puis-je faire confiance à l'importance des caractéristiques ?
L'importance des caractéristiques est utile pour classer les prédicteurs, mais pour de petites tailles d'échantillon, elle peut être instable et non reproductible, il faut donc traiter les classements sur petits échantillons avec prudence. L'associer à une analyse SHAP donne une vision plus claire de la contribution de chaque caractéristique.
Que dois-je vérifier avant et après l'ajustement ?
Avant, gérez les valeurs manquantes, encodez les variables catégorielles et configurez une division entraînement/test ou une validation croisée k-fold. Après, évaluez l'erreur hors-sac, exécutez la validation croisée et examinez les contributions des caractéristiques (par exemple avec SHAP).
Méthodes associées
Sources
Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.
Ouvrir la référence DOICopié.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.
ISBN : 978-1-4614-7138-7Copié.