Extra Trees
- Introduite par
- Geurts, P.; Ernst, D.; Wehenkel, L.
- Année
- 2006
- Type
- Ensemble (extremely randomized decision trees)
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Extra Trees (Arbres Extrêmement Aléatoires), introduits par Geurts, Ernst et Wehenkel en 2006, est un ensemble d'arbres de décision qui pousse la randomisation plus loin que la Forêt Aléatoire.
Les caractéristiques candidates et les seuils de division sont choisis complètement au hasard à chaque nœud, éliminant la recherche gourmande sur les seuils. Cette randomisation supplémentaire réduit la variance, égale ou dépasse souvent la précision de la Forêt Aléatoire, et s'exécute considérablement plus rapidement au moment de l'entraînement.
L’intuition derrière la méthode
La Forêt Aléatoire décorréle déjà les arbres en échantillonnant aléatoirement les caractéristiques à chaque division, mais elle recherche toujours le meilleur seuil parmi ces caractéristiques. Extra Trees va plus loin : pour chaque caractéristique candidate, il choisit un seuil aléatoire plutôt que de l'optimiser. À première vue, cela semble nuire à la précision, mais comme les arbres résultants sont encore moins corrélés les uns avec les autres, la moyenne de l'ensemble annule davantage de variance. La perte due à une seule mauvaise division est minime une fois que l'on fait la moyenne sur de nombreux arbres, et le gain de vitesse dû à l'absence de recherche d'un seuil optimal est substantiel.
Histoire
Extra Trees a été proposé par Pierre Geurts, Damien Ernst et Louis Wehenkel dans un article de 2006 dans Machine Learning. Les auteurs ont montré que l'introduction d'une randomisation complète des seuils de division — plutôt que de rechercher des coupures optimales — réduit considérablement la variance tout en échangeant une légère augmentation du biais. La méthode est depuis devenue une alternative standard à la Forêt Aléatoire dans l'écosystème scikit-learn et est largement utilisée comme une base de référence rapide et de haute précision pour les benchmarks de données tabulaires.
Quand l’utiliser
Utilisez Extra Trees lorsque vous souhaitez un entraînement rapide et une forte précision sur des données tabulaires avec des caractéristiques continues ou mixtes. Il est particulièrement utile lorsque le temps d'entraînement est une contrainte — sa suppression de l'optimisation des seuils le rend considérablement plus rapide que la Forêt Aléatoire à une précision comparable. Il convient aux tâches de classification et de régression avec des échantillons modérés à grands (environ 50 observations ou plus). Préférez la Forêt Aléatoire ou le gradient boosting si vous avez besoin d'estimations hors-sac intégrées ou si le bruit des données est très élevé et que vous suspectez que des seuils entièrement aléatoires nuisent à la précision. Pour des ensembles de données très petits, des modèles plus simples tels que la régression logistique ou un seul arbre de décision sont plus sûrs et plus interprétables.
Limites et points d’attention
- Pas d'estimation hors-sac intégrée (contrairement à la Forêt Aléatoire), donc la validation croisée est nécessaire pour une évaluation impartiale des erreurs.
- Les seuils entièrement aléatoires peuvent nuire sur des données très bruitées où les divisions optimales sont informatives.
- Boîte noire : ne fournit pas de coefficients explicites, limitant l'interprétabilité pour les publics attendant des tailles d'effet.
- L'utilisation de la mémoire augmente avec le nombre d'arbres et la profondeur des arbres.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Entraînement plus rapide que la Forêt Aléatoire car aucune optimisation de seuil n'est effectuée à chaque division.
- Une forte diversité entre les arbres conduit à une forte réduction de la variance et égale ou dépasse souvent la précision de la Forêt Aléatoire.
- Gère les types de caractéristiques mixtes et les interactions non linéaires sans hypothèses de prétraitement.
- Fournit des importances de caractéristiques natives pour le classement et la sélection des variables.
- Se transpose bien aux données de haute dimension avec de nombreuses caractéristiques non pertinentes.
Applications
- Bases de référence rapides de classification et de régression sur des données tabulaires.
- Sélection de caractéristiques et classement d'importance dans des ensembles de données de haute dimension.
- Modélisation prédictive en bioinformatique, télédétection et analyse de données de capteurs.
- Recherche d'hyperparamètres dans des pipelines où la vitesse d'entraînement est critique.
- Scénarios de données à grande échelle où le temps d'entraînement de la Forêt Aléatoire est prohibitif.
Comment ça marche
Comment ça marche
Contrairement à la Forêt Aléatoire, Extra Trees entraîne par défaut chaque arbre sur l'ensemble d'entraînement complet plutôt que sur un échantillon bootstrap. Cela réduit le biais introduit par l'échantillonnage mais signifie qu'il n'y a pas d'ensemble hors-sac intégré ; la validation croisée est donc nécessaire pour une estimation honnête des erreurs.
À chaque nœud interne, un sous-ensemble aléatoire de caractéristiques est tiré. Pour chaque caractéristique candidate, un seuil de division est échantillonné uniformément au hasard dans la plage observée des valeurs de cette caractéristique — aucune recherche du point de coupure optimal n'est effectuée. La paire caractéristique-seuil produisant le meilleur score (par exemple, réduction de l'impureté Gini) parmi ces candidats aléatoires est sélectionnée.
Les arbres sont cultivés jusqu'à leur profondeur maximale par défaut, ce qui signifie que les feuilles sont aussi pures que possible. La profondeur maximale, combinée aux divisions aléatoires, est ce qui réduit la variance dans l'ensemble : les arbres individuels ont une variance élevée mais sont très divers.
Les prédictions de tous les arbres sont combinées : vote majoritaire pour la classification et moyenne des sorties pour la régression. La forte diversité entre les arbres signifie que les erreurs individuelles tendent à s'annuler, rendant l'ensemble plus stable que n'importe quel arbre individuel.
Formule
\hat{y} = \text{mode/mean of } T \text{ trees}Pièges courants
- Ignorer la validation croisée et se fier à la précision sur l'échantillon, car aucune estimation OOB n'est produite par défaut.
- Ignorer le déséquilibre des classes — utiliser class_weight='balanced' ou la rééchantillonnage avant l'ajustement.
- Rapporter uniquement la précision sans métriques complémentaires telles que F1, AUC ou RMSE.
- Traiter les classements d'importance des caractéristiques comme stables sans vérifier la reproductibilité entre les graines.
Questions fréquentes
Comment Extra Trees diffère-t-il de la Forêt Aléatoire ?
Les deux sont des ensembles d'arbres de décision avec des sous-ensembles aléatoires de caractéristiques à chaque division. La différence clé est qu'Extra Trees choisit les seuils de division complètement au hasard plutôt que de les optimiser, et entraîne par défaut sur l'ensemble d'entraînement complet plutôt que sur des échantillons bootstrap. Cela rend Extra Trees plus rapide et produit généralement des arbres plus diversifiés et moins corrélés.
Lequel devrais-je préférer — Extra Trees ou Forêt Aléatoire ?
Lorsque la vitesse d'entraînement est importante ou que les données sont relativement propres, Extra Trees égale ou dépasse souvent la précision de la Forêt Aléatoire à un coût computationnel moindre. Si vous souhaitez une estimation hors-sac intégrée ou si vos données sont bruitées (où de meilleurs seuils de division aident), la Forêt Aléatoire est plus sûre.
Combien d'arbres ai-je besoin ?
Commencez avec 100 arbres et augmentez jusqu'à ce que les performances se stabilisent sur un ensemble de validation ou en validation croisée. Plus d'arbres améliorent la stabilité mais augmentent la mémoire et la latence de prédiction.
Extra Trees sur-apprend-il ?
Les arbres individuels sont cultivés jusqu'à leur profondeur maximale et peuvent sur-apprendre isolément, mais la moyenne de l'ensemble réduit fortement la variance. Le sur-apprentissage de l'ensemble complet est généralement rare, bien que sur de très petits ensembles de données avec de nombreuses caractéristiques, il puisse encore se produire.
Comment évaluer les performances du modèle sans ensemble OOB ?
Utilisez la validation croisée k-fold — généralement 5 ou 10 plis. Évaluez les tâches de classification avec la précision, F1 et AUC ; évaluez les tâches de régression avec RMSE et R-carré.
Méthodes associées
Sources
Geurts, P., Ernst, D. & Wehenkel, L. (2006). Extremely randomized trees. Machine Learning, 63(1), 3–42.
Ouvrir la référence DOICopié.Extra-Trees. Wikipedia.
Ouvrir la référence de la publicationCopié.