Arbre de décision
- Introduite par
- Breiman, Friedman, Olshen & Stone
- Année
- 1984
- Type
- Recursive partitioning (if-then rules)
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Un arbre de décision est une méthode interprétable de classification et de régression, formalisée par Breiman, Friedman, Olshen et Stone dans leur cadre CART de 1984, qui partitionne les données avec des règles hiérarchiques si-alors.
Chaque division envoie les observations le long d'une branche ou d'une autre jusqu'à ce qu'une prédiction soit lue à la feuille.
L’intuition derrière la méthode
Considérez un arbre de décision comme un organigramme de questions oui/non. En partant de toutes les données, l'arbre pose de manière répétée la seule question sur une caractéristique qui sépare le mieux les cas — par exemple, 'l'âge est-il supérieur à 40 ans ?' — et divise les données en deux groupes. Il continue de diviser chaque groupe jusqu'à ce que les cas à l'intérieur soient raisonnablement homogènes, et les groupes finaux (les feuilles) donnent la prédiction. La chaîne de questions de la racine à une feuille est une règle que tout lecteur peut suivre.
Histoire
Les arbres de décision ont été rigoureusement fondés par Leo Breiman, Jerome Friedman, Richard Olshen et Charles Stone dans leur monographie de 1984 Classification and Regression Trees, qui a introduit l'algorithme CART et son utilisation de mesures d'impureté telles que l'indice de Gini. La structure transparente si-alors a fait des arbres un pilier de l'analyse appliquée, et ils sont plus tard devenus le bloc de construction central de méthodes d'ensembles plus puissantes — intégrés dans les Forêts Aléatoires et boostés dans le Gradient Boosting — où de nombreux arbres sont combinés pour surmonter l'instabilité de chacun d'eux.
Quand l’utiliser
Utilisez un arbre de décision lorsque vous souhaitez un modèle interprétable pour la classification, la prédiction ou l'explication sur des données tabulaires transversales avec au moins environ 30 observations, mélangeant des caractéristiques continues, catégorielles, binaires et ordinales. Aucune mise à l'échelle des caractéristiques n'est nécessaire et les règles sont faciles à communiquer. En dessous d'environ 30 cas, l'arbre surapprend facilement — les feuilles peuvent contenir une seule observation — et un modèle plus simple et plus stable tel que la régression logistique ou le classifieur naïf bayésien est plus sûr.
Limites et points d’attention
- Sujet au surapprentissage sauf s'il est élagué via max_depth ou min_samples_leaf.
- Sur de petits échantillons (n inférieur à environ 30), l'arbre surapprend facilement, avec des feuilles pouvant contenir une seule observation.
- Après élagage, un arbre sur petit échantillon peut conserver trop peu de divisions pour être utile, où la régression logistique est plus stable.
- Un seul arbre est instable — de petits changements dans les données peuvent produire une structure très différente.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Hautement interprétable : le chemin de la racine à la feuille est une règle si-alors simple.
- Aucune mise à l'échelle des caractéristiques requise ; gère directement les caractéristiques continues, catégorielles, binaires et ordinales.
- Faible difficulté — convient même aux utilisateurs débutants.
- Sert de bloc de construction pour des ensembles tels que la Forêt Aléatoire et le Gradient Boosting.
Applications
- Classification interprétable de données tabulaires transversales.
- Prédiction et segmentation des risques où des règles transparentes sont valorisées.
- Analyse explicative pour révéler quelles caractéristiques et quels seuils influencent un résultat.
- Un apprenant de base au sein d'ensembles tels que la Forêt Aléatoire et le Gradient Boosting.
Comment ça marche
Comment ça marche
À chaque nœud, l'arbre recherche chaque caractéristique et chaque seuil possible pour la division qui améliore le plus la pureté — l'algorithme CART utilise généralement l'indice de Gini ou le gain d'information pour la classification. La division qui produit la plus grande réduction de l'impureté est choisie, de sorte que chaque branche contienne des cas plus similaires qu'auparavant.
Formule
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
La division choisie est appliquée et la procédure est récursive sur chaque branche résultante, partitionnant les données encore et encore. Comme aucune mise à l'échelle des caractéristiques n'est requise, les caractéristiques continues, catégorielles, binaires et ordinales peuvent toutes être utilisées directement. Sans contrôle, l'arbre continue de croître jusqu'à ce que les feuilles soient presque pures — c'est exactement là que le surapprentissage s'introduit.
Pour contrôler le surapprentissage, l'arbre est limité — en limitant la profondeur (max_depth), en exigeant un nombre minimum de cas par feuille (min_samples_leaf), ou en élaguant les branches qui ajoutent peu. Le résultat est un ensemble compact de règles lisibles : le chemin de la racine à la feuille est une règle de décision transparente, c'est pourquoi les arbres de décision conviennent même aux débutants.
Pièges courants
- Croissance de l'arbre à profondeur maximale sans limiter max_depth ou min_samples_leaf.
- Faire confiance à un seul arbre profond sur moins d'environ 30 observations.
- Lire un arbre fragile sur petit échantillon comme une explication stable des données.
- Rapporter la précision intra-échantillon sans séparation entraînement/test ou validation croisée.
Questions fréquentes
Comment une division est-elle choisie ?
L'algorithme CART évalue les divisions candidates sur toutes les caractéristiques et tous les seuils et choisit celle qui réduit le plus l'impureté du nœud, couramment mesurée par l'indice de Gini ou le gain d'information pour la classification.
Pourquoi un arbre de décision surapprend-il, et comment y remédier ?
Laissé à croître librement, un arbre continue de diviser jusqu'à ce que les feuilles soient presque pures, mémorisant le bruit. Limitez-le en restreignant la profondeur (max_depth), en exigeant un nombre minimum de cas par feuille (min_samples_leaf), ou en élaguant les branches qui ajoutent peu.
Quelle quantité de données est nécessaire ?
Visez au moins environ 30 observations. En dessous, l'arbre surapprend facilement — les feuilles peuvent contenir un seul cas — et un modèle plus simple tel que la régression logistique ou le classifieur naïf bayésien est plus stable.
Comment un arbre de décision se rapporte-t-il à la Forêt Aléatoire ?
Un seul arbre de décision est le bloc de construction des ensembles : la Forêt Aléatoire fait croître de nombreux arbres sur des données rééchantillonnées et combine leurs votes, et le Gradient Boosting construit des arbres séquentiellement — les deux échangent la transparence de l'arbre unique contre une plus grande précision et stabilité.
Méthodes associées
Sources
Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.
Ouvrir la référence DOICopié.