决策树
- 提出者
- Breiman, Friedman, Olshen & Stone
- 年份
- 1984
- 类型
- Recursive partitioning (if-then rules)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
决策树是一种可解释的分类和回归方法,由Breiman、Friedman、Olshen和Stone在他们1984年的CART框架中形式化,它通过分层的if-then规则对数据进行划分。每次分割都会将观测值发送到其中一个分支,直到从叶子中读取预测。
方法背后的直觉
可以将决策树视为一个由是/否问题组成的流程图。从所有数据开始,树会反复提出关于一个特征的单一问题,该问题能最好地分离案例——例如,“年龄是否超过40岁?”——并将数据分成两组。它会持续分割每个组,直到内部的案例相当同质,并且最终的组(叶子)给出预测。从根到叶的问题链是任何读者都可以遵循的规则。
历史学
决策树由Leo Breiman、Jerome Friedman、Richard Olshen和Charles Stone在他们1984年的专著《分类与回归树》(Classification and Regression Trees)中奠定了严格的基础,该专著介绍了CART算法及其对基尼指数等不纯度度量的使用。透明的if-then结构使树成为应用分析的支柱,后来它们成为更强大集成模型的核心构建块——通过装袋(bagging)形成随机森林(Random Forests),并通过提升(boosting)形成梯度提升(Gradient Boosting)——在这些模型中,许多树被组合起来以克服任何单个树的不稳定性。
何时使用
当您需要一个可解释的模型进行分类、预测或解释横截面表格数据时,请使用决策树,数据至少有大约30个观测值,混合了连续、分类、二元和序数特征。不需要特征缩放,并且规则易于传达。当案例数低于大约30个时,树很容易过拟合——叶子可能只包含一个观测值——此时,逻辑回归或朴素贝叶斯等更简单、更稳定的模型更安全。
局限与注意事项
- 除非通过max_depth或min_samples_leaf进行修剪,否则容易过拟合。
- 在小样本(n低于约30)上,树容易过拟合,叶子可能只包含一个观测值。
- 修剪后的小样本树可能保留的分割过少而无法发挥作用,而逻辑回归则更稳定。
- 单个树不稳定——微小的数据变化可能产生截然不同的结构。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 高度可解释:从根到叶的路径是清晰的if-then规则。
- 无需特征缩放;直接处理连续、分类、二元和序数特征。
- 难度低——即使对初学者用户也适用。
- 作为随机森林和梯度提升等集成模型的基本构建块。
应用
- 横截面表格数据的可解释分类。
- 重视透明规则的预测和风险分割。
- 解释性分析,以揭示哪些特征和阈值驱动结果。
- 作为随机森林和梯度提升等集成模型中的基础学习器。
使用方式
使用方式
在每个节点,树会搜索每个特征和每个可能的阈值,以找到最能提高纯度的分割——CART算法通常使用基尼指数或信息增益进行分类。选择能最大程度减少不纯度的分割,这样每个分支包含的案例比以前更相似。
公式
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
应用选定的分割后,该过程会在每个结果分支上递归,一次又一次地划分数据。由于不需要特征缩放,连续、分类、二元和序数特征都可以直接使用。如果不加以限制,树会持续生长,直到叶子几乎纯净——这正是过拟合悄然发生的地方。
为了控制过拟合,树会受到限制——通过限制深度(max_depth)、要求每个叶子的最小案例数(min_samples_leaf),或者修剪那些作用不大的分支。结果是一组紧凑且易读的规则:从根到叶的路径是一个透明的决策规则,这就是为什么决策树即使对初学者也很适用。
常见陷阱
- 在不限制max_depth或min_samples_leaf的情况下,将树生长到最大深度。
- 在少于约30个观测值的情况下,信任单个深层树。
- 将脆弱的小样本树解读为对数据的稳定解释。
- 在没有训练/测试分割或交叉验证的情况下报告样本内准确性。
常见问题
如何选择分割点?
CART算法评估所有特征和阈值上的候选分割,并选择最能减少节点不纯度的分割,通常通过基尼指数或分类的信息增益来衡量。
为什么决策树会过拟合,以及如何阻止它?
如果任其自由生长,树会持续分割直到叶子几乎纯净,从而记忆噪声。通过限制深度(max_depth)、要求每个叶子的最小案例数(min_samples_leaf),或修剪那些作用不大的分支来限制它。
我需要多少数据?
目标是至少约30个观测值。低于此数量,树容易过拟合——叶子可能只包含一个案例——而逻辑回归或朴素贝叶斯等更简单的模型则更稳定。
决策树与随机森林有什么关系?
单个决策树是集成模型的构建块:随机森林在重采样数据上生长许多树并结合它们的投票,而梯度提升则顺序构建树——两者都以牺牲单个树的透明度来换取更高的准确性和稳定性。
相关方法
参考文献
Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.
打开 DOI 文献已复制。