Skip to content
返回搜索结果

决策树

提出者
Breiman, Friedman, Olshen & Stone
年份
1984
类型
Recursive partitioning (if-then rules)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

决策树是一种可解释的分类和回归方法,由Breiman、Friedman、Olshen和Stone在他们1984年的CART框架中形式化,它通过分层的if-then规则对数据进行划分。每次分割都会将观测值发送到其中一个分支,直到从叶子中读取预测。

方法背后的直觉

可以将决策树视为一个由是/否问题组成的流程图。从所有数据开始,树会反复提出关于一个特征的单一问题,该问题能最好地分离案例——例如,“年龄是否超过40岁?”——并将数据分成两组。它会持续分割每个组,直到内部的案例相当同质,并且最终的组(叶子)给出预测。从根到叶的问题链是任何读者都可以遵循的规则。

历史学

决策树由Leo Breiman、Jerome Friedman、Richard Olshen和Charles Stone在他们1984年的专著《分类与回归树》(Classification and Regression Trees)中奠定了严格的基础,该专著介绍了CART算法及其对基尼指数等不纯度度量的使用。透明的if-then结构使树成为应用分析的支柱,后来它们成为更强大集成模型的核心构建块——通过装袋(bagging)形成随机森林(Random Forests),并通过提升(boosting)形成梯度提升(Gradient Boosting)——在这些模型中,许多树被组合起来以克服任何单个树的不稳定性。

何时使用

当您需要一个可解释的模型进行分类、预测或解释横截面表格数据时,请使用决策树,数据至少有大约30个观测值,混合了连续、分类、二元和序数特征。不需要特征缩放,并且规则易于传达。当案例数低于大约30个时,树很容易过拟合——叶子可能只包含一个观测值——此时,逻辑回归或朴素贝叶斯等更简单、更稳定的模型更安全。

局限与注意事项

  • 除非通过max_depth或min_samples_leaf进行修剪,否则容易过拟合。
  • 在小样本(n低于约30)上,树容易过拟合,叶子可能只包含一个观测值。
  • 修剪后的小样本树可能保留的分割过少而无法发挥作用,而逻辑回归则更稳定。
  • 单个树不稳定——微小的数据变化可能产生截然不同的结构。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 高度可解释:从根到叶的路径是清晰的if-then规则。
  • 无需特征缩放;直接处理连续、分类、二元和序数特征。
  • 难度低——即使对初学者用户也适用。
  • 作为随机森林和梯度提升等集成模型的基本构建块。

应用

  • 横截面表格数据的可解释分类。
  • 重视透明规则的预测和风险分割。
  • 解释性分析,以揭示哪些特征和阈值驱动结果。
  • 作为随机森林和梯度提升等集成模型中的基础学习器。

使用方式

使用方式

1

在每个节点,树会搜索每个特征和每个可能的阈值,以找到最能提高纯度的分割——CART算法通常使用基尼指数或信息增益进行分类。选择能最大程度减少不纯度的分割,这样每个分支包含的案例比以前更相似。

公式
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
2

应用选定的分割后,该过程会在每个结果分支上递归,一次又一次地划分数据。由于不需要特征缩放,连续、分类、二元和序数特征都可以直接使用。如果不加以限制,树会持续生长,直到叶子几乎纯净——这正是过拟合悄然发生的地方。

3

为了控制过拟合,树会受到限制——通过限制深度(max_depth)、要求每个叶子的最小案例数(min_samples_leaf),或者修剪那些作用不大的分支。结果是一组紧凑且易读的规则:从根到叶的路径是一个透明的决策规则,这就是为什么决策树即使对初学者也很适用。

常见陷阱

  • 在不限制max_depth或min_samples_leaf的情况下,将树生长到最大深度。
  • 在少于约30个观测值的情况下,信任单个深层树。
  • 将脆弱的小样本树解读为对数据的稳定解释。
  • 在没有训练/测试分割或交叉验证的情况下报告样本内准确性。

常见问题

如何选择分割点?

CART算法评估所有特征和阈值上的候选分割,并选择最能减少节点不纯度的分割,通常通过基尼指数或分类的信息增益来衡量。

为什么决策树会过拟合,以及如何阻止它?

如果任其自由生长,树会持续分割直到叶子几乎纯净,从而记忆噪声。通过限制深度(max_depth)、要求每个叶子的最小案例数(min_samples_leaf),或修剪那些作用不大的分支来限制它。

我需要多少数据?

目标是至少约30个观测值。低于此数量,树容易过拟合——叶子可能只包含一个案例——而逻辑回归或朴素贝叶斯等更简单的模型则更稳定。

决策树与随机森林有什么关系?

单个决策树是集成模型的构建块:随机森林在重采样数据上生长许多树并结合它们的投票,而梯度提升则顺序构建树——两者都以牺牲单个树的透明度来换取更高的准确性和稳定性。

相关方法

参考文献

  1. Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.

    打开 DOI 文献
    已复制。