极端随机树 (Extra Trees)
- 提出者
- Geurts, P.; Ernst, D.; Wehenkel, L.
- 年份
- 2006
- 类型
- Ensemble (extremely randomized decision trees)
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
极端随机树(Extra Trees),由 Geurts、Ernst 和 Wehenkel 于 2006 年提出,是一种决策树集成方法,其随机化程度比随机森林 (Random Forest) 更高。在每个节点,候选特征和分裂阈值都完全随机选择,消除了对阈值的贪婪搜索。这种额外的随机性降低了方差,通常能达到或超过随机森林的准确率,并且在训练时运行速度显著更快。
方法背后的直觉
随机森林通过在每次分裂时随机采样特征来使树去相关,但它仍然会在这些特征中搜索最佳阈值。极端随机树更进一步:对于每个候选特征,它会随机选择一个阈值,而不是对其进行优化。乍一看,这似乎会损害准确性,但由于生成的树彼此之间的相关性更低,集成平均值可以消除更多的方差。一旦对许多树进行平均,任何单个糟糕分裂造成的损失都很小,而且不搜索最优阈值带来的速度提升是显著的。
历史学
极端随机树由 Pierre Geurts、Damien Ernst 和 Louis Wehenkel 在 2006 年发表于《机器学习》的一篇论文中提出。作者们表明,引入分裂阈值的完全随机化——而不是搜索最优切点——可以显著降低方差,同时以少量偏差的增加为代价。此后,该方法已成为 scikit-learn 生态系统中随机森林的标准替代方案,并被广泛用作表格数据基准测试的快速、高精度基线。
何时使用
当您希望在具有连续或混合类型特征的表格数据上实现快速训练和高准确率时,请使用极端随机树。当训练时间是一个限制因素时,它尤其有用——它消除了阈值优化,使其在可比的准确率下比随机森林快得多。它适用于中等到大样本(约 50 个或更多观测值)的分类和回归任务。如果您需要内置的袋外估计,或者数据集噪声非常大,并且您怀疑完全随机的阈值会损害准确性,请优先选择随机森林或梯度提升。对于非常小的数据集,逻辑回归或单决策树等更简单的模型更安全且更具可解释性。
局限与注意事项
- 没有内置的袋外估计(与随机森林不同),因此需要交叉验证来进行无偏误差评估。
- 完全随机的阈值可能会在非常嘈杂的数据上造成损害,在这些数据上最优分裂是有信息的。
- 黑盒模型:不提供显式系数,限制了对期望效应大小的受众的可解释性。
- 内存使用量随树的数量和树的深度而增长。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 比随机森林训练更快,因为在每次分裂时都不执行阈值优化。
- 树之间的高度多样性导致强大的方差减少,并且通常能达到或超过随机森林的准确率。
- 无需预处理假设即可处理混合特征类型和非线性交互。
- 提供原生的特征重要性,用于变量排序和选择。
- 能很好地处理具有许多无关特征的高维数据。
应用
- 表格数据上的快速分类和回归基线。
- 高维数据集中的特征选择和重要性排序。
- 生物信息学、遥感和传感器数据分析中的预测建模。
- 管道超参数搜索,其中训练速度至关重要。
- 随机森林训练时间过长的大规模数据场景。
使用方式
使用方式
与随机森林不同,极端随机树默认使用整个训练集训练每棵树,而不是使用自举样本。这减少了采样引入的偏差,但意味着没有内置的袋外 (out-of-bag) 数据集;因此,需要进行交叉验证来进行诚实的误差估计。
在每个内部节点,都会抽取一个随机特征子集。对于每个候选特征,从该特征值的观测范围内均匀随机采样一个分裂阈值——不执行最优切点搜索。在这些随机候选者中,选择产生最佳分数(例如,基尼不纯度减少量)的特征-阈值对。
默认情况下,树会生长到完整深度,这意味着叶子尽可能纯净。完整深度与随机分裂相结合,是降低集成方差的关键:单个树具有高方差但高度多样化。
所有树的预测被组合起来:分类任务使用多数投票,回归任务使用平均输出。树之间的高度多样性意味着单个错误倾向于相互抵消,从而使集成比任何单棵树都更稳定。
公式
\hat{y} = \text{mode/mean of } T \text{ trees}常见陷阱
- 跳过交叉验证并依赖样本内准确率,因为默认情况下不产生袋外估计。
- 忽略类别不平衡——在拟合前使用 class_weight='balanced' 或重采样。
- 仅报告准确率,而不报告 F1、AUC 或 RMSE 等补充指标。
- 将特征重要性排序视为稳定,而不检查跨随机种子的一致性。
常见问题
极端随机树与随机森林有何不同?
两者都是决策树集成方法,在每次分裂时都使用随机特征子集。关键区别在于,极端随机树完全随机选择分裂阈值,而不是对其进行优化,并且默认情况下使用整个训练集进行训练,而不是自举样本。这使得极端随机树更快,并且通常会产生更多样化、相关性更低的树。
我应该选择极端随机树还是随机森林?
当训练速度很重要或数据相对干净时,极端随机树通常能以更低的计算成本达到或超过随机森林的准确率。如果您想要内置的袋外估计,或者您的数据很嘈杂(其中更好的分裂阈值有帮助),随机森林更安全。
我需要多少棵树?
从 100 棵树开始,然后增加数量,直到在验证集或交叉验证上的性能稳定下来。更多的树可以提高稳定性,但会增加内存和预测延迟。
极端随机树会过拟合吗?
单个树会生长到完整深度,并且可以孤立地过拟合,但集成平均值会大大降低方差。整个集成的过拟合通常很少见,尽管在具有许多特征的非常小的数据集上仍然可能发生。
如何在没有袋外数据集的情况下评估模型性能?
使用 k 折交叉验证——通常是 5 或 10 折。使用准确率、F1 和 AUC 评估分类任务;使用 RMSE 和 R 平方评估回归任务。