Skip to content
返回搜索结果

随机森林

提出者
Breiman, L.
年份
2001
类型
Ensemble (bagging of decision trees)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

随机森林(Random Forest)是Leo Breiman于2001年提出的一种集成学习方法,它通过对数据的自助采样(bootstrap samples)生成多棵决策树,并结合它们的投票结果来产生强大的分类和回归能力。通过汇集许多略有不同的树,它比任何单一的树都能产生更准确、更稳定的预测。

方法背后的直觉

一棵深度生长的单一决策树能很好地拟合训练数据,但其结果不稳定:数据中的微小变化可能导致一棵截然不同的树。随机森林通过构建许多树来解决这个问题,每棵树都基于数据的一个略有不同的随机视图,并让它们进行投票。单个树的误差往往会相互抵消,因此组合预测比任何一棵单独的树都可靠得多。

历史学

随机森林由Leo Breiman于2001年提出,它将自助聚合(bootstrap aggregation)与每个分裂点的随机特征选择相结合。它成为表格数据最广泛使用和最可靠的开箱即用机器学习方法之一,并且是《统计学习导论》(An Introduction to Statistical Learning,第八章)等教科书中的标准参考。最近,SHAP值等工具使其可解释性更接近逻辑回归,从而提高了其在社会科学中的接受度。

何时使用

随机森林非常适合在具有许多(可能是非线性和交互的)特征和至少约50个观测值的表格数据上进行准确、鲁棒的分类、回归或预测,尤其当预测性能比报告显式系数更重要时。随机森林对假设要求不高:它不需要数据呈正态分布,并且可以处理连续、分类、二元、序数和计数特征。建议进行超参数调优。当样本量低于约50时,逻辑回归或线性回归等更简单的模型更安全。

局限与注意事项

  • 没有可解释的系数;其黑箱性质可能与期望明确效应的审稿人产生冲突。
  • 建议进行超参数调优,大型森林会消耗内存和计算资源。
  • 在小样本(n低于约50)上,许多树会过拟合,交叉验证结果变得具有误导性。
  • 在小样本量下,特征重要性估计可能不稳定且不可重现。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在表格数据上,对于分类和回归,都具有强大的开箱即用准确性。
  • 由于装袋法(bagging)和每个分裂点的随机特征选择,对过拟合具有很强的抵抗力。
  • 内置的特征重要性直接将变量排序集成到模型中。
  • 袋外误差(out-of-bag error)提供了一个诚实的验证估计,无需单独的交叉验证过程。
  • 对假设要求不高:没有正态性要求,并且可以处理混合特征类型和非线性交互。

应用

  • 对具有许多特征的表格数据进行分类和回归。
  • 通过原生特征重要性进行变量选择和排序。
  • 在鲁棒性比显式系数更重要的风险评分和预测中。
  • 在尝试梯度提升等更复杂的集成模型之前的基线建模。

使用方式

使用方式

1

从训练集中抽取许多自助样本——每个样本都是有放回的随机抽样,因此每棵树看到的数据略有不同。未包含在给定样本中的观测值(袋外样本,out-of-bag set)提供了内置的验证估计,无需单独的保留折叠(hold-out fold)。

2

在每棵树的每个分裂点,只考虑可用特征的一个随机子集作为候选。这种随机特征选择使树之间去相关,从而避免它们都集中在相同的优势预测因子上,这使得集成模型能够将方差降低到低于任何单一树的水平。

3

每棵树都做出自己的预测,森林将它们结合起来:对于分类,采用树的多数投票;对于回归,则取它们输出的平均值。这种聚合将许多有噪声的树转化为一个鲁棒的预测器。

公式
\hat{y} = \text{mode/mean of } T \text{ trees}

常见陷阱

  • 跳过训练/测试集划分或交叉验证,并信任样本内性能。
  • 忽略类别不平衡,而不是重新加权类别(class_weight='balanced')或重新采样。
  • 只报告准确率,而不同时报告F1和AUC。
  • 将小样本特征重要性排序视为稳定。
  • 盲目接受默认超参数,而不是调整树的数量。

常见问题

森林应该有多少棵树?

更多的树会降低方差并稳定投票结果,但会增加计算和内存成本。一个常见的起点是大约100棵树,然后逐渐增加,直到袋外误差停止改善。

随机森林会过拟合吗?

它对过拟合具有很强的抵抗力,因为装袋法和随机特征选择使树之间去相关,并平均了它们的个体误差。主要风险是在非常小的数据集上拟合许多深层树,此时模型会过拟合,交叉验证结果变得具有误导性。

我能相信特征重要性吗?

特征重要性对于预测因子排序很有用,但在小样本量下,它可能不稳定且不可重现,因此请谨慎对待小样本排序。将其与SHAP分析结合使用可以更清晰地了解每个特征的贡献。

在拟合之前和之后我应该检查什么?

事先,处理缺失值,编码分类变量,并设置训练/测试集划分或k折交叉验证。之后,评估袋外误差,运行交叉验证,并检查特征贡献(例如使用SHAP)。

相关方法

参考文献

  1. Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.

    打开 DOI 文献
    已复制。
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.

    ISBN:978-1-4614-7138-7
    已复制。