Skip to content
返回搜索结果

LightGBM

提出者
Ke, G. et al. (Microsoft)
年份
2017
类型
Gradient boosting decision tree ensemble

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

LightGBM 是微软推出的梯度提升决策树实现,由 Ke 等人于 2017 年提出,它采用叶子生长(leaf-wise)方式构建树,并将特征分箱为直方图以提高速度。在大型数据集上,它比 XGBoost 快得多,同时保持了强大的预测精度。

方法背后的直觉

梯度提升通过逐棵树来构建集成模型,其中每棵新树都会纠正先前树留下的错误。LightGBM 保留了这一核心思想,但使其速度更快:它不测试连续特征上的所有可能分裂点,而是将特征值分组为固定数量的直方图箱(bins),并且不逐层生长树,而是总是生长最有希望带来最大改进的叶子。其结果是模型收敛迅速,并能扩展到大型表格数据。

历史学

LightGBM 由微软的 Guolin Ke 和同事在 2017 年的 NeurIPS 会议论文《LightGBM: A Highly Efficient Gradient Boosting Decision Tree》中提出。其两个显著的选择——基于直方图的特征分箱和叶子生长(最佳优先)树生长——旨在使梯度提升在大型数据集上显著更快、内存效率更高,并使其成为与 XGBoost 一起最广泛使用的表格数据提升库之一。

何时使用

对于具有连续、类别、二元或有序特征且至少有约 200 个观测值的大型表格数据集(横截面、面板或时间序列)的预测、分类和预测任务,这是一个不错的选择。当训练速度和规模很重要且可以调整正则化时,它最有价值。在低于约 200 个观测值的数据集上,叶子生长方式容易严重过拟合,此时使用逐层方法(如 XGBoost)或更稳定的随机森林(Random Forest)会更安全。

局限与注意事项

  • 在小样本上,叶子生长方式除非经过仔细正则化,否则容易过拟合。
  • 需要调整 num_leaves 和 min_data_in_leaf 来控制复杂度。
  • 在约 200 个观测值以下的数据集上,逐层方法(XGBoost)或随机森林更可靠。
  • 与其他提升树一样,它是一个黑箱模型,没有直接可解释的系数。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 由于基于直方图的分裂,在大型数据集上比 XGBoost 快得多。
  • 叶子生长方式收敛速度快,并且通常能达到高精度。
  • 直接处理类别特征,无需手动进行独热编码。
  • 适用于横截面、面板和时间序列数据的预测、分类和预测任务。

应用

  • 在大型表格数据集上进行预测和分类。
  • 对横截面、面板和时间序列数据进行预测任务。
  • XGBoost 的快速、可扩展替代方案,适用于训练时间至关重要的情况。
  • 对具有许多类别特征的数据进行建模,而无需大量预处理。

使用方式

使用方式

1

树是按顺序添加的:每棵新树都拟合当前集成模型的残差误差,并以学习率收缩(learning-rate shrinkage)的方式添加,因此模型会逐步降低其损失。类别特征可以直接输入 LightGBM,无需手动进行独热编码(one-hot encoding)。

公式
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)
2

在分裂之前,连续特征值会被分桶(bucketed)为固定数量的离散直方图箱。然后,算法在这些箱上搜索最佳分裂点,而不是在所有原始值上搜索,这是 LightGBM 在大型数据上比逐层(level-wise)实现(如 XGBoost)快得多的主要原因。

3

LightGBM 不像逐层生长那样扩展所有深度相同的叶子,而是采用叶子生长(leaf-wise)方式:它总是分裂能够带来最大损失减少的叶子。这会更快收敛,但可能在小样本上过拟合,因此必须设置叶子数量(num_leaves)和每个叶子的最小数据量(min_data_in_leaf)来正则化树。

常见陷阱

  • 在叶子生长方式严重过拟合的小样本上使用 LightGBM。
  • 将 num_leaves 和 min_data_in_leaf 设置为对数据规模过于宽松的值。
  • 手动对类别变量进行独热编码,而不是直接将其传递给 LightGBM。
  • 在没有保留集或交叉验证评估的情况下,依赖样本内准确性。

常见问题

LightGBM 与 XGBoost 有何不同?

两者都是梯度提升决策树库。LightGBM 使用基于直方图的分裂和叶子生长(最佳优先)树生长,这使其在大型数据集上速度更快。XGBoost 采用逐层生长,这在小样本上通常更安全。

为什么 LightGBM 在小数据集上会过拟合?

其叶子生长方式总是分裂增益最大的叶子,这可能导致相对于数据规模而言,树的叶子过多。在小样本(约 200 个观测值以下)上,这会导致严重的过拟合,因此建议使用逐层方法或随机森林。

我需要对类别变量进行独热编码吗?

不需要。LightGBM 可以直接接受类别特征,因此手动独热编码通常是不必要的,甚至可能损害性能。

哪些设置控制过拟合?

叶子数量(num_leaves)和每个叶子的最小数据量(min_data_in_leaf)是关键的正则化控制项;收紧这些参数可以限制树的复杂度相对于数据集的大小。

相关方法

参考文献

  1. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.

    打开出版物文献
    已复制。