Skip to content
返回搜索结果

Lasso 回归

提出者
Tibshirani, R.
年份
1996
类型
Regularized linear regression (L1 penalty)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

Lasso 回归由 Robert Tibshirani 于 1996 年提出,是一种线性回归方法,它在损失函数中增加了一个 L1 惩罚项,从而同时收缩系数并执行变量选择,生成一个稀疏模型。通过将某些系数精确地收缩到零,它只保留了重要的预测变量。

方法背后的直觉

普通最小二乘法拟合每个预测变量,并可能将权重分散到许多相关或不相关的变量上,这会增加方差并掩盖哪些特征真正驱动结果。Lasso 对系数的总大小施加了一个预算:随着预算收紧,弱预测变量被完全推向零并从模型中剔除。结果是一个更小、更稳定的变量集,更容易解释。

历史学

Lasso 由 Robert Tibshirani 于 1996 年提出,作为一种结合惩罚回归的收缩与自动变量选择的方法,它对系数使用了 L1 惩罚。它成为高维统计学的基石,并推动了相关方法的发展,例如岭回归和弹性网络,这些方法权衡或结合了 L1 和 L2 惩罚。

何时使用

当您希望从许多连续、二元或计数预测变量中获得一个稀疏、可解释的线性模型用于预测或解释,并且至少有大约 30 个观测值时,Lasso 回归是一个很好的选择。当存在多重共线性(例如 VIF 高于 10)并且您希望方法本身选择要保留的变量时,它特别有用。它假设大致线性的关系,并要求特征标准化。当观测值少于约 30 个时,变量选择变得不稳定,岭回归更安全;当预测变量的数量超过样本大小时,弹性网络更可取。

局限与注意事项

  • 假设预测变量和结果之间存在线性关系。
  • 特征必须首先标准化,否则惩罚会不公平地对待不同尺度的变量。
  • 在小样本(n 小于约 30)上,选择的变量不稳定且不可重现。
  • 当预测变量的数量超过样本大小时,它最多只能选择 n 个变量,因此弹性网络更受青睐。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 在一次拟合中执行变量选择和系数收缩,产生一个稀疏、可解释的模型。
  • 将弱预测变量精确地推向零,从而简化模型并减少过拟合。
  • 在不手动删除变量的情况下,对多重共线性(高 VIF)的自然响应。
  • 不需要正态分布数据,并处理连续、二元和计数预测变量。
  • 只有一个调优参数 (lambda),通过交叉验证设置起来很简单。

应用

  • 从许多候选预测变量中构建稀疏、可解释的预测模型。
  • 当存在多重共线性(高 VIF)时进行自动变量选择。
  • 高维设置,其中预计只有一部分特征是重要的。
  • 在尝试弹性网络或更复杂模型之前的正则化基线。

使用方式

使用方式

1

Lasso 最小化了通常的残差平方和,再加上一个等于 lambda 乘以系数绝对值之和的惩罚项。这个 L1 惩罚是其决定性特征:lambda 越大,系数被拉向零的程度就越大。

公式
\min_{\beta} \; \|y - X\beta\|_2^2 + \lambda \sum_j |\beta_j|
2

由于 L1 惩罚具有尖锐的角点,它不仅仅是将系数收缩到零——它将许多系数精确地设置为零。系数为零的变量被有效地移除,因此拟合和变量选择在一步中完成,最终模型是稀疏的。

3

惩罚强度 lambda 控制着拟合和稀疏性之间的权衡,因此通过交叉验证来选择:尝试一系列 lambda 值,并保留使交叉验证均方误差最小的那个。特征必须首先标准化,以便单一惩罚公平地应用于不同尺度的预测变量。

常见陷阱

  • 在不事先标准化特征的情况下拟合 Lasso。
  • 手动选择 lambda,而不是通过交叉验证进行调优。
  • 在样本量很小且选择不稳定的情况下,信任所选变量。
  • 拟合后忘记检查残差图的正态性和同方差性。
  • 忽略在预测变量多于观测值的情况下,Lasso 会限制所选变量的数量。

常见问题

如何选择 lambda?

Lambda 控制系数受惩罚的强度。它通过交叉验证选择:尝试一系列值,并保留使交叉验证均方误差最小的那个。

为什么我必须标准化特征?

单一的 L1 惩罚对每个系数都平等适用,因此以较大尺度测量的预测变量否则会受到较少的惩罚。首先标准化特征可以使惩罚在变量之间公平。

Lasso 与岭回归有何不同?

Lasso 使用 L1 惩罚,可以将系数精确地设置为零,从而执行变量选择;而岭回归使用 L2 惩罚,它收缩系数但不会将它们归零。在小样本或选择不稳定时,岭回归是更安全的选择。

拟合后我应该检查什么?

检查交叉验证 MSE 曲线以确认所选的 lambda,查看哪些变量被保留而哪些被设置为零,并检查残差图的正态性和同方差性。

相关方法

参考文献

  1. Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    打开 DOI 文献
    已复制。