Skip to content
返回搜索结果

正则化线性回归

提出者
Hoerl & Kennard (Ridge, 1970); Tibshirani (Lasso, 1996); Zou & Hastie (Elastic Net, 2005)
年份
1970–2005
类型
Penalized linear model
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

正则化线性回归在普通最小二乘目标函数中增加了一个惩罚项,通过收缩或将系数置零来减少过拟合并处理多重共线性。三种主要变体——Ridge(L2惩罚)、Lasso(L1惩罚)和Elastic Net(L1+L2组合)——使得线性回归即使在特征数量多于观测数量或预测变量高度相关时也能使用。

方法背后的直觉

普通最小二乘法为每个预测变量分配一个最小化样本内误差的系数,这在预测变量相关或数据集包含许多特征时可能产生极其巨大且不稳定的系数。正则化将这些系数向零拉近——稳健而公平地——因此模型在训练精度上略有损失,但泛化能力大大提高。Ridge按比例收缩所有系数;Lasso更进一步,可以将某些系数置零,从而实现特征选择;Elastic Net结合了这两种策略,适用于需要保留一组相关预测变量的情况。

历史学

Ridge回归由Hoerl和Kennard于1970年引入,作为普通最小二乘法多重共线性问题的补救措施。Tibshirani于1996年提出的Lasso论文增加了L1正则化和将系数收缩至零的能力,实现了自动特征选择。Zou和Hastie在2005年通过Elastic Net扩展了这些思想,结合了L1和L2惩罚来处理相关预测变量的组。这三种方法构成了线性模型的经典正则化工具包,是《统计学习要素》和《统计学习导论》中的核心内容。

何时使用

当预测连续结果变量且存在许多数值特征,并怀疑存在多重共线性,或者特征数量相对于样本量很大时,使用正则化线性回归。当所有特征都可能相关时,Ridge是默认选择;当需要自动特征选择时,Lasso或Elastic Net是首选。仅当特征少、不相关且样本量大时,才优先选择普通(无惩罚)线性回归。当结果变量明显非线性,或为二元或分类变量时,不要使用任何线性模型变体——而应使用逻辑回归或基于树的方法。

局限与注意事项

  • 假设特征与连续目标变量之间存在线性关系;除非手动进行特征工程,否则会遗漏非线性模式。
  • 拟合前必须进行特征标准化;忘记此步骤会扭曲系数估计。
  • 当存在许多真正相关的相关预测变量时,Lasso表现不佳——它会任意选择一个并丢弃其他变量;在这种情况下,Elastic Net是更安全的选择。
  • Ridge保留所有特征,不产生稀疏模型,在高维特征空间中会使解释复杂化。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 产生完全可解释的线性系数,具有明确的效应大小和方向。
  • 优雅地处理多重共线性——Ridge在相关预测变量之间重新分配系数;Lasso从一组中选择一个。
  • Lasso和Elastic Net通过将不相关系数置零来执行内置特征选择。
  • 即使在大型数据集上计算效率也很高;通过坐标下降可扩展至数百万个观测值。
  • 所有主流统计软件(scikit-learn, glmnet, statsmodels)都很好地支持交叉验证的lambda选择。

应用

  • 基因组学和生物信息学:从数千个遗传标记中预测连续表型,其中p >> n。
  • 经济学和社会科学:在控制多重共线性的同时,估计许多政策变量对连续结果变量的影响。
  • 工程学:从具有相关测量的传感器阵列预测物理量。
  • 特征选择流水线:Lasso或Elastic Net作为上游步骤,用于识别一小组预测变量,然后再拟合更复杂的模型。
  • 金融学:从许多宏观经济和市场因素中预测回报或风险度量。
  • 医疗保健:从大型实验室值或成像衍生特征面板中预测连续临床结果。

使用方式

使用方式

1

拟合之前,所有预测变量都经过标准化(均值为零,方差为一)。这是强制性的,因为惩罚项对每个系数的应用是均等的——如果不进行标准化,尺度较大的特征将受到更重的惩罚,从而扭曲系数估计。

2

实践者选择惩罚类型:Ridge使用系数平方和(L2范数),它收缩所有系数但从不将任何系数置零。Lasso使用绝对值之和(L1范数),它可以将某些系数收缩至零,执行自动特征选择。Elastic Net线性组合了L1和L2,由混合参数alpha控制,在多个相关预测变量都相关时特别有用。

公式
\text{Ridge: } \lambda\sum_{j}\beta_j^2 \quad \text{Lasso: } \lambda\sum_{j}|\beta_j| \quad \text{Elastic Net: } \lambda_1\sum|\beta_j|+\lambda_2\sum\beta_j^2
3

模型最小化带惩罚的目标函数——残差平方和加上所选惩罚项乘以正则化强度lambda。对于Ridge,这有一个闭式解;Lasso和Elastic Net需要坐标下降或次梯度优化,因为L1惩罚在零点不可导。

公式
\hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} \left[ \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2 + \text{penalty}(\boldsymbol{\beta}) \right]
4

正则化强度lambda是一个超参数,必须通过交叉验证进行调优,通常是在对数网格上。lambda为零时恢复普通最小二乘法;非常大的lambda会将所有系数推向零。最优lambda在偏差和方差之间取得平衡,以适应特定数据集。

5

一旦lambda固定且系数估计完毕,新观测值的预测与普通线性回归相同:特征与估计系数的点积。模型在关于线性效应的解释性方面保持完整。

公式
\hat{y} = \mathbf{x}^\top \hat{\boldsymbol{\beta}}

常见陷阱

  • 在未标准化预测变量的情况下进行拟合,导致尺度较大的特征受到更重的惩罚,系数不可比较。
  • 使用默认lambda而不是通过交叉验证选择——错误的lambda要么正则化不足(接近普通最小二乘法),要么正则化过度(系数塌缩为零)。
  • 将正则化线性回归应用于二元或计数结果变量,而应使用逻辑回归或泊松回归。
  • 将Lasso变量选择结果报告为确证性结果——Lasso选择对数据集和lambda敏感,因此将选定的变量视为探索性。
  • 忽略线性假设,并在未检查残差的情况下报告拟合不佳的正则化模型。

常见问题

何时应选择Ridge而非Lasso?

当您认为大多数预测变量都对结果变量有贡献,并希望获得稳定的系数估计而不将任何系数置零时,选择Ridge——例如,当预测变量高度相关且您希望保留所有预测变量时。当您预期许多特征是不相关的,并希望进行自动特征选择时,选择Lasso或Elastic Net。

我还能得到p值和置信区间吗?

由于系数估计本身就存在偏差,因此无法直接从惩罚回归中获得经典的p值和标准误差。存在后选择推断方法(例如,去稀疏Lasso),但在实践中很少使用;取而代之的是报告bootstrap置信区间或交叉验证稳定性度量。

如何选择正则化强度lambda?

通过k折交叉验证(通常k=5或10)在对数网格上选择lambda。scikit-learn的RidgeCV和LassoCV或R的glmnet等库会自动执行此操作。报告选择的lambda,并注明它是通过最小交叉验证误差还是通过“一个标准误差规则”选择的。

正则化线性回归是否需要正态分布的特征?

否。与普通最小二乘法一样,假设是对残差(近似正态、同方差)而非预测变量。高度偏斜或包含异常值的预测变量仍可能扭曲估计,因此对偏斜输入进行对数转换是常见的预处理步骤。

什么是Elastic Net及其何时优先使用?

Elastic Net结合了L1和L2惩罚,由混合参数alpha控制(alpha=1为纯Lasso;alpha=0为纯Ridge)。当一组相关预测变量都相关时,它被优先选择——Lasso会任意选择该组中的一个并丢弃其他变量,而Elastic Net倾向于保留整个组。

相关方法

参考文献

  1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.

    打开 DOI 文献
    已复制。
  2. Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 3). Springer.

    ISBN:978-0-387-84858-7
    已复制。