弹性网络 (Elastic Net)
- 提出者
- Zou, H. & Hastie, T.
- 年份
- 2005
- 类型
- Regularized linear regression (L1 + L2 penalty)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
弹性网络是由Zou和Hastie于2005年提出的一种正则化线性回归方法,它结合了LASSO (L1) 和 Ridge (L2) 惩罚项,能够同时进行变量选择和系数收缩。它适用于具有许多可能相关的预测变量的数据的预测和解释建模。
方法背后的直觉
普通的线性回归在预测变量相关或特征数量超过观测数量时,容易过拟合且表现不佳。LASSO可以将系数缩减至零以选择变量,但在预测变量组相关时表现不佳,而Ridge则能平滑地收缩所有系数但从不剔除变量。弹性网络结合了两者:它保留了LASSO将某些系数精确设为零的能力,同时借鉴了Ridge的稳定性,使得相关的预测变量能够被优雅地处理,而不是被任意选择。
历史学
弹性网络由Hui Zou和Trevor Hastie于2005年提出,旨在克服LASSO的两个已知弱点:在预测变量高度相关时的不稳定行为以及选择变量数量超过观测数量时的局限性。通过在LASSO的L1惩罚项中添加Ridge风格的L2项,他们开发了一种既能选择变量又能稳定解的估计器,并已成为高维回归的标准工具。
何时使用
当您拥有许多预测变量(尤其是相关的预测变量或特征数量超过观测数量时),并且希望进行自动变量选择和收缩时,请使用弹性网络进行连续、二元或计数结果的预测或解释。它假设预测变量与结果之间存在大致线性的关系,并且特征已经过归一化。您需要至少约30个观测值,以便通过交叉验证调整两个超参数;在此之前,使用普通的LASSO或Ridge更安全。
局限与注意事项
- 假设预测变量和结果之间存在近似线性关系。
- 特征必须首先归一化,否则惩罚项会不公平地偏向于大尺度变量。
- 需要调整两个超参数(惩罚强度和L1/L2比例),比单惩罚方法需要更多交叉验证数据。
- 在小样本(n低于约30)上,L1/L2混合比例的优化不稳定。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 将LASSO的变量选择与Ridge的收缩结合在单一模型中。
- 优雅地处理相关的预测变量,倾向于将它们作为一个组保留或剔除。
- 在特征数量超过观测数量时也能工作。
- 分布要求宽松:不需要正态分布的结果,并且可以处理连续、二元和计数特征。
应用
- 预测变量数量超过观测数量的高维回归。
- 具有许多相关特征的基因组学和生物标志物研究。
- 需要变量选择和鲁棒系数的预测建模。
- 需要通过收缩和修剪相关预测变量来阐明信号的解释性建模。
使用方式
使用方式
该模型通过最小化通常的平方误差损失加上组合惩罚项来拟合系数:L1项将某些系数精确地推至零(选择),L2项则平滑地收缩它们(稳定性)。总惩罚项的强度由λ控制,两个惩罚项之间的平衡由混合参数(此处写为α,即l1_ratio)控制。
公式
\min_{\beta}\; \tfrac{1}{2n}\,\lVert y - X\beta \rVert_2^2 + \lambda\left( \alpha \lVert\beta\rVert_1 + \tfrac{1-\alpha}{2}\lVert\beta\rVert_2^2 \right)有两个超参数控制拟合过程——整体惩罚强度和L1/L2混合比例——它们通过交叉验证来选择。由于有两个调整旋钮而不是一个,弹性网络需要足够的数据(至少约30个观测值)才能使交叉验证网格可靠。应首先标准化预测变量,以便惩罚项能够以相同的尺度对待每个特征。
拟合模型返回一个稀疏的系数集:不重要的预测变量被推至零并剔除,而相关的预测变量倾向于作为一个组被保留或剔除,而不是随机选择一个。幸存的系数经过收缩,比未加惩罚的回归模型更稳定、更具泛化能力。
常见陷阱
- 在未先标准化预测变量的情况下进行拟合。
- 在观测值太少的情况下尝试调整两个超参数,导致交叉验证网格不可靠。
- 在仅需要选择时选择LASSO,仅需要收缩时选择Ridge,而却选择了弹性网络。
- 将收缩后的系数解释为无偏效应量。
常见问题
弹性网络与LASSO和Ridge有何不同?
LASSO仅使用L1惩罚(选择但与相关预测变量一起不稳定);Ridge仅使用L2惩罚(稳定收缩但从不剔除变量)。弹性网络结合了两者,由混合比例控制,因此它能选择变量并与相关特征保持稳定。
我需要缩放我的特征吗?
是的。惩罚项作用于系数的大小,因此必须先对特征进行归一化;否则,大尺度变量将受到不同的惩罚,选择结果会产生偏差。
我需要多少观测值?
至少约30个。弹性网络通过交叉验证调整两个超参数,因此比单惩罚方法需要更多数据。少于30个时,如果需要选择,请使用普通的LASSO;如果需要收缩,请使用Ridge。
两个超参数控制什么?
整体惩罚强度(λ)控制系数的收缩程度,混合比例(l1_ratio)设定L1选择惩罚和L2收缩惩罚之间的平衡。两者均通过交叉验证选择。
相关方法
参考文献
Zou, H. & Hastie, T. (2005). Regularization and Variable Selection via the Elastic Net. Journal of the Royal Statistical Society: Series B, 67(2), 301–320.
打开 DOI 文献已复制。