岭回归(Ridge Regression)
- 提出者
- Hoerl, A.E. & Kennard, R.W.
- 年份
- 1970
- 类型
- L2-regularized linear regression
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
Ridge Regression 是一种 L2 正则化的线性回归方法,由 Arthur Hoerl 和 Robert Kennard 于 1970 年提出,通过对系数的大小增加惩罚项来减少多重共线性。它将系数收缩至零附近,但不会将任何系数精确地设为零,从而在预测变量高度相关时产生更稳定的估计。
方法背后的直觉
当预测变量高度相关时,普通最小二乘法的系数会变得不稳定,并且在不同样本之间可能发生剧烈变化。Ridge Regression 通过对系数平方大小增加惩罚项,故意接受少量偏差以换取更低的方差:它能够驯服这些剧烈波动,并保留模型中的所有变量,只是权重变小且更稳定。
历史学
Ridge Regression 由 Arthur E. Hoerl 和 Robert W. Kennard 于 1970 年提出,作为一种获得有偏但更稳定的估计值的方法,用于处理普通最小二乘法失效的非正交(共线性)问题。增加 L2 惩罚项的思想成为正则化回归的基础工具,并直接催生了后来的 LASSO 和 Elastic Net 等方法,这些方法将其收缩行为与显式变量选择相结合或形成对比。
何时使用
当存在多重共线性时(例如方差膨胀因子超过 10),并且您希望保留所有变量而不是在它们之间进行选择,请使用 Ridge Regression 进行预测,该方法适用于连续、二元或计数预测变量。它假设预测变量与结果之间存在大致的线性关系,并且至少有大约 30 个观测值。特征必须先标准化。当样本量小且共线性较弱时,普通的线性回归更具可解释性;当变量选择是目标时,LASSO 或 Elastic Net 更可取。
局限与注意事项
- 不执行变量选择;它不能像 LASSO 那样将不相关的预测变量设为零。
- 需要对特征进行标准化,否则惩罚项会不公平地偏向尺度较大的变量。
- 假设预测变量与结果之间存在线性关系。
- 在小样本量(n 低于约 30)下,通过交叉验证调优 alpha 是不可靠的,普通的 OLS 可能就足够了。
- 当共线性实际上不是问题时,收缩是不必要的,并且会降低可解释性。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 通过增加 L2 惩罚项来减少多重共线性并稳定系数估计。
- 将每个预测变量保留在模型中——系数收缩但没有一个被降至零。
- 以少量、可控的偏差增加为代价降低方差,通常能提高预测精度。
- 有一个单一的、易于调优的超参数(alpha),通过交叉验证选择。
- 适用于连续、二元和计数预测变量,而无需正态分布数据。
应用
- 在具有许多相关预测变量且多重共线性会放大 OLS 方差的情况下进行预测。
- 当方差膨胀因子较高(VIF 大于 10)时,稳定回归系数。
- 在应保留所有预测变量而不是剔除它们的情况下进行建模。
- 作为与 LASSO 或 Elastic Net 比较之前的正则化基线。
使用方式
使用方式
普通最小二乘法仅通过最小化平方误差来拟合系数。当两个或多个预测变量几乎冗余(多重共线性)时,这会导致系数确定性差且对噪声高度敏感。Ridge 通过抑制大系数来解决此问题,用一点点偏差换取更大的稳定性。
Ridge 通过最小化通常的平方误差和加上一个惩罚项(等于调优常数 alpha 乘以系数平方和)来达到目的。这个 L2 惩罚项按比例将所有系数收缩至零,但与 LASSO 不同,它从不将任何系数精确设为零,因此所有预测变量都被保留。预先标准化特征是必需的,以便惩罚项能公平地对待每个预测变量。
公式
\hat{\beta}^{\text{ridge}} = \arg\min_{\beta} \; \|y - X\beta\|^2 + \alpha \|\beta\|^2惩罚项的强度由 alpha 控制:值越大,系数收缩越多。通过交叉验证选择合适的值,通常是通过扫描 alpha 的范围并选择使交叉验证均方误差最小化的那个。
常见陷阱
- 在原始、未标准化的特征上拟合 Ridge,导致惩罚项扭曲了系数。
- 手动选择 alpha 而不是通过交叉验证选择。
- 在不存在真正多重共线性时应用 Ridge,收缩系数没有任何好处。
- 期望进行变量选择——Ridge 保留所有变量,因此如果您需要稀疏性,请选择 LASSO 或 Elastic Net。
- 跳过拟合后的残差诊断(正态性、同方差性)。
常见问题
Ridge 与 LASSO 有何不同?
两者都向系数添加惩罚项以进行收缩,但 Ridge 使用 L2 惩罚项,将系数收缩至零但从不精确达到零,因此所有预测变量都保留在模型中。LASSO 使用 L1 惩罚项,可以将系数精确设为零,从而执行变量选择。选择 Ridge 来稳定相关的预测变量,选择 LASSO 来获得稀疏模型。
我需要标准化我的特征吗?
是的。需要对特征进行标准化,因为 L2 惩罚项作用于系数的大小;没有标准化,惩罚项会不公平地收缩尺度较大的变量。
如何选择惩罚强度 alpha?
通过交叉验证选择 alpha:扫描一系列值,然后选择使交叉验证均方误差最小化的值。绘制 CV MSE 相对于 alpha 的曲线可以显示最佳值所在的位置。
何时不应使用 Ridge?
如果没有真正多重共线性,Ridge 会引入不必要的收缩,普通的线性回归更具可解释性。在样本量非常小(n 低于约 30)的情况下,调优 alpha 是不可靠的,如果您需要剔除不相关的变量,则应改用 LASSO 或 Elastic Net。
相关方法
参考文献
Hoerl, A.E. & Kennard, R.W. (1970). Ridge Regression: Biased Estimation for Nonorthogonal Problems. Technometrics, 12(1), 55–67.
打开 DOI 文献已复制。