正则化逻辑回归
- 提出者
- Tibshirani, R. (lasso); Hoerl & Kennard (ridge); Zou & Hastie (elastic net)
- 年份
- 1996–2005
- 类型
- Penalized classification model
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
正则化逻辑回归通过在对数似然函数中添加L1(Lasso)、L2(Ridge)或弹性网络惩罚项,扩展了标准逻辑回归。这使得系数向零收缩,并防止过拟合。当您希望在高维或共线性特征空间中获得可解释、稀疏或稳定的系数估计时,它是二元或多项分类的默认选择。
方法背后的直觉
标准逻辑回归旨在最大化观测类别标签的概率。在高维设置中——即特征多、观测少或预测变量相关时——估计的系数可能会膨胀或剧烈波动,导致泛化能力差。正则化通过添加一个随系数大小增长的惩罚项来约束系数的幅度,以牺牲少量训练集拟合为代价,换取更好的泛化能力。L1惩罚项将某些系数精确地驱动到零(自动特征选择),L2惩罚项平滑地收缩所有系数而不将其置零,而弹性网络则融合了这两种行为。
历史学
Ridge回归由Hoerl和Kennard于1970年形式化,并应用于包括逻辑回归在内的广义线性模型。Tibshirani在1996年的Lasso论文中引入了L1正则化和稀疏解,改变了高维建模。Zou和Hastie(2005)将两种惩罚项结合成弹性网络,解决了Lasso在处理分组相关特征时的局限性。如今,正则化逻辑回归是scikit-learn、glmnet(R)和LIBLINEAR中的基础算法,并作为生物医学和自然语言处理应用中的基准分类器被常规使用。
何时使用
当您需要可解释的概率输出、特征数量相对于样本量较大或预测变量相关时,请使用正则化逻辑回归进行二元或多项分类。它是临床预测、使用词袋特征的文本分类以及高维生物标志物研究中首选的起始模型。当需要自动特征选择时选择L1,当需要稳定系数估计时选择L2,当特征以相关组出现时选择弹性网络。当结果与特征的关系高度非线性或存在线性对数几率公式无法捕捉的强交互效应时,请避免使用它;此时树集成或核方法可能更合适。
局限与注意事项
- 假设特征与对数几率之间存在线性关系;在没有手动特征工程的情况下,无法捕捉非线性或交互效应。
- 要求结果是分类的;连续结果需要线性(而非逻辑)回归。
- 当相关特征之间存在强交互作用时,由于模型在对数几率上是加性的,性能会下降。
- 必须通过交叉验证选择最优的lambda,这增加了计算量和调优步骤。
- 严重类别不平衡的数据在不重新加权的情况下,可能会使预测概率偏向多数类别。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 与大多数黑盒分类器不同,它能产生校准的类别概率和可解释的、有符号的系数。
- L1惩罚执行自动特征选择,产生易于报告的稀疏模型。
- 通过系数收缩,稳健地处理高维特征空间(p >> n)。
- 弹性网络惩罚项能优雅地处理相关的特征组,将权重分散到相关预测变量上。
- 即使在大型数据集上,使用坐标下降求解器也能非常快速地拟合;可扩展到数百万个观测值。
应用
- 来自高维生物标志物面板的临床风险评分和诊断分类器。
- 使用词袋或TF-IDF特征的文本分类,其中L1产生可解释的稀疏词权重。
- 基因组学和蛋白质组学,其中特征数量远远超过样本量。
- 需要概率输出以进行基于阈值决策的信用评分和欺诈检测。
- 在评估更复杂的集成或深度学习模型之前的基准分类模型。
使用方式
使用方式
特征的线性组合预测正类别的对数几率。Sigmoid函数将对数几率转换为0到1之间的概率,使得输出可以直接解释为类别概率。
公式
\log\frac{p}{1-p} = \mathbf{x}^\top\boldsymbol{\beta}优化目标是负对数似然(交叉熵)加上一个惩罚项。惩罚项的强度与系数幅度成比例,由超参数lambda(强度)和alpha(L1/L2混合比例)控制。较大的lambda施加更强的收缩;alpha=1表示纯Lasso,alpha=0表示纯Ridge。
公式
\mathcal{L}(\boldsymbol{\beta}) = -\ell(\boldsymbol{\beta}) + \lambda\left[\alpha\|\boldsymbol{\beta}\|_1 + \tfrac{1-\alpha}{2}\|\boldsymbol{\beta}\|_2^2\right]惩罚项的选择决定了模型的行为:L1(Lasso)通过将不相关特征的系数置零来产生稀疏解,当需要特征选择时首选。L2(Ridge)在所有特征预期都有贡献且共线性较高时首选。弹性网络(alpha介于0和1之间)比单独的Lasso能更好地处理分组相关的特征。
惩罚损失通过迭代算法(如坐标下降法,scikit-learn的liblinear/saga求解器)最小化。最优的lambda通过交叉验证确定,通常在对数网格上进行。拟合前对特征进行标准化至关重要,以确保惩罚项在所有预测变量上一致应用。
预测概率通过决策阈值(默认通常为0.5)转换为类别标签。在不平衡设置中,应根据应用的成本结构调整阈值以平衡精确率和召回率。
公式
\hat{y} = \mathbf{1}[\hat{p} \ge t]常见陷阱
- 拟合时未对特征进行标准化:惩罚项对所有系数一视同仁,因此不同尺度的特征会受到不平等的收缩,从而扭曲解决方案。
- 在未检查校准和类别平衡的情况下使用默认阈值0.5,这会悄无声息地降低少数类别的召回率。
- 仅报告准确率而非AUC、F1和校准指标,掩盖了少数类别的糟糕性能。
- 跳过lambda选择的交叉验证,转而在训练数据上进行评估,导致模型过拟合。
- 在不考虑遗漏变量偏差和决策边界附近变量选择的不稳定性时,将Lasso选择的系数解释为因果关系。
常见问题
我应该如何选择L1、L2和弹性网络?
当您认为只有一部分特征是相关的并希望进行自动选择时,请使用L1。当所有特征都可能有所贡献或预测变量高度相关时,请使用L2,因为Ridge会将权重分散到相关的组中。当您需要稀疏性但同时又存在相关特征块时,请使用弹性网络;通过嵌套交叉验证同时调整alpha和lambda。
拟合前必须对特征进行标准化吗?
是的,始终如此。惩罚项对所有系数一视同仁,因此具有较大数值的特征除非标准化,否则会受到相对较少的收缩。在拟合前将每个特征中心化并缩放到零均值和单位方差,并将相同的变换应用于测试数据。
lambda是如何选择的?
Lambda是一个通过交叉验证选择的超参数,通常是k折(k=5或10)在对数网格上进行。在R的glmnet中,cv.glmnet会自动完成此操作。在scikit-learn中,应使用LogisticRegressionCV或带有交叉验证的GridSearchCV,对逆正则化强度C(C=1/lambda)进行选择。
正则化逻辑回归会给出校准的概率吗?
通常会,比树集成模型更好,因为逻辑回归通过Sigmoid函数直接建模类别概率。然而,极端的正则化可能会将预测概率压缩到0.5附近。如果需要,可以使用Platt缩放或等渗回归进行重新校准。
我如何处理类别不平衡?
设置class_weight='balanced'(scikit-learn)以使少数类别观测值获得更高的损失权重,或手动对训练集进行重采样。此外,使用精确率-召回率曲线调整决策阈值,而不是将其固定为0.5。
相关方法
参考文献
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B, 58(1), 267–288.
打开 DOI 文献已复制。Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed., Ch. 4, 18). Springer.
ISBN:978-0-387-84857-0已复制。