逻辑回归(机器学习)
- 提出者
- Cox, D. R.
- 年份
- 1958
- 类型
- Probabilistic linear classifier
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
逻辑回归是一种基础的概率分类器,它将二元(或多元)结果的对数几率建模为预测变量的线性函数。该方法由 D. R. Cox 于 1958 年提出,至今仍是统计学和机器学习中最广泛使用且最易于解释的分类方法之一,因其校准的概率输出和清晰的系数解释而备受推崇。
方法背后的直觉
逻辑回归的目的是:给定一组特征,一个观测值属于某个特定类别的概率是多少?它通过拟合结果的对数几率的直线,然后将该线性得分通过 sigmoid(S形)曲线压缩,以产生介于 0 和 1 之间的概率。每个预测变量的系数直接告诉您该特征的单位变化如何改变正类别的对数几率,从而使模型高度透明。高于 0.5 的预测概率被分类为正类别,尽管此阈值是可调的。
历史学
David Cox 于 1958 年正式化了二元结果的逻辑回归,扩展了早期关于概率模型的工作。在 20 世纪 70-80 年代,它成为流行病学和社会科学中的标准分类器。多项结果和正则化变体的最大似然框架由 Tibshirani 的 Lasso(1996 年)和 Hastie、Tibshirani 和 Friedman 的《统计学习要素》(2001 年)巩固。如今,它仍然是典型的可解释分类器,并且是许多同行评审指南中的强制基线。
何时使用
当结果是二元或分类变量,样本量至少中等(经验法则:每个预测变量至少有 10 个事件),并且需要可解释的系数或校准的概率时,请使用逻辑回归。它是社会科学、医学和流行病学中的默认基线分类器,应在更复杂的模型之前尝试。当决策边界高度非线性、需要大量交互项,或在复杂表格数据上的预测准确性比可解释性更重要时,应避免使用——在这些情况下,基于树的集成模型或 SVM 通常表现更好。
局限与注意事项
- 假设特征与结果的对数几率之间存在线性关系;非线性模式需要手动特征工程或非线性模型。
- 对预测变量之间的多重共线性敏感:相关的特征会膨胀系数标准误差并破坏估计的稳定性。
- 需要合理的每预测变量事件数(经验法则:至少 10 个);稀疏的类别会导致收敛问题和过拟合。
- 在具有许多交互作用的复杂表格数据上,可能不如集成方法(随机森林、梯度提升)表现好。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 产生校准的类别概率,而不仅仅是标签,可直接用于排序和决策阈值设置。
- 系数可解释为几率比,满足临床、社会科学和政策研究的标准。
- 即使在大型数据集上,计算速度也很快,内存效率也很高。
- 正则化变体(Ridge、Lasso、Elastic Net)可处理高维特征并执行自动特征选择。
- 相对于判别分析,假设较少:不需要预测变量的多变量正态性。
- 稳健且易于理解;可作为强有力且可信的基线,用于与复杂模型进行比较。
应用
- 疾病诊断和临床风险评分(例如,预测再入院或死亡率)。
- 金融领域的信用风险和欺诈检测。
- 社会科学和流行病学中的二元调查响应建模。
- 垃圾邮件和情感分类作为快速、可解释的文本基线。
- 部署更复杂的集成模型之前的基线分类器。
使用方式
使用方式
计算所有输入特征的加权和。每个特征接收一个从数据中学习到的系数(权重);截距捕获所有特征为零时的基线对数几率。这在形式上与线性回归相同,但输出被解释为对数几率得分,而不是直接的数值预测。
公式
z = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p
线性得分通过 sigmoid 函数进行转换,该函数将任何实数映射到开区间 (0, 1)。这给出了一个校准良好的类别概率。对于多类别问题,softmax 函数将此步骤推广,以产生所有类别的概率分布。
公式
P(y=1|\mathbf{x}) = \sigma(z) = \frac{1}{1 + e^{-z}}模型参数通过最大化给定预测概率的观测标签的对数似然来估计。这等同于最小化二元交叉熵损失。与普通最小二乘法不同,它没有闭式解:需要使用迭代优化算法(通常是牛顿-拉夫逊法或梯度下降法)。
公式
\ell(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log \hat{p}_i + (1-y_i) \log(1-\hat{p}_i) \right]迭代求解器——如 L-BFGS、牛顿-拉夫逊法或随机梯度下降法——会更新系数向量直到收敛。可以在目标函数中添加正则化项(L1 或 L2)来收缩系数,以防止过拟合并实现自动特征选择(L1 / Lasso)。
将拟合的概率与分类阈值(默认为 0.5)进行比较,以分配类别标签。在类别不平衡的情况下,或当假阳性和假阴性的成本不同时,应使用精确率-召回率曲线或 ROC 分析来调整此阈值,而不是将其保留为 0.5。
公式
\hat{y} = \mathbf{1}[\hat{p} \geq 0.5]常见陷阱
- 在训练集上进行评估,而不是进行训练/测试拆分或交叉验证,这会夸大性能。
- 在类别不平衡的情况下,仅使用准确率作为指标,而不是报告 AUC-ROC、F1 和混淆矩阵。
- 在类边界高度非线性的数据上应用逻辑回归而不进行诊断检查,忽略了线性假设。
- 当预测变量数量相对于样本量很大时,未能应用正则化,导致过拟合。
- 在解释系数大小之前,未检查多重共线性(通过 VIF)。
常见问题
何时应优先选择逻辑回归而非随机森林?
当您需要校准的概率、可解释的系数,或必须满足要求明确几率比的报告标准时——例如在临床试验或政策评估中。随机森林通常能获得更高的预测准确性,但不能直接解释系数。
我需要多少个观测值?
一个广泛引用的经验法则是每个预测变量至少有 10 个事件(阳性结果)。事件数较少时,参数估计会变得不稳定,置信区间也不可靠。正则化或惩罚似然可以稍微扩展可用范围。
我应该标准化我的特征吗?
标准化特征对于预测不是必需的,但当比较不同预测变量的系数大小时,或在使用正则化(L1 或 L2)时,它很重要,因为惩罚会按相同尺度处理所有系数。
二元逻辑回归和多元逻辑回归有什么区别?
二元逻辑回归使用 sigmoid 函数对二分类结果进行建模。多元(softmax)逻辑回归将其推广到三个或更多无序类别,为每个类别相对于参考类别估计一组系数。
如何处理类别不平衡?
在 scikit-learn 中设置 class_weight='balanced' 来重新加权损失函数,或对少数类进行过采样(SMOTE)。始终使用 AUC-ROC 和精确率-召回率曲线而不是准确率进行评估,并在验证集上调整分类阈值。
相关方法
参考文献
Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.
打开 DOI 文献已复制。James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 4). Springer.
ISBN:978-1-4614-7138-7已复制。