Skip to content
返回搜索结果

逻辑回归

提出者
David Roxbee Cox
年份
1958
类型
Method
类别
classification-prediction

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

逻辑回归是一种统计方法,用于将二元结果(疾病存在/缺席、成功/失败)的概率建模为连续和分类预测变量的函数。它由David Roxbee Cox在1958年开发,通过应用逻辑变换将预测值约束在[0,1]的概率区间内,解决了预测分类结果的问题,从而能够实现流行病学、医学和社会科学中准确的风险分层、诊断预测和因果推断。

方法背后的直觉

标准线性回归预测的是无界的连续结果;将其用于二元结果(0 或 1)会得到不可能的预测值(例如,概率为 1.5)。逻辑回归通过把结果的对数优势(logit)建模为预测变量的线性函数来解决这一问题:logit(p) = ln[p/(1−p)] = β₀ + β₁X₁ + β₂X₂ + ...。逻辑变换再把线性预测值转换回概率(0 到 1)。这使研究者能够在给定预测变量的条件下估计结果发生的概率,以优势比的形式量化风险因素的关联,并在度量不确定性的前提下进行二分类。

历史学

David Roxbee Cox 于 1958 年引入逻辑回归,作为线性回归在二元结果上的自然扩展。Jerome Cornfield (1962) 的工作在流行病学中推广了优势比。Hosmer-Lemeshow 拟合优度检验(20 世纪 80 年代)为模型评估提供了诊断方法。现代扩展包括惩罚逻辑回归(ridge, lasso;Tibshirani, 1996)、广义线性模型(McCullagh & Nelder, 1989)以及多项/有序逻辑回归扩展(Agresti, 2015)。计算密集型方法(bootstrap, cross-validation)现在能够实现稳健的推断和外部验证。

何时使用

当预测或解释二元结果时使用逻辑回归。临床应用:预测疾病诊断、治疗反应、死亡率;计算风险评分(例如,APACHE 评分、CURB-65 肺炎严重程度)。流行病学研究:在调整混杂因素的同时,估计与暴露相关的疾病几率。诊断准确性:验证诊断测试(根据临床发现预测疾病)。调查研究:模拟对政策问题的“是/否”回答。对于连续或多分类(>2 个类别)结果,使用线性或多项逻辑回归。对于生存数据(事件时间),使用 Cox 回归。

局限与注意事项

  • 对多重共线性敏感:高度相关的预测变量会产生膨胀的标准误和不稳定的系数估计;检查方差膨胀因子。
  • 假定对数几率与预测变量之间存在线性关系;除非明确建模(例如,多项式、样条变换),否则会错过非线性关联。
  • 不平衡结果(罕见事件):如果结果比例极端(例如,阳性率为 5%),参数估计会有偏差,置信区间会很宽;考虑惩罚回归或病例对照抽样。
  • 假定观测值独立;聚类数据(例如,医院中的患者)违反了该假设,需要进行多层逻辑回归。
  • 分类性能在很大程度上取决于所选的概率阈值;不同的阈值会优化灵敏度与特异性,没有单一的阈值适合所有情况。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 直接估计结果的概率,从而在临床和政策环境中实现风险分层和知情决策。
  • 优势比对从业者来说很直观:一种易于与临床医生和公众沟通的二分关联度量。
  • 对正态性违反具有鲁棒性(与线性回归不同);仅要求条件分布是二项分布,而不是正态分布。
  • 灵活地纳入连续和分类预测变量、交互项和非线性项(例如,多项式、样条)以捕捉复杂关系。
  • 概率输出和 ROC 曲线能够优化阈值:根据适合应用背景的灵敏度/特异性权衡来选择分类阈值。

应用

  • 临床风险预测:开发经过验证的风险评分(例如,30 天再入院风险、脓毒症可能性)以指导资源分配和早期干预。
  • 诊断准确性:根据临床发现、实验室值和影像学预测疾病诊断;评估诊断算法的灵敏度和特异性。
  • 治疗反应:模拟治疗成功(药物反应、手术结果)的概率,以指导个性化医疗和治疗选择。
  • 流行病学关联研究:在调整人口统计学数据的同时,估计与环境或行为暴露(吸烟、饮食、职业危害)相关的疾病几率。
  • 质量改进和制造:根据制造参数预测产品缺陷概率;优化工艺设置以最大限度地减少故障。

使用方式

使用方式

1

通过定义二元结果(编码为 0/1)并收集预测变量来实施逻辑回归。确保有足够的样本量以获得稳定的估计值:每个预测变量至少有 10–20 个事件(事件 = 较少的结果类别计数)。验证观测值的独立性;逻辑回归假定没有聚类。使用虚拟变量(k 个类别的 k-1 个指示符)对分类预测变量进行编码。可以选择标准化连续预测变量以进行无量纲比较。拟合前,探索每个预测变量与结果之间的双变量关联(逻辑回归图、相关性)以指导模型设定。

2

使用最大似然估计(MLE)而不是普通最小二乘法来估计逻辑回归系数。软件计算参数估计值(β 系数),这些估计值最大化了观察到实际数据的似然性。关键统计量:(1)系数(β₀, β₁, ...):对数几率尺度的截距和斜率。(2)优势比(OR)= exp(β):每个预测变量单位增加对应的几率变化。OR = 1 表示无效应;OR = 2 表示几率翻倍;OR = 0.5 表示几率减半。(3)标准误和 z 统计量(z = β/SE):检验系数是否与零不同。(4)OR 的置信区间(通常为 95%):[exp(β − 1.96×SE), exp(β + 1.96×SE)]。(5)Hosmer-Lemeshow 拟合优度检验:跨风险十分位数的观测值与预测值之间的 χ² 检验(p > 0.05 表明拟合良好)。(6)接收者操作特征曲线下面积(AUC):0.5 = 随机猜测,0.7–0.8 = 可接受的区分度,>0.8 = 良好,>0.9 = 优秀。

3

解释以优势比为中心:预测变量的 OR 为 1.5,意味着在保持其他预测变量不变的情况下,该预测变量每增加一个单位,结果的几率就会乘以 1.5(高出 50% 的几率)。如果置信区间不包含 1,则 OR 在统计学上显著(p < 0.05)。个体预测概率 = 1 / [1 + exp(−(β₀ + β₁X₁ + ...))],其中 X 值是个体的预测变量得分。生成 ROC 曲线(真阳性率 vs 假阳性率)以评估分类性能,并为二元分类选择最佳概率阈值。使用似然比检验比较模型(完整 vs 简化):−2 × (简化模型的对数似然 − 完整模型的对数似然) 服从 χ² 分布,自由度为移除的参数数量。检查诊断图:偏图、影响度量(Pregibon 影响度)和 Pearson 残差以识别异常值或模型误设。

常见陷阱

  • 混淆关联与因果:逻辑回归估计调整后的关联;未知的混杂因素或反向因果关系仍然会威胁因果解释。
  • 仅使用分类准确性来评估模型:对于不平衡结果,一个预测所有阴性的模型可能看起来准确;使用 AUC、灵敏度、特异性和阳性预测值。
  • 报告没有置信区间或效应量的 p 值;统计显著性不等于临床显著性。始终报告带有 95% CI 的 OR。
  • 未能检查 Hosmer-Lemeshow 检验和残差诊断;拟合优度违反表明模型误设。
  • 模型过拟合:相对于样本量(尤其是事件计数)拟合过多的预测变量会产生乐观的性能估计;使用交叉验证。
  • 将连续预测变量二分化(例如,年龄 > 65)会导致信息丢失和不稳定的系数估计;保留连续形式或使用限制性三次样条。

常见问题

如何解释优势比为 2.5,95% CI 为 [1.8, 3.5]?

优势比为 2.5 意味着,在调整了其他预测变量后,该预测变量每增加一个单位(或对于分类变量,对于索引类别与参考类别相比),结果的几率就高 2.5 倍。95% 置信区间 [1.8, 3.5] 表明,有 95% 的置信度,真实的总体优势比介于 1.8 和 3.5 之间。由于置信区间不包含 1,因此该关联在统计学上是显著的(p < 0.05)。幅度解释:OR 1–1.5 = 小效应,1.5–3 = 中等效应,>3 = 大效应。临床医生经常问:对于这个结果,2.5 倍的几率增加在临床上是否有意义?背景很重要。

Hosmer-Lemeshow 检验告诉我什么,什么时候应该担心低 p 值?

Hosmer-Lemeshow 检验评估在风险十分位数上预测概率是否与观测到的结果比例相匹配。p > 0.05 表明校准良好;p < 0.05 表明模型在某些风险组中预测不准确,表明可能存在误设。低 p 值会促使进行调查:检查十分位数校准图,检查是否捕捉到非线性关系,探索交互作用,或调查异常值。然而,在样本量非常大的情况下,即使是微小的偏离完美校准也可能产生低 p 值;校准图的目视检查通常比检验本身更有信息量。

如何选择一个概率阈值来将个体分类为高风险或非高风险?

选择取决于临床或政策背景以及假阳性与假阴性的成本。ROC 曲线绘制了所有概率阈值下的灵敏度(真阳性率)与 1-特异性(假阳性率)。默认阈值为 0.5,但很少是最佳的。如果漏诊阳性病例成本高昂(例如,漏诊癌症诊断),则选择较低的阈值(较高的灵敏度)。如果误报成本高昂(例如,不必要的干预),则选择较高的阈值(较高的特异性)。使用 Youden 指数(灵敏度 + 特异性 - 1)或检查您人群中的阳性预测值(PPV)和阴性预测值(NPV)来决定。

逻辑回归与线性回归预测二元结果有何不同?

线性回归应用于二元结果会产生超出 [0, 1] 的预测值,违反正态性假设,并产生异方差残差。逻辑回归通过逻辑变换将预测值约束在概率范围内,假定条件分布为二项分布,并产生同方差残差。此外,线性回归的标准误是有偏的;逻辑回归使用最大似然估计,这对于二元数据可以获得正确的推断。逻辑回归专门为二元结果设计,应始终优先使用;对二元结果使用线性回归是常见的错误。

相关方法

参考文献

  1. Cox, D. R. (1958). The regression analysis of binary sequences. Journal of the Royal Statistical Society, Series B, 20(2), 215–242.

    打开 DOI 文献
    已复制。
  2. Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied Logistic Regression (3rd ed.). John Wiley & Sons.

    打开 DOI 文献
    已复制。