线性回归 (ML)
- 提出者
- Legendre, A.-M. & Gauss, C.F.
- 年份
- 1805–1809
- 类型
- Supervised regression
- 类别
- Machine learning
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
线性回归通过最小化预测误差的平方和,来拟合一个或多个输入特征与连续数值型结果之间的一条直线关系。作为一种机器学习模型,它在标记样本上进行训练,并在保留数据上进行评估,使其成为任何回归任务最简单的监督学习基线。
方法背后的直觉
想象一下,在一组数据点的散点图上画出最佳拟合线。线性回归正是为多个预测变量同时做到这一点:它找到特征权重的组合,以最小化直线预测值与真实值之间的总平方距离。由于关系被表示为输入的简单加权和,每个系数直接告诉你,在保持其他所有变量不变的情况下,当该特征增加一个单位时,预测结果会改变多少。这种透明度使得线性回归易于解释和审计,即使它在真实关系是曲线或涉及交互作用时会出现拟合不足。
历史学
最小二乘法由Legendre于1805年和Gauss于1809年独立发表。到二十世纪中叶,线性回归已成为应用统计学的奠基性技术。将其重新构建为机器学习模型——在样本上训练,在保留数据上评估,并进行正则化以防止过拟合——使其在预测建模中获得了第二次生命,在任何回归问题中,它仍然是标准的第一个基线。
何时使用
当结果是连续的,预测变量与结果之间的预期关系近似线性,并且需要可解释的系数时,使用线性回归。它是尝试更复杂模型之前的正确基线,也是其假设成立时的良好最终模型。不要将其用于二元或分类结果(改用逻辑回归),当强烈的非线性模式或交互作用占主导地位时,或者当预测变量的数量超过样本量而没有正则化时。
局限与注意事项
- 假设线性关系;除非手动编码,否则会忽略曲线、阈值和交互作用。
- 对异常值敏感,因为平方误差会放大极端点的影响。
- 预测变量之间的多重共线性会膨胀标准误差并破坏系数估计的稳定性。
- 要求残差近似正态分布且同方差,以进行有效推断。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 系数直接可解释:每个值都是结果单位的边际效应。
- 计算量微不足道——即使在大型数据集上也能几乎瞬时完成拟合。
- 提供标准误差和p值,支持正式假设检验。
- 作为基线,与更复杂的模型进行比较。
- 当线性假设成立时,效果良好且完全合理。
- 与正则化扩展(Ridge、Lasso、Elastic Net)高度兼容,当预测变量很多时。
应用
- 从任何领域的表格特征预测连续数值型结果。
- 在测试梯度提升或神经网络模型之前,建立性能基线。
- 在观察性研究中,当线性关系成立时,估计效应大小和边际影响。
- 商业分析中的需求预测、价格建模和资源估算。
- 在更复杂的分析之前,进行快速探索性建模以识别最重要的预测变量。
- 在模型透明度在法律或伦理上必需的场景中,进行可解释的评分函数。
使用方式
使用方式
该模型将预测表示为输入特征的加权和加上一个截距。目标变量必须是连续的数值型;分类输入在拟合前必须编码为虚拟变量或数值变量。
公式
\hat{y} = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p普通最小二乘法找到最小化残差平方和的系数向量。对于中等规模的数据集,这可以通过正规方程解析求解;对于非常大的数据集,则使用迭代求解器或随机梯度下降。
公式
\hat{\boldsymbol{\beta}} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}R方(决定系数)总结了模型解释了结果多少比例的方差。它辅以均方根误差和平均绝对误差,它们报告了结果原始单位下的误差。
公式
R^2 = 1 - \frac{\sum_i (y_i - \hat{y}_i)^2}{\sum_i (y_i - \bar{y})^2}在保留的测试集上或通过k折交叉验证评估拟合度,以检测过拟合。在信任推断之前,会检查残差图——残差与拟合值以及残差的Q-Q图——以检查误差的线性、同方差性和正态性。
常见陷阱
- 对训练数据范围之外的预测进行外插,因为线性近似会在此处失效。
- 忽略残差诊断,并假设模型有效而无需检查图表。
- 包含高度相关的预测变量而不解决多重共线性问题(检查VIF)。
- 将R方与新数据的预测准确性混淆——始终在保留集上进行评估。
- 将线性回归应用于二元或计数结果,而不是逻辑回归或泊松回归。
常见问题
线性回归与逻辑回归有何不同?
线性回归直接预测连续结果。逻辑回归对二元结果的对数几率进行建模,并输出介于0和1之间的概率。将线性回归用于二元结果可能会产生超出[0, 1]范围的预测,并违反恒定方差假设。
我需要标准化我的特征吗?
预测不需要标准化,但当特征具有非常不同的尺度时,它可以使系数直接具有可比性。当使用Ridge或Lasso等正则化变体时,尤其推荐。
如何处理相对于样本量而言数量众多的预测变量?
切换到正则化线性回归(Ridge用于收缩,Lasso用于稀疏性,Elastic Net用于两者)。当预测变量的数量接近或超过观测数量时,OLS会变得不可靠或未定义。
我应该检查哪些残差图?
至少需要:(1)残差与拟合值的关系图,以检查表明非线性和异方差性的模式;(2)残差的Q-Q图,以评估正态性。尺度-位置图和杠杆/影响统计量(Cook距离)也很有信息量。
高R方足以声明模型是好的吗?
否。R方衡量样本内拟合度,并且可能被不相关的预测变量膨胀。始终报告交叉验证或测试集的RMSE以及R方,并检查残差诊断以确认模型假设已满足。
相关方法
参考文献
Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed., Ch. 3). Springer.
ISBN:978-0-387-84858-7已复制。James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 3). Springer.
ISBN:978-1-4614-7138-7已复制。