Skip to content
返回搜索结果

主动学习线性回归

提出者
Cohn, D. A.; Ghahramani, Z.; Jordan, M. I.
年份
1996
类型
Active learning / iterative supervised learning
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

主动学习线性回归是一种迭代式机器学习方法,它将线性回归模型与智能查询策略相结合,以选择最具信息量的未标记点进行标记。通过将标记工作集中在不确定性最高的地方,它能以远少于被动随机抽样的标记样本获得具有竞争力的预测精度。

方法背后的直觉

标记数据通常成本高昂——例如临床测量、专家标注或实验室实验。主动学习者不是随机标记所有数据,而是根据已有的少量标记集拟合线性回归,找出其预测最不确定的地方,然后请求一个“预言家”(oracle)标记这些点,并重新训练。这个循环会一直重复,直到预算耗尽或性能达到目标。其结果是模型能够高效学习,将标记资源精确地花费在最重要的地方——决策边界附近或数据稀疏的区域。

历史学

主动学习的统计模型形式框架由Cohn、Ghahramani和Jordan于1996年建立,他们证明了概率模型下的方差减少提供了一个有原则的查询准则。这项工作将主动学习与经典的实验最优设计文献(可追溯至Kiefer和Wolfowitz,1959年)统一起来。Settles(2012年)后来整合了更广泛的主动学习领域,而主动线性回归仍然是说明查询不确定性核心原理的一个典型例子。

何时使用

当预测变量与连续结果之间的关系近似线性,标签稀缺或获取成本高昂(例如,湿式实验、临床检测、专家标注),并且存在大量未标记的候选点时,应使用主动学习线性回归。它特别适用于低维实验设计问题。当真实关系是强非线性时(倾向于使用主动高斯过程或神经网络变体)、标签成本可忽略不计(被动抽样已足够)或未标记池太小而无法从选择中受益时,应避免使用。

局限与注意事项

  • 假设真实关系是线性的;模型误设可能导致查询决策不佳和估计偏差。
  • 在初始标记池稀疏到无法可靠估计方差的高维设置中,性能会下降。
  • 贪婪的查询策略可能会过度关注边界区域,而忽略整体覆盖。
  • 需要能够按需标记任何查询点的“预言家”(人类专家或实验)。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过优先处理信息量最大的样本,显著减少了标记工作量。
  • 基于经典的实验最优设计理论,为方差减少提供了理论保证。
  • 简单且可解释:底层模型仍然是具有透明系数的普通线性回归。
  • 计算成本低廉——线性回归的预测方差具有封闭形式的更新。
  • 在真实关系为线性的低到中等维度设置中效果良好。

应用

  • 药物发现和材料科学:选择下一步要合成和测试的化合物。
  • 临床试验:迭代选择患者进行测量,以最小化样本量同时估计剂量-反应曲线。
  • 环境监测:选择传感器放置位置以最优地估计污染或温度场。
  • NLP的标注者在循环流水线中:选择句子供专家在基于回归的评分任务中进行标记。
  • 工业过程优化:顺序实验设计,以最少的运行次数绘制连续输出曲面。

使用方式

使用方式

1

该算法从一个小的标记种子集和一个大的未标记实例池开始。种子集应足够多样化,以便初始回归获得合理的起始拟合;通常选择5-20个点的随机样本。

2

使用普通最小二乘法在当前标记集上拟合线性回归模型。估计的系数向量 $\hat{\beta}$ 定义了跨所有输入的当前预测曲面。

公式
\hat{\beta} = (X^\top X)^{-1} X^\top y
3

对于每个未标记的点,计算一个查询准则——通常是该点回归模型的预测方差。方差最高(不确定性最大)的点被选为最具信息量的标记候选点。基于方差的选择对应于经典的实验最优设计(D-最优或A-最优准则)。

公式
x^* = \arg\max_{x \in \mathcal{U}} \sigma^2(x)
4

选定的未标记点被呈现给一个“预言家”——人类标注者、实验室仪器或自动化测量系统——它提供真实的标签(连续响应值)。这个标记步骤通常是成本和时间的瓶颈。

5

新标记的点被添加到标记集中,并在扩展集上重新拟合线性回归模型。查询-标记-重拟合的循环会一直持续,直到标记预算耗尽或满足停止条件(例如,最小方差阈值)。

常见陷阱

  • 以太小或不具代表性的种子集开始,导致早期查询由拟合不佳的模型驱动。
  • 忽略模型误设——如果数据是非线性的,方差准则将系统性地选择无用的点。
  • 将最终模型视为在被动随机样本上拟合的;主动样本不是独立同分布(IID)的,这可能使标准的标准误差公式无效。
  • 混淆预测方差与残差方差;查询准则应该是新点处预测的方差,而不是训练残差。

常见问题

主动学习与普通线性回归有何不同?

普通线性回归是在被动收集的标记数据集上拟合的。主动学习线性回归增加了一个查询循环:每次拟合后,模型选择它最不确定的未标记点,请求其标签,然后重新训练——迭代进行,直到标记预算用完。

哪种查询策略效果最好?

对于线性回归,最大化预测方差(等同于D-最优或A-最优实验设计)在理论上是合理的,并且在实践中是有效的。它选择最能减少整体参数不确定性的点。

我可以使用正则化回归(Ridge、Lasso)吗?

可以。Ridge回归的预测方差可以通过简单的封闭形式调整来计算。对于Lasso,方差表达式不那么直接,因此实践者通常使用Bootstrap不确定性估计或切换到贝叶斯线性回归模型。

主动抽样会使回归系数的标准误差产生偏差吗?

是的。由于标记样本不是从总体中独立同分布抽取的,因此标准的OLS标准误差公式会产生偏差。解决方案包括使用逆概率加权估计量或使用被动抽取的随机保留集进行重新拟合。

我需要多少个种子点才能开始?

至少需要p+1个标记点来拟合p个预测变量的回归,但建议至少有2p个点的种子集以获得稳定的初始方差估计。随机选择种子集是标准做法。

相关方法

参考文献

  1. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool.

    打开 DOI 文献
    已复制。
  2. Cohn, D. A., Ghahramani, Z., & Jordan, M. I. (1996). Active learning with statistical models. Journal of Artificial Intelligence Research, 4, 129–145.

    打开 DOI 文献
    已复制。