Skip to content
返回搜索结果

联邦主动学习

提出者
Multiple authors (federated active learning emerged ~2020)
年份
2020s
类型
Hybrid paradigm (active querying within distributed training)
类别
Machine learning

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

联邦主动学习结合了主动学习的标注效率和联邦学习的隐私保护去中心化。一个共享的全局模型在分布式客户端上进行训练,每个客户端独立地对其未标记的本地数据进行排序,并仅请求最具信息量示例的标签,同时在设备上保留原始数据。

方法背后的直觉

在标准联邦学习中,每个客户端在其已有的任何标记数据上进行训练,而在主动学习中,一个中央的预言家选择接下来标记哪些示例。联邦主动学习融合了这两种思想:每个客户端在本地对其自身的未标记池进行评分,选择模型最不确定的样本,并且仅将这些样本发送给标注者。没有原始数据会离开客户端。然后,全局服务器像在标准联邦学习中一样聚合本地更新的模型,因此全局模型通过最具信息量的新标签得到改进,而无需集中收集底层数据。

历史学

联邦学习由McMahan等人于2017年通过FedAvg算法正式提出,实现了隐私保护的去中心化模型训练。主动学习的根源在于20世纪90年代的查询-委员会和不确定性采样文献。它们的结合——联邦主动学习——在21世纪20年代初成为一个活跃的研究课题,其驱动力是医疗保健、移动和物联网应用中数据无法集中化时降低标注成本的需求。多个研究组独立提出了结合局部不确定性估计和联邦聚合的框架,该领域仍然是一个开放的研究前沿。

何时使用

当分布式客户端的标记数据稀缺、标注成本高昂或需要领域专业知识,并且原始数据必须保留在设备上以满足隐私、监管或带宽要求时,使用联邦主动学习——例如,医院间的医疗记录、移动设备上的用户数据或物联网传感器流。当客户端数据分布异构(非IID)且标注预算较小时,它尤其强大。当所有数据都可以自由集中时(普通主动学习就足够了)、客户端缺乏对自身数据池进行评分的计算能力、标签噪声很高(不确定性采样可能会利用有噪声的标签)或标注轮次之间的延迟是限制性约束时,则不应使用它。

局限与注意事项

  • 每轮的通信开销乘以报告查询选择的客户端数量。
  • 非IID客户端分布可能导致主动学习选择偏向于全局损失的局部最小值。
  • 在分布式客户端之间同步标注轮次会引入延迟和协调复杂性。
  • 在没有集中式标记测试集的情况下,评估模型性能更难。
  • 跨客户端的标注预算分配需要仔细调整,以避免使小型或少数客户端处于不利地位。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过将原始样本保留在设备上并仅共享模型更新来保护数据隐私。
  • 通过每轮仅查询最具信息量的样本来显著降低标注成本。
  • 处理会误导集中式主动学习者的异构客户端分布。
  • 水平扩展——更多的客户端通常会提高对未标记空间的覆盖范围。
  • 与差分隐私和安全聚合兼容,以提供更强的隐私保证。

应用

  • 医院间的医学影像标注,其中患者数据无法共享。
  • 移动键盘或语音识别的设备端个性化,只需少量用户标注。
  • 工业物联网异常检测,其中传感器数据必须保留在边缘节点。
  • 分布式临床试验监测,需要联邦化的、隐私保护的模型更新。
  • 跨组织专有语料库的跨孤岛NLP微调。
  • 遥感分类,其中卫星图像存储在地理上分布的数据中心。

使用方式

使用方式

1

初始化一个全局模型并将其广播给所有参与的客户端。这可以是一个随机初始化的模型或一个预训练的检查点,它定义了该轮次的共享起点。

2

每个客户端将其当前全局模型应用于其自身的未标记本地池,并计算每个样本的信息量得分——例如,预测熵、边距采样或查询-委员会分歧——而不传输数据。

3

基于信息量得分,每个客户端选择一个预算中最不确定或最具代表性的未标记示例进行标注。选择策略平衡了探索与每轮可用的标注预算。

4

选定的示例(或仅它们的标识符加上标注所需的特征)被发送给人工预言家或自动化标注器。标签被返回给客户端。这是唯一可能数据离开设备的一步,并且在隐私敏感的部署中,只有预言家会收到它们。

5

每个客户端在其新标注的示例上——以及可选地在其现有的已标记集上——使用标准的本地SGD或Adam优化,在固定的本地轮数内微调全局模型。

6

客户端将它们模型更新(梯度或权重差值,而非数据)上传到服务器。服务器聚合这些更新,通常通过FedAvg(加权平均),形成更新后的全局模型,然后将其广播以开始下一轮。

常见陷阱

  • 直接应用集中式主动学习采集函数而不考虑客户端之间的分布偏移——局部不确定性估计可能无法反映全局模型不确定性。
  • 在设计查询预算时忽略通信成本:每轮为每个客户端请求过多样本的标签可能会使标注管道不堪重负。
  • 在查询之前,在过少的联合轮次后就认为全局模型已收敛,导致不确定性得分校准不佳。
  • 忽视掉队者——慢速或间歇性可用的客户端——这可能导致聚合偏向于更快速客户端的分布。
  • 在应用FedAvg聚合时假设IID客户端数据,当客户端分布高度异构时会导致发散。

常见问题

联邦主动学习与标准联邦学习有何不同?

标准联邦学习仅在其客户端已有的标记数据上进行训练。联邦主动学习增加了一个主动查询步骤:每个客户端对其未标记池进行评分,并选择最具信息量的示例进行标注,从而使全局模型能够用少得多的总标签进行改进。

我应该使用哪种采集函数进行局部评分?

熵采样(选择预测熵最高的示例)是最常见的起点,在局部模型校准良好时效果很好。边距采样和BALD(基于不确定性的贝叶斯主动学习)是在联合学习中不确定性校准是一个问题的良好替代方案。

联邦主动学习能否与差分隐私结合使用?

可以。差分隐私机制(如DP-SGD)可以在局部训练期间应用,并且可以在服务器端使用安全聚合。隐私预算必须同时考虑模型更新和关于哪些样本被选为查询的任何元数据。

当客户端拥有的未标记数据量差异很大时会发生什么?

如果每个客户端获得相等的绝对配额,拥有大量未标记池的客户端将主导查询预算。比例或自适应预算分配——根据客户端池的大小或估计的信息量来缩放每个客户端的标注预算——可以缓解这种不平衡。

在主动查询有帮助之前,通常需要多少次联合轮次?

这取决于初始模型的质量。在开始时,至少进行几轮标准联邦训练(使用可用的标记数据)可以提高不确定性估计的校准度,然后再启用主动查询。使用随机初始模型进行冷启动查询可能会将标注预算浪费在无信息量的样本上。

相关方法

参考文献

  1. Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).

    打开出版物文献
    已复制。
  2. Federated learning. Wikipedia.

    打开出版物文献
    已复制。