联邦学习
- 提出者
- McMahan et al.
- 年份
- 2017
- 类型
- Distributed privacy-preserving machine learning
- 类别
- Privacy-preserving analysis
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
联邦学习(Federated Learning)是McMahan等人于2017年提出的一种分布式机器学习范式,其核心思想是在不将原始数据传输到中央服务器的情况下,通过多个去中心化客户端(如移动设备或医院系统)协作训练一个全局模型。每个参与方利用其私有数据在本地计算模型更新;只有这些更新(而非底层数据)被服务器通信和聚合,以改进共享模型。
方法背后的直觉
设想一群在不同医院工作的研究人员,他们各自研究的患者记录因隐私法规而无法共享。联邦学习并非将所有记录汇集到一个数据库中,而是让每家医院在其自有患者数据上训练一个本地版本的模型,然后仅将所学知识的摘要(而非记录本身)发送给一个协调者,由协调者将所有摘要融合为一个改进的模型。患者数据从未离开其来源机构,但所有医院的集体智慧却得以汇聚。
历史学
该术语和框架由Google的McMahan等人于2017年提出,其动机是需要在不上传敏感文本的情况下在移动设备上训练语言模型。基础的FedAvg算法证明,平均本地训练的权重既具有通信效率,又与集中式训练具有竞争力。随后的研究将联邦学习扩展到处理非独立同分布(non-IID)数据、增加形式化的差分隐私保证、结合安全多方计算进行聚合,并将该范式应用于跨筒仓设置,如医院网络。
何时使用
当训练数据分布在多个客户端且因隐私法规、数据所有权限制或通信成本而无法集中化时,可使用联邦学习——例如,移动键盘、医院间的医学影像或物联网传感器网络。关键假设包括每个客户端有足够的本地数据,以及所有参与者共享同一任务。当客户端数据分布高度异构(非独立同分布,non-IID)、通信带宽严重受限,或需要超出数据本地性的强形式隐私保证时(此时可考虑与差分隐私结合),联邦学习的适用性较低。
局限与注意事项
- 当客户端数据分布高度非独立同分布(non-IID)时,收敛可能缓慢且不稳定。
- 在低带宽网络上,多轮通信开销可能非常大。
- 模型更新仍可能通过梯度反演或成员推断攻击泄露本地数据信息。
- 掉队者和掉线客户端使同步聚合复杂化,并可能导致全局模型偏差。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 设计上保护数据隐私:原始数据从不离开客户端设备或机构。
- 可扩展到数百万个异构边缘设备,无需集中存储。
- 仅传输模型更新而非数据集,从而降低数据传输成本。
- 支持在数据共享受法律限制的敏感领域(医疗、金融)进行学习。
应用
- 在不上传用户文本的情况下,移动设备上的下一词预测和键盘个性化。
- 医院之间无法共享患者记录的医学影像模型训练。
- 银行之间共享行为模式但不共享交易历史的欺诈检测。
- 自动驾驶汽车感知模型在车队中训练,无需集中传感器日志。
- 可穿戴健康监测,在设备上保留生物识别数据同时学习个人基线。
使用方式
使用方式
在每个通信轮次开始时,服务器会选择可用客户端的一个随机子集,并将当前的全局模型权重传输给它们。这种广播确保所有参与客户端从一个共同的起点开始本地计算,从而为后续的连贯聚合奠定基础。仅选择子集而非所有客户端,即使在有数千台设备注册的情况下,也能使每个轮次保持可管理。
公式
w_t \rightarrow \text{subset } S_t \subset \{1,\ldots,N\}每个选定的客户端使用接收到的全局权重作为起点,在其私有本地数据集上运行一步或多步随机梯度下降。客户端计算其本地损失函数的梯度,并相应地更新权重。只有这些更新后的权重(而非原始梯度或训练数据)被准备好传回服务器。
公式
w_{t+1}^k = w_t - \eta \nabla \mathcal{L}_k(w_t)服务器收集所有参与客户端的更新权重,并计算一个加权平均值,其中每个客户端的贡献与其本地数据集大小相对于所有参与者总数据量的比例成正比。这一联邦平均(Federated Averaging, FedAvg)步骤产生一个新的全局模型,该模型整合了每个客户端私有数据中的信息,而没有任何原始数据离开设备。
公式
w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n} w_{t+1}^k聚合后的全局模型根据收敛准则进行评估,该准则通常是相对于最优损失的预期损失上限。如果准则尚未满足,服务器会增加轮次计数器,并将更新后的全局模型广播给新的客户端子集,重复此循环,直到模型收敛或达到最大轮次。
公式
\mathbb{E}[\mathcal{L}(w_T)] \leq \mathcal{L}^* + \epsilon常见陷阱
- 假设仅联邦训练足以保证隐私:如果没有差分隐私或安全聚合等额外机制,模型更新仍然容易受到攻击。
- 忽略数据异构性:将朴素的FedAvg应用于严重非独立同分布(non-IID)数据通常会导致客户端漂移和较差的全局模型性能。
- 忽视拜占庭或恶意客户端:如果未应用鲁棒聚合,一小部分对抗性参与者可能会破坏聚合模型。
- 将通信轮次视为免费:在慢速链路上进行多轮通信的累积成本可能超过去中心化的好处。
常见问题
联邦学习能保证完全隐私吗?
并非单独就能保证。虽然原始数据从不离开客户端设备,但模型更新(梯度)仍可能通过梯度反演或成员推断攻击泄露信息。将联邦学习与差分隐私噪声添加和安全聚合协议结合,能显著增强隐私保证,但每一层都会带来其自身的准确性或通信权衡。
联邦学习如何处理客户端之间的非独立同分布(non-IID)数据?
当客户端数据分布彼此差异很大时,标准FedAvg可能会发散——这种现象称为客户端漂移。补救措施包括增加本地批次大小、减少本地训练周期、应用个性化联邦学习变体(如FedProx或SCAFFOLD),或使用服务器端动量。严重程度取决于客户端之间统计异构性的程度。
通常需要多少客户端和轮次才能收敛?
McMahan等人表明,即使每轮只采样一小部分客户端(例如,100个中的10个),FedAvg在标准任务中也能在几十到几百轮内收敛。实践中,具体数量取决于每个客户端的数据集大小、非独立同分布(non-IID)程度、学习率以及每次聚合前执行的本地梯度步数。
相关方法
参考文献
McMahan, B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Artificial Intelligence and Statistics, 1273–1282.
打开出版物文献已复制。