专家混合模型
- 提出者
- Shazeer, N. et al.
- 年份
- 2017
- 类型
- Sparse neural network architecture (conditional computation)
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
专家混合模型(Mixture of Experts, MoE)是一种稀疏神经网络架构,由Shazeer及其同事于2017年通过稀疏门控MoE层首次提出。在该架构中,每个输入仅激活一部分专家子网络。如Switch Transformer和Mixtral等模型所示,MoE可以在总参数量增长的情况下保持计算成本固定。
方法背后的直觉
MoE模型不将每个输入都通过一个巨大的网络处理,而是维护一个由专业化专家网络组成的集合,并由一个路由器决定每个输入应咨询哪些少数专家。由于每个输入仅激活少数专家,因此模型可以拥有海量参数,同时处理每个样本的计算量大致相同——这好比是咨询与问题相关的两位专家,而不是整个医院的医生。
历史学
稀疏门控专家混合层由Shazeer及其同事于2017年在论文《Outrageously Large Neural Networks》中提出,该论文表明条件计算可以在保持计算量大致恒定的情况下,将模型容量扩展几个数量级。这一思想后来被引入到Transformer语言模型中——特别是Switch Transformer,以及在2024年的Mixtral中——使MoE成为实现非常大但高效模型的一种标准途径。
何时使用
当您拥有大量数据(约1000个观测值或更多)以及具备GPU集群的大规模训练基础设施时,可将MoE用于文本和连续特征数据的大规模预测或分类任务。它假定应用了路由器平衡损失,并且训练流水线能够支持稀疏门控。在低于约1000个样本时,路由器无法学会平衡的专家选择,训练会不稳定;在低于约500个样本时,模型会出现过拟合,此时更倾向于使用单一的密集模型。
局限与注意事项
- 需要大规模训练基础设施和GPU集群。
- 需要路由器平衡损失;否则,负载会集中在少数几个专家身上。
- 在小数据集(n低于约1000)上,路由器无法平衡专家选择,训练不稳定。
- 在数据量非常少(n低于约500)的情况下,模型会过拟合,此时单一密集模型就足够了。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 将模型容量与每输入计算量解耦——总参数量可以增长,而每样本计算量保持固定。
- 专家进行专业化,使一个架构能够处理异构输入。
- 已在Switch Transformer和Mixtral等系统中大规模验证。
- Top-K稀疏路由使推理成本远低于参数量相同的密集模型。
应用
- 在不增加推理成本的情况下扩展参数量的大型语言模型(例如Mixtral)。
- 大规模文本预测和分类。
- 高维连续特征上的预测任务,其中容量必须高效增长。
- 将异构输入路由到专业化子网络的条件计算架构。
使用方式
使用方式
该层包含许多并行的专家子网络,每个子网络都是一个小型前馈网络。专家们被训练成专业化,因此不同的输入会被路由到不同的专家。只有选定的专家才会处理给定的输入,这就是为什么总容量可以增长而每输入计算量不会增长的原因。
一个门控网络(路由器)为每个输入评估专家得分,并仅保留得分最高的K个专家。对这K个得分应用softmax函数,即可得到路由权重。在大规模训练期间,会应用一个路由器平衡损失,以确保负载在专家之间分散,而不是集中在少数几个热门专家上。
公式
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))选定专家的输出被组合成加权和,权重系数即为门控权重。这种稀疏组合是保持计算量恒定,同时扩展参数量(进而扩展模型容量)的关键。
公式
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)常见陷阱
- 省略路由器平衡损失,导致少数专家占据主导地位,其余专家保持空闲。
- 将MoE应用于小型数据集,而单一密集模型可以更可靠地进行训练。
- 低估稀疏训练所需的GPU和基础设施占地面积。
- 将专家数量视为免费容量,而未考虑路由不稳定性。
常见问题
为什么MoE在不增加计算量的情况下增加了参数量?
每个输入仅运行由路由器选出的Top-K个专家,因此尽管该层存储了许多专家,但每个样本仅接触少数几个。总容量随专家数量的增加而扩展,而每输入计算量大致保持固定。
路由器平衡损失的作用是什么?
如果不加干预,路由器倾向于将大多数输入发送给少数几个专家,而将其他专家置于未训练状态。平衡损失会惩罚不均匀的负载,从而使流量分散到所有专家,并实际利用全部容量。
MoE需要多少数据?
它适用于大规模场景——大约1000个样本或更多。低于此数量,路由器无法学会平衡的专家选择,训练会变得不稳定;在约500个样本以下,单一密集模型过拟合程度较低,是更稳妥的选择。
我需要特殊的硬件吗?
是的。MoE假定需要大规模训练基础设施和GPU集群,因为众多的专家和稀疏路由是为分布式、高吞吐量训练设计的。