Skip to content
返回搜索结果

专家混合模型

提出者
Shazeer, N. et al.
年份
2017
类型
Sparse neural network architecture (conditional computation)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

专家混合模型(Mixture of Experts, MoE)是一种稀疏神经网络架构,由Shazeer及其同事于2017年通过稀疏门控MoE层首次提出。在该架构中,每个输入仅激活一部分专家子网络。如Switch Transformer和Mixtral等模型所示,MoE可以在总参数量增长的情况下保持计算成本固定。

方法背后的直觉

MoE模型不将每个输入都通过一个巨大的网络处理,而是维护一个由专业化专家网络组成的集合,并由一个路由器决定每个输入应咨询哪些少数专家。由于每个输入仅激活少数专家,因此模型可以拥有海量参数,同时处理每个样本的计算量大致相同——这好比是咨询与问题相关的两位专家,而不是整个医院的医生。

历史学

稀疏门控专家混合层由Shazeer及其同事于2017年在论文《Outrageously Large Neural Networks》中提出,该论文表明条件计算可以在保持计算量大致恒定的情况下,将模型容量扩展几个数量级。这一思想后来被引入到Transformer语言模型中——特别是Switch Transformer,以及在2024年的Mixtral中——使MoE成为实现非常大但高效模型的一种标准途径。

何时使用

当您拥有大量数据(约1000个观测值或更多)以及具备GPU集群的大规模训练基础设施时,可将MoE用于文本和连续特征数据的大规模预测或分类任务。它假定应用了路由器平衡损失,并且训练流水线能够支持稀疏门控。在低于约1000个样本时,路由器无法学会平衡的专家选择,训练会不稳定;在低于约500个样本时,模型会出现过拟合,此时更倾向于使用单一的密集模型。

局限与注意事项

  • 需要大规模训练基础设施和GPU集群。
  • 需要路由器平衡损失;否则,负载会集中在少数几个专家身上。
  • 在小数据集(n低于约1000)上,路由器无法平衡专家选择,训练不稳定。
  • 在数据量非常少(n低于约500)的情况下,模型会过拟合,此时单一密集模型就足够了。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 将模型容量与每输入计算量解耦——总参数量可以增长,而每样本计算量保持固定。
  • 专家进行专业化,使一个架构能够处理异构输入。
  • 已在Switch Transformer和Mixtral等系统中大规模验证。
  • Top-K稀疏路由使推理成本远低于参数量相同的密集模型。

应用

  • 在不增加推理成本的情况下扩展参数量的大型语言模型(例如Mixtral)。
  • 大规模文本预测和分类。
  • 高维连续特征上的预测任务,其中容量必须高效增长。
  • 将异构输入路由到专业化子网络的条件计算架构。

使用方式

使用方式

1

该层包含许多并行的专家子网络,每个子网络都是一个小型前馈网络。专家们被训练成专业化,因此不同的输入会被路由到不同的专家。只有选定的专家才会处理给定的输入,这就是为什么总容量可以增长而每输入计算量不会增长的原因。

2

一个门控网络(路由器)为每个输入评估专家得分,并仅保留得分最高的K个专家。对这K个得分应用softmax函数,即可得到路由权重。在大规模训练期间,会应用一个路由器平衡损失,以确保负载在专家之间分散,而不是集中在少数几个热门专家上。

公式
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))
3

选定专家的输出被组合成加权和,权重系数即为门控权重。这种稀疏组合是保持计算量恒定,同时扩展参数量(进而扩展模型容量)的关键。

公式
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)

常见陷阱

  • 省略路由器平衡损失,导致少数专家占据主导地位,其余专家保持空闲。
  • 将MoE应用于小型数据集,而单一密集模型可以更可靠地进行训练。
  • 低估稀疏训练所需的GPU和基础设施占地面积。
  • 将专家数量视为免费容量,而未考虑路由不稳定性。

常见问题

为什么MoE在不增加计算量的情况下增加了参数量?

每个输入仅运行由路由器选出的Top-K个专家,因此尽管该层存储了许多专家,但每个样本仅接触少数几个。总容量随专家数量的增加而扩展,而每输入计算量大致保持固定。

路由器平衡损失的作用是什么?

如果不加干预,路由器倾向于将大多数输入发送给少数几个专家,而将其他专家置于未训练状态。平衡损失会惩罚不均匀的负载,从而使流量分散到所有专家,并实际利用全部容量。

MoE需要多少数据?

它适用于大规模场景——大约1000个样本或更多。低于此数量,路由器无法学会平衡的专家选择,训练会变得不稳定;在约500个样本以下,单一密集模型过拟合程度较低,是更稳妥的选择。

我需要特殊的硬件吗?

是的。MoE假定需要大规模训练基础设施和GPU集群,因为众多的专家和稀疏路由是为分布式、高吞吐量训练设计的。

相关方法

参考文献

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538

    打开出版物文献
    已复制。
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.

    打开出版物文献
    已复制。