Skip to content
検索結果に戻る

混合専門家モデル

提唱者
Shazeer, N. et al.
年
2017
種類
Sparse neural network architecture (conditional computation)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

エキスパートの混合(MoE)は、2017年にShazeerらによって導入されたスパースニューラルネットワークアーキテクチャであり、スパースゲート付きMoEレイヤーを備えています。このレイヤーでは、各入力に対してエキスパートサブネットワークのサブセットのみがアクティブになります。Switch TransformerやMixtralのようなモデルに見られるように、総パラメータ数が増加しても計算コストは一定に保たれます。

手法の背後にある直感

各入力を1つの巨大なネットワークで処理する代わりに、MoEは専門化されたエキスパートネットワークのパネルと、各入力がどの少数エキスパートに相談すべきかを決定するルーターを保持します。入力ごとに少数のエキスパートしか起動しないため、モデルは膨大な数のパラメータを保持しながら、例あたりの作業量はほぼ同じに保つことができます。これは、病院全体に相談するのではなく、質問に関連する2人の専門家にのみ相談するようなものです。

歴史学

スパースゲート付きエキスパート混合レイヤーは、2017年にShazeerらによって「Outrageously Large Neural Networks」で導入されました。この論文では、条件付き計算が計算量をほぼ一定に保ちながらモデル容量を数桁スケールアップできることが示されました。このアイデアは後にTransformer言語モデル、特にSwitch Transformer、そして2024年にはMixtralに組み込まれ、MoEは非常に大規模でありながら効率的なモデルへの標準的なルートとして確立されました。

使うべき場面

大量のデータ(約1,000件以上の観測値)とGPUクラスターを備えた大規模トレーニングインフラストラクチャがあり、テキストおよび連続特徴データに対する大規模な予測または分類にMoEを使用します。ルーターのバランス損失が適用され、トレーニングパイプラインがスパースゲーティングをサポートできることを前提としています。約1,000件未満の例では、ルーターはバランスの取れたエキスパート選択を学習できず、トレーニングは不安定になります。約500件未満では、モデルは過学習し、単一の密なモデルが好ましいです。

限界と注意点

  • 大規模トレーニングインフラストラクチャとGPUクラスターが必要です。
  • ルーターのバランス損失が必要です。それがないと、負荷が少数のエキスパートに集中します。
  • 小規模データ(nが約1,000未満)では、ルーターはエキスパート選択のバランスを取ることができず、トレーニングは不安定になります。
  • 非常に少ないデータ(nが約500未満)では、モデルは過学習し、単一の密なモデルで十分です。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • モデル容量と入力あたりの計算量を分離 — 総パラメータ数は増加しても、例あたりの計算量は一定に保たれます。
  • エキスパートが専門化することで、1つのアーキテクチャで異種入力をカバーできます。
  • Switch TransformerやMixtralなどのシステムで大規模に実証済み。
  • 上位K個のスパースルーティングにより、同等のパラメータ数を持つ密なモデルよりも推論コストが大幅に低くなります。

応用

  • 推論コストをスケールアップせずにパラメータ数をスケールアップする大規模言語モデル(例:Mixtral)。
  • 大規模なテキスト予測および分類。
  • 容量を効率的に増やす必要がある高次元連続特徴に対する予測タスク。
  • 異種入力を専門化されたサブネットワークにルーティングする条件付き計算アーキテクチャ。

使い方

使い方

1

このレイヤーは、多数の並列エキスパートサブネットワークを保持しており、それぞれが小さなフィードフォワードネットワークです。エキスパートは専門化するように訓練されるため、異なる入力は異なるエキスパートにルーティングされます。選択されたエキスパートのみが特定の入力を処理するため、入力あたりの計算量を増やさずに総容量を増やすことができます。

2

ゲーティングネットワーク(ルーター)は、各入力のエキスパートをスコアリングし、上位K個のみを保持します。これらの上位K個のスコアに対するソフトマックス関数がルーティングウェイトを生成します。大規模トレーニング中には、ルーターのバランス損失が適用され、負荷が少数の好ましいエキスパートに集中するのではなく、エキスパート全体に分散されます。

数式
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))
3

選択されたエキスパートの出力は、ゲーティングウェイトを係数として使用した加重和として結合されます。このスパースな結合により、パラメータ数、したがってモデル容量が増加しても、計算量は一定に保たれます。

数式
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)

よくある落とし穴

  • ルーターのバランス損失を省略すること。これにより、少数のエキスパートが支配的になり、残りはアイドル状態のままになります。
  • 単一の密なモデルの方がより安定してトレーニングできる小規模データセットにMoEを適用すること。
  • スパーストレーニングに必要なGPUおよびインフラストラクチャのフットプリントを過小評価すること。
  • ルーティングの不安定性を考慮せずに、エキスパート数を無料の容量と見なすこと。

よくある質問

MoEは、計算量を増やさずにパラメータをどのように追加しますか?

各入力に対してルーターによって選択された上位K個のエキスパートのみが実行されるため、レイヤーは多数のエキスパートを格納していても、各例はごく少数にしか触れません。総容量はエキスパート数とともにスケールアップしますが、入力あたりの計算量はほぼ一定に保たれます。

ルーターのバランス損失は何のためにありますか?

そのままにしておくと、ルーターはほとんどの入力を少数のエキスパートに送信する傾向があり、他のエキスパートはトレーニングされません。バランス損失は、負荷が不均一になることを罰し、トラフィックがエキスパート全体に分散され、完全な容量が実際に使用されるようにします。

MoEにはどのくらいのデータが必要ですか?

大規模な設定(約1,000件以上の例)を対象としています。それ未満では、ルーターはバランスの取れたエキスパート選択を学習できず、トレーニングは不安定になります。約500件未満では、単一の密なモデルは過学習が少なく、より安全な選択肢です。

特別なハードウェアは必要ですか?

はい。MoEは、多数のエキスパートとスパースルーティングが分散型、高スループットトレーニング用に設計されているため、大規模トレーニングインフラストラクチャとGPUクラスターを前提としています。

関連する手法

参考文献

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538

    出版物の文献を開く
    コピーしました。
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.

    出版物の文献を開く
    コピーしました。