Skip to content
Retour aux résultats

Mélange d'experts

Introduite par
Shazeer, N. et al.
Année
2017
Type
Sparse neural network architecture (conditional computation)

Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais

Taille de police

À quoi sert-elle ?

Le Mélange d'experts (MoE) est une architecture de réseau neuronal creux, introduite par Shazeer et ses collègues en 2017 avec la couche MoE à éclusage creux (sparsely-gated), dans laquelle seul un sous-ensemble de sous-réseaux experts est activé pour chaque entrée.

Comme observé dans des modèles tels que Switch Transformer et Mixtral, il maintient le coût de calcul fixe même lorsque le nombre total de paramètres augmente.

L’intuition derrière la méthode

Au lieu de faire passer chaque entrée par un seul réseau énorme, le MoE conserve un ensemble de réseaux experts spécialisés et un routeur qui décide à quels experts chaque entrée doit faire appel. Étant donné que seule une poignée d'experts s'active par entrée, le modèle peut contenir un nombre énorme de paramètres tout en effectuant à peu près la même quantité de travail par exemple — un peu comme consulter seulement les deux spécialistes pertinents pour une question plutôt que l'hôpital entier.

Histoire

La couche de Mélange d'experts à éclusage creux (sparsely-gated Mixture-of-Experts) a été introduite par Shazeer et ses collègues en 2017 dans 'Outrageously Large Neural Networks', qui a montré que le calcul conditionnel pouvait augmenter la capacité du modèle par ordres de grandeur tout en maintenant le calcul à peu près constant. L'idée a ensuite été intégrée dans les modèles de langage Transformer — notamment Switch Transformer et, en 2024, Mixtral — établissant le MoE comme une voie standard vers des modèles très grands mais efficaces.

Quand l’utiliser

Utilisez le MoE pour la prédiction ou la classification à grande échelle sur des données textuelles et des données continues lorsque vous disposez de données substantielles (environ 1 000 observations ou plus) et d'une infrastructure d'entraînement à grande échelle avec un cluster GPU. Il suppose qu'une perte d'équilibrage du routeur est appliquée et que le pipeline d'entraînement peut supporter l'éclusage creux. En dessous d'environ 1 000 exemples, le routeur ne peut pas apprendre une sélection équilibrée des experts et l'entraînement est instable ; en dessous d'environ 500, le modèle surajuste (overfits) et un seul modèle dense est préférable.

Limites et points d’attention

  • Nécessite une infrastructure d'entraînement à grande échelle et un cluster GPU.
  • Nécessite une perte d'équilibrage du routeur ; sans elle, la charge s'effondre sur quelques experts.
  • Sur de petites données (n inférieur à environ 1 000), le routeur ne peut pas équilibrer la sélection des experts et l'entraînement est instable.
  • Avec très peu de données (n inférieur à environ 500), le modèle surajuste et un seul modèle dense suffit.

Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.

Points forts

  • Dissocie la capacité du modèle du calcul par entrée — le nombre total de paramètres peut augmenter tandis que le calcul par exemple reste fixe.
  • Les experts se spécialisent, permettant à une architecture de couvrir des entrées hétérogènes.
  • Prouvé à grande échelle dans des systèmes tels que Switch Transformer et Mixtral.
  • Le routage creux top-K maintient le coût d'inférence bien en deçà de celui d'un modèle dense de nombre de paramètres égal.

Applications

  • Grands modèles de langage qui augmentent le nombre de paramètres sans augmenter le coût d'inférence (par ex. Mixtral).
  • Prédiction et classification de texte à grande échelle.
  • Tâches de prédiction sur des caractéristiques continues de haute dimension où la capacité doit croître efficacement.
  • Architectures à calcul conditionnel qui routent des entrées hétérogènes vers des sous-réseaux spécialisés.

Comment ça marche

Comment ça marche

1

La couche contient de nombreux sous-réseaux experts parallèles, chacun étant un petit réseau feed-forward. Les experts sont entraînés à se spécialiser, de sorte que différentes entrées finissent par être routées vers différents experts. Seuls les experts sélectionnés traitent une entrée donnée, ce qui explique pourquoi la capacité totale peut croître sans augmenter le calcul par entrée.

2

Un réseau d'éclusage (routeur) évalue les experts pour chaque entrée et ne conserve que les K meilleurs (top-K). Un softmax appliqué à ces scores des K meilleurs produit les poids de routage. Lors de l'entraînement à grande échelle, une perte d'équilibrage du routeur (router balancing loss) est appliquée afin que la charge soit répartie entre les experts plutôt que de s'effondrer sur quelques favoris.

Formule
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))
3

Les sorties des experts sélectionnés sont combinées sous forme de somme pondérée, en utilisant les poids d'éclusage comme coefficients. Cette combinaison creuse est ce qui maintient le calcul constant tandis que le nombre de paramètres — et donc la capacité du modèle — augmente.

Formule
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)

Pièges courants

  • Omettre la perte d'équilibrage du routeur, de sorte que quelques experts dominent et que les autres restent inactifs.
  • Appliquer le MoE à de petits jeux de données où un seul modèle dense s'entraînerait de manière plus fiable.
  • Sous-estimer l'empreinte GPU et infrastructure requise pour l'entraînement creux.
  • Considérer le nombre d'experts comme une capacité gratuite sans tenir compte de l'instabilité du routage.

Questions fréquentes

Pourquoi le MoE ajoute-t-il des paramètres sans ajouter de calcul ?

Seuls les K meilleurs experts sélectionnés par le routeur s'exécutent pour chaque entrée, donc même si la couche stocke de nombreux experts, chaque exemple n'en touche que quelques-uns. La capacité totale augmente avec le nombre d'experts tandis que le calcul par entrée reste à peu près fixe.

À quoi sert la perte d'équilibrage du routeur ?

Laissé à lui-même, le routeur a tendance à envoyer la plupart des entrées à un petit nombre d'experts, laissant les autres non entraînés. Une perte d'équilibrage pénalise une charge inégale afin que le trafic soit réparti entre les experts et que la pleine capacité soit effectivement utilisée.

Combien de données le MoE nécessite-t-il ?

Il est destiné aux contextes à grande échelle — environ 1 000 exemples ou plus. En dessous, le routeur ne peut pas apprendre une sélection équilibrée des experts et l'entraînement devient instable ; avec moins d'environ 500 exemples, un seul modèle dense surajuste moins et constitue le choix le plus sûr.

Ai-je besoin de matériel spécial ?

Oui. Le MoE suppose une infrastructure d'entraînement à grande échelle et un cluster GPU, car les nombreux experts et le routage creux sont conçus pour l'entraînement distribué à haut débit.

Méthodes associées

Sources

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538

    Ouvrir la référence de la publication
    Copié.
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.

    Ouvrir la référence de la publication
    Copié.