Mixture of Experts
- Eingeführt von
- Shazeer, N. et al.
- Jahr
- 2017
- Typ
- Sparse neural network architecture (conditional computation)
Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen
Was leistet sie?
Mixture of Experts (MoE) ist eine sparse neuronale Netzwerkarchitektur, die 2017 von Shazeer und Kollegen mit der sparsely-gated MoE-Schicht eingeführt wurde, bei der für jede Eingabe nur eine Untermenge von Experten-Subnetzwerken aktiviert wird.
Wie bei Modellen wie Switch Transformer und Mixtral zu sehen ist, hält sie die Berechnungskosten konstant, auch wenn die Gesamtzahl der Parameter wächst.
Die Intuition hinter der Methode
Anstatt jede Eingabe durch ein einziges riesiges Netzwerk zu leiten, unterhält MoE ein Gremium spezialisierter Expertennetzwerke und einen Router, der entscheidet, welche wenigen Experten jede Eingabe konsultieren soll. Da pro Eingabe nur eine Handvoll Experten aktiv wird, kann das Modell eine enorme Anzahl von Parametern aufweisen, während es pro Beispiel ungefähr die gleiche Menge an Arbeit leistet – ähnlich wie die Konsultation nur der zwei für eine Frage relevanten Spezialisten anstatt des gesamten Krankenhauses.
Geschichte
Die sparsely-gated Mixture-of-Experts-Schicht wurde 2017 von Shazeer und Kollegen in „Outrageously Large Neural Networks“ eingeführt, die zeigten, dass konditionale Berechnung die Modellkapazität um Größenordnungen skalieren konnte, während der Rechenaufwand ungefähr konstant blieb. Die Idee wurde später in Transformer-Sprachmodelle – insbesondere Switch Transformer und 2024 Mixtral – übertragen und etablierte MoE als Standardweg zu sehr großen und dennoch effizienten Modellen.
Wann wird sie eingesetzt?
Verwenden Sie MoE für großskalige Vorhersagen oder Klassifikationen auf Text- und kontinuierlichen Feature-Daten, wenn Sie umfangreiche Daten (etwa 1.000 Beobachtungen oder mehr) und eine großskalige Trainingsinfrastruktur mit einem GPU-Cluster haben. Es wird davon ausgegangen, dass eine Router-Balancing-Loss angewendet wird und dass die Trainingspipeline sparse Gating unterstützen kann. Unter etwa 1.000 Beispielen kann der Router keine ausgewogene Expertenauswahl lernen und das Training ist instabil; unter etwa 500 überfittet das Modell und ein einzelnes dichtes Modell ist vorzuziehen.
Grenzen und Hinweise
- Erfordert eine großskalige Trainingsinfrastruktur und einen GPU-Cluster.
- Benötigt eine Router-Balancing-Loss; ohne sie kollabiert die Last auf wenige Experten.
- Bei kleinen Datenmengen (n unter etwa 1.000) kann der Router keine ausgewogene Expertenauswahl treffen und das Training ist instabil.
- Bei sehr wenigen Daten (n unter etwa 500) überfittet das Modell und ein einzelnes dichtes Modell ist ausreichend.
Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.
Stärken
- Entkoppelt die Modellkapazität vom Rechenaufwand pro Eingabe – die Gesamtparameter können wachsen, während die Berechnung pro Beispiel konstant bleibt.
- Experten spezialisieren sich, wodurch eine Architektur heterogene Eingaben abdecken kann.
- Bewährt in großem Maßstab in Systemen wie Switch Transformer und Mixtral.
- Top-K sparse Routing hält die Inferenzkosten weit unter denen eines dichten Modells gleicher Parameteranzahl.
Anwendungen
- Große Sprachmodelle, die die Parameteranzahl skalieren, ohne die Inferenzkosten zu skalieren (z. B. Mixtral).
- Großskalige Textvorhersage und -klassifikation.
- Vorhersageaufgaben über hochdimensionale kontinuierliche Merkmale, bei denen die Kapazität effizient wachsen muss.
- Konditionale-Berechnungs-Architekturen, die heterogene Eingaben an spezialisierte Subnetzwerke weiterleiten.
So funktioniert es
So funktioniert es
Die Schicht enthält viele parallele Experten-Subnetzwerke, von denen jedes ein kleines Feed-Forward-Netzwerk ist. Die Experten werden darauf trainiert, sich zu spezialisieren, sodass unterschiedliche Eingaben an unterschiedliche Experten weitergeleitet werden. Nur die ausgewählten Experten verarbeiten eine gegebene Eingabe, weshalb die Gesamtkapazität wachsen kann, ohne dass der Rechenaufwand pro Eingabe steigt.
Ein Gating-Netzwerk (Router) bewertet die Experten für jede Eingabe und behält nur die Top-K bei. Eine Softmax-Funktion über diese Top-K-Bewertungen erzeugt die Routing-Gewichte. Während des großskaligen Trainings wird eine Router-Balancing-Loss angewendet, damit die Last über die Experten verteilt wird, anstatt auf wenige Favoriten zu kollabieren.
Formel
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))Die Ausgaben der ausgewählten Experten werden als gewichtete Summe kombiniert, wobei die Gating-Gewichte als Koeffizienten verwendet werden. Diese sparse Kombination ist es, die die Berechnung konstant hält, während die Parameteranzahl – und damit die Modellkapazität – skaliert wird.
Formel
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)Häufige Fallstricke
- Das Weglassen der Router-Balancing-Loss, sodass einige wenige Experten dominieren und der Rest untätig bleibt.
- Anwendung von MoE auf kleine Datensätze, bei denen ein einzelnes dichtes Modell zuverlässiger trainieren würde.
- Unterschätzung des GPU- und Infrastruktur-Footprints, der für sparse Training erforderlich ist.
- Behandlung der Expertenanzahl als freie Kapazität, ohne die Routing-Instabilität zu berücksichtigen.
Häufig gestellte Fragen
Warum fügt MoE Parameter hinzu, ohne den Rechenaufwand zu erhöhen?
Nur die vom Router ausgewählten Top-K-Experten werden für jede Eingabe ausgeführt, sodass, obwohl die Schicht viele Experten speichert, jedes Beispiel nur wenige berührt. Die Gesamtkapazität skaliert mit der Anzahl der Experten, während die Berechnung pro Eingabe ungefähr konstant bleibt.
Wozu dient die Router-Balancing-Loss?
Alleine gelassen neigt der Router dazu, die meisten Eingaben an eine kleine Anzahl von Experten zu senden, wodurch die anderen ungenutzt bleiben. Eine Balancing-Loss bestraft ungleichmäßige Last, sodass der Traffic über die Experten verteilt und die volle Kapazität tatsächlich genutzt wird.
Wie viele Daten benötigt MoE?
Es ist für großskalige Einstellungen gedacht – etwa 1.000 Beispiele oder mehr. Darunter kann der Router keine ausgewogene Expertenauswahl lernen und das Training wird instabil; bei unter etwa 500 Beispielen überfittet ein einzelnes dichtes Modell weniger und ist die sicherere Wahl.
Benötige ich spezielle Hardware?
Ja. MoE setzt eine großskalige Trainingsinfrastruktur und einen GPU-Cluster voraus, da die vielen Experten und das sparse Routing für verteiltes Training mit hohem Durchsatz konzipiert sind.
Verwandte Methoden
Quellen
Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538
Publikationsreferenz öffnenKopiert.Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.
Publikationsreferenz öffnenKopiert.