Przejdź do treści
Wróć do wyników wyszukiwania

Mixture of Experts

Autor metody
Shazeer, N. et al.
Rok
2017
Typ
Sparse neural network architecture (conditional computation)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Mixture of Experts (MoE) to rzadka architektura sieci neuronowych, wprowadzona przez Shazeera i współpracowników w 2017 roku wraz z warstwą MoE z rzadkim bramkowaniem (sparsely-gated MoE), w której dla każdego wejścia aktywowany jest tylko podzbiór podsieci eksperckich.

Jak widać w modelach takich jak Switch Transformer i Mixtral, koszt obliczeniowy pozostaje stały, nawet gdy rośnie całkowita liczba parametrów.

Intuicja stojąca za metodą

Zamiast przepuszczać każde wejście przez jedną ogromną sieć, MoE utrzymuje panel wyspecjalizowanych sieci eksperckich oraz router, który decyduje, z którymi kilkoma ekspertami dane wejście powinno się skonsultować. Ponieważ dla każdego wejścia aktywuje się tylko garstka ekspertów, model może przechowywać ogromną liczbę parametrów, wykonując mniej więcej tyle samo pracy na przykład – podobnie jak konsultowanie się tylko z dwoma specjalistami istotnymi dla danego pytania, zamiast z całym szpitalem.

Historia

Warstwa Mixture-of-Experts z rzadkim bramkowaniem została wprowadzona przez Shazeera i współpracowników w 2017 roku w pracy „Outrageously Large Neural Networks”, która pokazała, że obliczenia warunkowe mogą skalować pojemność modelu o rzędy wielkości, utrzymując obliczenia na mniej więcej stałym poziomie. Pomysł ten został później przeniesiony do transformatorowych modeli językowych – w szczególności Switch Transformer i, w 2024 roku, Mixtral – ustanawiając MoE jako standardową drogę do bardzo dużych, a jednocześnie wydajnych modeli.

Kiedy stosować

Używaj MoE do prognozowania lub klasyfikacji na dużą skalę na danych tekstowych i ciągłych, gdy masz znaczną ilość danych (około 1000 obserwacji lub więcej) oraz infrastrukturę do trenowania na dużą skalę z klastrem GPU. Zakłada ona zastosowanie straty równoważącej router i możliwość obsługi rzadkiego bramkowania przez potok trenowania. Poniżej około 1000 przykładów router nie jest w stanie nauczyć się zrównoważonego wyboru ekspertów, a trenowanie jest niestabilne; poniżej około 500 przykładów model przeucza się i preferowany jest pojedynczy gęsty model.

Ograniczenia i uwagi

  • Wymaga infrastruktury do trenowania na dużą skalę i klastra GPU.
  • Potrzebuje straty równoważącej router; bez niej obciążenie skupia się na kilku ekspertach.
  • Na małych danych (n poniżej około 1000) router nie jest w stanie zrównoważyć wyboru ekspertów, a trenowanie jest niestabilne.
  • Przy bardzo małej ilości danych (n poniżej około 500) model przeucza się, a wystarczy pojedynczy gęsty model.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Rozdziela pojemność modelu od obliczeń na wejście – całkowita liczba parametrów może rosnąć, podczas gdy obliczenia na przykład pozostają stałe.
  • Eksperci specjalizują się, pozwalając jednej architekturze na obsługę heterogenicznych wejść.
  • Sprawdzone na dużą skalę w systemach takich jak Switch Transformer i Mixtral.
  • Rzadkie bramkowanie Top-K utrzymuje koszt wnioskowania znacznie poniżej kosztu gęstego modelu o równej liczbie parametrów.

Zastosowania

  • Duże modele językowe, które skalują liczbę parametrów bez skalowania kosztów wnioskowania (np. Mixtral).
  • Prognozowanie i klasyfikacja tekstu na dużą skalę.
  • Zadania prognozowania na wysokowymiarowych cechach ciągłych, gdzie pojemność musi rosnąć efektywnie.
  • Architektury obliczeń warunkowych, które kierują heterogeniczne wejścia do wyspecjalizowanych podsieci.

Jak to działa

Jak to działa

1

Warstwa zawiera wiele równoległych podsieci eksperckich, z których każda jest małą siecią feed-forward. Eksperci są trenowani do specjalizacji, więc różne wejścia są kierowane do różnych ekspertów. Tylko wybrani eksperci przetwarzają dane wejście, dlatego całkowita pojemność może rosnąć bez zwiększania obliczeń na wejście.

2

Sieć bramkująca (router) ocenia ekspertów dla każdego wejścia i zachowuje tylko K najlepszych. Funkcja softmax na tych K najlepszych ocenach generuje wagi routingu. Podczas trenowania na dużą skalę stosuje się stratę równoważącą router (router balancing loss), aby obciążenie było rozłożone na ekspertów, zamiast skupiać się na kilku ulubionych.

Wzór
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))
3

Wyniki wybranych ekspertów są łączone jako suma ważona, używając wag bramkowania jako współczynników. Ta rzadka kombinacja sprawia, że obliczenia pozostają stałe, podczas gdy liczba parametrów – a tym samym pojemność modelu – rośnie.

Wzór
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)

Częste pułapki

  • Pominięcie straty równoważącej router, co prowadzi do dominacji kilku ekspertów, a reszta pozostaje nieaktywna.
  • Stosowanie MoE do małych zbiorów danych, gdzie pojedynczy gęsty model trenowałby się bardziej niezawodnie.
  • Niedoszacowanie zapotrzebowania na moc obliczeniową GPU i infrastrukturę wymaganą do trenowania rzadkiego modelu.
  • Traktowanie liczby ekspertów jako darmowej pojemności bez uwzględnienia niestabilności routingu.

Najczęściej zadawane pytania

Dlaczego MoE dodaje parametry bez dodawania obliczeń?

Tylko K najlepszych ekspertów wybranych przez router działa dla każdego wejścia, więc mimo że warstwa przechowuje wielu ekspertów, każdy przykład dotyka tylko kilku. Całkowita pojemność skaluje się wraz z liczbą ekspertów, podczas gdy obliczenia na wejście pozostają mniej więcej stałe.

Do czego służy strata równoważąca router?

Pozostawiony samemu sobie, router ma tendencję do kierowania większości wejść do niewielkiej liczby ekspertów, pozostawiając innych nietrenowanych. Strata równoważąca karze nierównomierne obciążenie, tak aby ruch był rozłożony na ekspertów i pełna pojemność była faktycznie wykorzystana.

Ile danych potrzebuje MoE?

Jest przeznaczony do zastosowań na dużą skalę – około 1000 przykładów lub więcej. Poniżej tej wartości router nie jest w stanie nauczyć się zrównoważonego wyboru ekspertów, a trenowanie staje się niestabilne; przy mniej niż około 500 przykładach pojedynczy gęsty model przeucza się mniej i jest bezpieczniejszym wyborem.

Czy potrzebuję specjalnego sprzętu?

Tak. MoE zakłada infrastrukturę do trenowania na dużą skalę i klaster GPU, ponieważ wielu ekspertów i rzadkie routowanie są zaprojektowane do rozproszonego trenowania o wysokiej przepustowości.

Pokrewne metody

Źródła

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.

    Otwórz odnośnik do publikacji
    Skopiowano.