Skip to content
Torna ai risultati

Mixture of Experts

Introdotto da
Shazeer, N. et al.
Anno
2017
Tipo
Sparse neural network architecture (conditional computation)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Mixture of Experts (MoE) è un'architettura di rete neurale sparsa, introdotta da Shazeer e colleghi nel 2017 con il livello MoE a gating sparso, in cui solo un sottoinsieme di sottoreti esperte viene attivato per ogni input.

Come si è visto in modelli come Switch Transformer e Mixtral, mantiene il costo computazionale fisso anche se il numero totale di parametri cresce.

L’intuizione alla base del metodo

Invece di elaborare ogni input attraverso un'unica enorme rete, MoE mantiene un pannello di reti esperte specializzate e un router che decide quali pochi esperti ogni input dovrebbe consultare. Poiché solo una manciata di esperti si attiva per input, il modello può gestire un numero enorme di parametri pur svolgendo all'incirca la stessa quantità di lavoro per esempio — proprio come consultare solo i due specialisti pertinenti a una domanda piuttosto che l'intero ospedale.

Storia

Il livello Mixture-of-Experts a gating sparso è stato introdotto da Shazeer e colleghi nel 2017 in 'Outrageously Large Neural Networks', che ha dimostrato come la computazione condizionale potesse scalare la capacità del modello di ordini di grandezza mantenendo la computazione all'incirca costante. L'idea è stata successivamente applicata ai modelli linguistici transformer — in particolare Switch Transformer e, nel 2024, Mixtral — stabilendo MoE come una via standard per modelli molto grandi ma efficienti.

Quando usarlo

Usa MoE per previsioni o classificazioni su larga scala su dati testuali e con feature continue quando hai dati sostanziosi (circa 1.000 osservazioni o più) e un'infrastruttura di addestramento su larga scala con un cluster GPU. Presuppone che venga applicata una loss di bilanciamento del router e che la pipeline di addestramento possa supportare il gating sparso. Al di sotto di circa 1.000 esempi il router non può imparare una selezione bilanciata degli esperti e l'addestramento è instabile; al di sotto di circa 500 il modello va in overfitting e un singolo modello denso è preferibile.

Limiti e considerazioni

  • Richiede un'infrastruttura di addestramento su larga scala e un cluster GPU.
  • Necessita di una loss di bilanciamento del router; senza di essa, il carico collassa su pochi esperti.
  • Su dati piccoli (n inferiore a circa 1.000) il router non può bilanciare la selezione degli esperti e l'addestramento è instabile.
  • Con pochissimi dati (n inferiore a circa 500) il modello va in overfitting e un singolo modello denso è sufficiente.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Disaccoppia la capacità del modello dal calcolo per input — i parametri totali possono crescere mentre la computazione per esempio rimane fissa.
  • Gli esperti si specializzano, permettendo a un'architettura di coprire input eterogenei.
  • Comprovato su larga scala in sistemi come Switch Transformer e Mixtral.
  • Il routing sparso top-K mantiene il costo di inferenza molto al di sotto di quello di un modello denso con un numero di parametri equivalente.

Applicazioni

  • Modelli linguistici di grandi dimensioni che scalano il numero di parametri senza scalare il costo di inferenza (es. Mixtral).
  • Previsione e classificazione di testo su larga scala.
  • Compiti di previsione su feature continue ad alta dimensionalità dove la capacità deve crescere in modo efficiente.
  • Architetture di computazione condizionale che instradano input eterogenei a sottoreti specializzate.

Come funziona

Come funziona

1

Il livello contiene molte sottoreti esperte parallele, ciascuna una piccola rete feed-forward. Gli esperti sono addestrati a specializzarsi, quindi input diversi vengono instradati a esperti diversi. Solo gli esperti selezionati elaborano un dato input, motivo per cui la capacità totale può crescere senza aumentare il calcolo per input.

2

Una rete di gating (router) valuta gli esperti per ogni input e mantiene solo i top-K. Una softmax su questi punteggi top-K produce i pesi di routing. Durante l'addestramento su larga scala viene applicata una loss di bilanciamento del router in modo che il carico sia distribuito tra gli esperti piuttosto che collassare su pochi preferiti.

Formula
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))
3

Gli output degli esperti selezionati sono combinati come una somma pesata, usando i pesi di gating come coefficienti. Questa combinazione sparsa è ciò che mantiene costante la computazione mentre il numero di parametri — e quindi la capacità del modello — aumenta.

Formula
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)

Errori comuni

  • Omettere la loss di bilanciamento del router, in modo che pochi esperti dominino e il resto rimanga inattivo.
  • Applicare MoE a dataset piccoli dove un singolo modello denso si addestrerebbe in modo più affidabile.
  • Sottostimare l'impronta di GPU e infrastruttura richiesta per l'addestramento sparso.
  • Trattare il conteggio degli esperti come capacità libera senza tenere conto dell'instabilità del routing.

Domande frequenti

Perché MoE aggiunge parametri senza aggiungere computazione?

Solo i top-K esperti selezionati dal router vengono eseguiti per ogni input, quindi anche se il livello memorizza molti esperti, ogni esempio ne tocca solo alcuni. La capacità totale scala con il numero di esperti mentre la computazione per input rimane all'incirca fissa.

A cosa serve la loss di bilanciamento del router?

Lasciato a sé stesso, il router tende a inviare la maggior parte degli input a un piccolo numero di esperti, lasciando gli altri non addestrati. Una loss di bilanciamento penalizza il carico non uniforme in modo che il traffico sia distribuito tra gli esperti e l'intera capacità sia effettivamente utilizzata.

Di quanti dati ha bisogno MoE?

È destinato a contesti su larga scala — circa 1.000 esempi o più. Al di sotto di tale soglia il router non può imparare una selezione bilanciata degli esperti e l'addestramento diventa instabile; con meno di circa 500 esempi un singolo modello denso va meno in overfitting ed è la scelta più sicura.

Ho bisogno di hardware speciale?

Sì. MoE presuppone un'infrastruttura di addestramento su larga scala e un cluster GPU, poiché i molti esperti e il routing sparso sono progettati per l'addestramento distribuito e ad alta produttività.

Metodi correlati

Fonti

  1. Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538

    Apri il riferimento della pubblicazione
    Copiato.
  2. Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.

    Apri il riferimento della pubblicazione
    Copiato.