Mistura de Especialistas
- Proposto por
- Shazeer, N. et al.
- Ano
- 2017
- Tipo
- Sparse neural network architecture (conditional computation)
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Mistura de Especialistas (MoE) é uma arquitetura de rede neural esparsa, introduzida por Shazeer e colegas em 2017 com a camada MoE esparsamente-comutável (sparsely-gated), na qual apenas um subconjunto de sub-redes de especialistas é ativado para cada entrada.
Como visto em modelos como Switch Transformer e Mixtral, mantém o custo computacional fixo mesmo com o aumento do número total de parâmetros.
A intuição por trás do método
Em vez de executar cada entrada através de uma única rede enorme, MoE mantém um painel de redes de especialistas especializadas e um roteador que decide quais poucos especialistas cada entrada deve consultar. Como apenas um punhado de especialistas é ativado por entrada, o modelo pode carregar um número enorme de parâmetros enquanto realiza aproximadamente a mesma quantidade de trabalho por exemplo — muito parecido com consultar apenas os dois especialistas relevantes para uma pergunta em vez de todo o hospital.
História
A camada de Mistura de Especialistas esparsamente-comutável foi introduzida por Shazeer e colegas em 2017 em 'Outrageously Large Neural Networks', que mostrou que a computação condicional poderia escalar a capacidade do modelo em ordens de magnitude, mantendo a computação aproximadamente constante. A ideia foi posteriormente incorporada a modelos de linguagem transformer — notavelmente Switch Transformer e, em 2024, Mixtral — estabelecendo MoE como um caminho padrão para modelos muito grandes, porém eficientes.
Quando usar
Use MoE para predição ou classificação em larga escala em dados de texto e características contínuas quando você tiver dados substanciais (cerca de 1.000 observações ou mais) e infraestrutura de treinamento em larga escala com um cluster de GPU. Assume que uma perda de balanceamento do roteador é aplicada e que o pipeline de treinamento pode suportar comutação esparsa. Abaixo de cerca de 1.000 exemplos, o roteador não consegue aprender a seleção balanceada de especialistas e o treinamento é instável; abaixo de cerca de 500, o modelo sofre overfitting e um único modelo denso é preferível.
Limitações e considerações
- Requer infraestrutura de treinamento em larga escala e um cluster de GPU.
- Necessita de uma perda de balanceamento do roteador; sem ela, a carga colapsa em poucos especialistas.
- Em dados pequenos (n abaixo de cerca de 1.000), o roteador não consegue balancear a seleção de especialistas e o treinamento é instável.
- Com muito poucos dados (n abaixo de cerca de 500), o modelo sofre overfitting e um único modelo denso é suficiente.
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Desacopla a capacidade do modelo da computação por entrada — os parâmetros totais podem crescer enquanto a computação por exemplo permanece fixa.
- Os especialistas se especializam, permitindo que uma arquitetura cubra entradas heterogêneas.
- Comprovado em escala em sistemas como Switch Transformer e Mixtral.
- O roteamento esparso top-K mantém o custo de inferência muito abaixo do de um modelo denso de igual contagem de parâmetros.
Aplicações
- Grandes modelos de linguagem que escalam a contagem de parâmetros sem escalar o custo de inferência (por exemplo, Mixtral).
- Predição e classificação de texto em larga escala.
- Tarefas de predição sobre características contínuas de alta dimensionalidade onde a capacidade deve crescer eficientemente.
- Arquiteturas de computação condicional que roteiam entradas heterogêneas para sub-redes especializadas.
Como funciona
Como funciona
A camada contém muitas sub-redes de especialistas paralelas, cada uma uma pequena rede feed-forward. Os especialistas são treinados para se especializar, de modo que diferentes entradas acabam sendo roteadas para diferentes especialistas. Apenas os especialistas selecionados processam uma determinada entrada, razão pela qual a capacidade total pode crescer sem aumentar a computação por entrada.
Uma rede de comutação (roteador) pontua os especialistas para cada entrada e mantém apenas os top-K. Um softmax sobre essas pontuações top-K produz os pesos de roteamento. Durante o treinamento em larga escala, uma perda de balanceamento do roteador é aplicada para que a carga seja distribuída entre os especialistas, em vez de colapsar em alguns favoritos.
Fórmula
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))As saídas dos especialistas selecionados são combinadas como uma soma ponderada, usando os pesos de comutação como coeficientes. Essa combinação esparsa é o que mantém a computação constante enquanto o número de parâmetros — e, portanto, a capacidade do modelo — escala.
Fórmula
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)Erros comuns
- Omitir a perda de balanceamento do roteador, de modo que alguns especialistas dominem e os outros permaneçam ociosos.
- Aplicar MoE a conjuntos de dados pequenos onde um único modelo denso treinaria de forma mais confiável.
- Subestimar a pegada de GPU e infraestrutura necessária para treinamento esparso.
- Tratar a contagem de especialistas como capacidade livre sem contabilizar a instabilidade do roteamento.
Perguntas frequentes
Por que MoE adiciona parâmetros sem adicionar computação?
Apenas os top-K especialistas selecionados pelo roteador são executados para cada entrada, então, embora a camada armazene muitos especialistas, cada exemplo toca apenas alguns. A capacidade total escala com o número de especialistas, enquanto a computação por entrada permanece aproximadamente fixa.
Para que serve a perda de balanceamento do roteador?
Deixado sozinho, o roteador tende a enviar a maioria das entradas para um pequeno número de especialistas, deixando os outros sem treinamento. Uma perda de balanceamento penaliza a carga desigual para que o tráfego seja distribuído entre os especialistas e a capacidade total seja realmente utilizada.
Quanta dados MoE precisa?
É destinado a configurações em larga escala — aproximadamente 1.000 exemplos ou mais. Abaixo disso, o roteador não consegue aprender a seleção balanceada de especialistas e o treinamento se torna instável; com menos de cerca de 500 exemplos, um único modelo denso sofre menos overfitting e é a escolha mais segura.
Preciso de hardware especial?
Sim. MoE assume infraestrutura de treinamento em larga escala e um cluster de GPU, pois os muitos especialistas e o roteamento esparso são projetados para treinamento distribuído e de alto rendimento.
Métodos relacionados
Fontes
Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538
Abrir referência da publicaçãoCopiado.Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.
Abrir referência da publicaçãoCopiado.