Mezcla de Expertos
- Propuesto por
- Shazeer, N. et al.
- Año
- 2017
- Tipo
- Sparse neural network architecture (conditional computation)
Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés
¿Qué hace?
La Mezcla de Expertos (MoE, por sus siglas en inglés) es una arquitectura de red neuronal dispersa, introducida por Shazeer y colegas en 2017 con la capa MoE de compuerta dispersa (sparsely-gated), en la cual solo un subconjunto de subredes expertas se activa para cada entrada.
Como se observa en modelos como Switch Transformer y Mixtral, mantiene el costo computacional fijo incluso cuando crece el número total de parámetros.
La intuición detrás del método
En lugar de procesar cada entrada a través de una red enorme, MoE mantiene un conjunto de redes expertas especializadas y un enrutador (router) que decide a qué pocos expertos debe consultar cada entrada. Dado que solo un puñado de expertos se activan por entrada, el modelo puede albergar una cantidad enorme de parámetros mientras realiza aproximadamente la misma cantidad de trabajo por ejemplo — muy parecido a consultar solo a los dos especialistas relevantes para una pregunta en lugar de a todo el hospital.
Historia
La capa de Mezcla de Expertos con compuerta dispersa fue introducida por Shazeer y colegas en 2017 en 'Outrageously Large Neural Networks', que demostró que la computación condicional podía escalar la capacidad del modelo en órdenes de magnitud manteniendo la computación aproximadamente constante. La idea se incorporó posteriormente a modelos de lenguaje Transformer — notablemente Switch Transformer y, en 2024, Mixtral — estableciendo MoE como una ruta estándar hacia modelos muy grandes pero eficientes.
Cuándo usarlo
Utilice MoE para predicción o clasificación a gran escala en datos de texto y características continuas cuando disponga de datos sustanciales (aproximadamente 1.000 observaciones o más) y una infraestructura de entrenamiento a gran escala con un clúster de GPU. Asume que se aplica una pérdida de balanceo del enrutador y que el pipeline de entrenamiento puede soportar la compuerta dispersa. Por debajo de aproximadamente 1.000 ejemplos, el enrutador no puede aprender una selección equilibrada de expertos y el entrenamiento es inestable; por debajo de aproximadamente 500, el modelo sobreajusta (overfits) y es preferible un único modelo denso.
Limitaciones y consideraciones
- Requiere infraestructura de entrenamiento a gran escala y un clúster de GPU.
- Necesita una pérdida de balanceo del enrutador; sin ella, la carga colapsa en unos pocos expertos.
- En datos pequeños (n por debajo de aproximadamente 1.000) el enrutador no puede balancear la selección de expertos y el entrenamiento es inestable.
- Con muy pocos datos (n por debajo de aproximadamente 500) el modelo sobreajusta y un único modelo denso es suficiente.
Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.
Fortalezas
- Desacopla la capacidad del modelo de la computación por entrada — el número total de parámetros puede crecer mientras la computación por ejemplo permanece fija.
- Los expertos se especializan, permitiendo que una arquitectura cubra entradas heterogéneas.
- Probado a escala en sistemas como Switch Transformer y Mixtral.
- El enrutamiento disperso top-K mantiene el costo de inferencia muy por debajo del de un modelo denso con igual número de parámetros.
Aplicaciones
- Modelos de lenguaje grandes que escalan el número de parámetros sin escalar el costo de inferencia (p. ej., Mixtral).
- Predicción y clasificación de texto a gran escala.
- Tareas de predicción sobre características continuas de alta dimensionalidad donde la capacidad debe crecer eficientemente.
- Arquitecturas de computación condicional que enrutan entradas heterogéneas a subredes especializadas.
Cómo funciona
Cómo funciona
La capa contiene múltiples subredes expertas en paralelo, cada una una red feed-forward pequeña. Los expertos se entrenan para especializarse, de modo que diferentes entradas terminan siendo enrutadas a diferentes expertos. Solo los expertos seleccionados procesan una entrada dada, razón por la cual la capacidad total puede crecer sin aumentar la computación por entrada.
Una red de compuerta (gating network), o enrutador, puntúa a los expertos para cada entrada y retiene solo los K principales (top-K). Un softmax sobre esas puntuaciones top-K produce los pesos de enrutamiento. Durante el entrenamiento a gran escala, se aplica una pérdida de balanceo del enrutador (router balancing loss) para que la carga se distribuya entre los expertos en lugar de colapsar en unos pocos favoritos.
Fórmula
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))Las salidas de los expertos seleccionados se combinan como una suma ponderada, utilizando los pesos de compuerta como coeficientes. Esta combinación dispersa es lo que mantiene la computación constante mientras el número de parámetros — y por lo tanto la capacidad del modelo — escala.
Fórmula
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)Errores comunes
- Omitir la pérdida de balanceo del enrutador, de modo que unos pocos expertos dominen y el resto permanezca inactivo.
- Aplicar MoE a conjuntos de datos pequeños donde un único modelo denso se entrenaría de manera más fiable.
- Subestimar la huella de GPU e infraestructura requerida para el entrenamiento disperso.
- Tratar el número de expertos como capacidad libre sin tener en cuenta la inestabilidad del enrutamiento.
Preguntas frecuentes
¿Por qué MoE añade parámetros sin añadir computación?
Solo los K expertos principales seleccionados por el enrutador se ejecutan para cada entrada, por lo que, aunque la capa almacena muchos expertos, cada ejemplo solo toca a unos pocos. La capacidad total escala con el número de expertos mientras que la computación por entrada permanece aproximadamente fija.
¿Para qué sirve la pérdida de balanceo del enrutador?
Si se deja solo, el enrutador tiende a enviar la mayoría de las entradas a un pequeño número de expertos, dejando a los otros sin entrenar. Una pérdida de balanceo penaliza la carga desigual para que el tráfico se distribuya entre los expertos y se utilice realmente toda la capacidad.
¿Cuántos datos necesita MoE?
Está destinado a entornos a gran escala — aproximadamente 1.000 ejemplos o más. Por debajo de eso, el enrutador no puede aprender una selección equilibrada de expertos y el entrenamiento se vuelve inestable; con menos de aproximadamente 500 ejemplos, un único modelo denso sobreajusta menos y es la opción más segura.
¿Necesito hardware especial?
Sí. MoE asume infraestructura de entrenamiento a gran escala y un clúster de GPU, ya que los múltiples expertos y el enrutamiento disperso están diseñados para entrenamiento distribuido de alto rendimiento.
Métodos relacionados
Fuentes
Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538
Abrir referencia de la publicaciónCopiado.Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.
Abrir referencia de la publicaciónCopiado.