Смесь экспертов
- Автор метода
- Shazeer, N. et al.
- Год
- 2017
- Тип
- Sparse neural network architecture (conditional computation)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Смесь экспертов (Mixture of Experts, MoE) — это разреженная архитектура нейронных сетей, представленная Шейзером и его коллегами в 2017 году с использованием слоя MoE с разреженным гейтингом, в котором для каждого входного сигнала активируется только подмножество экспертных подсетей.
Как видно на примерах таких моделей, как Switch Transformer и Mixtral, стоимость вычислений остается постоянной, даже когда растет общее количество параметров.
Интуиция метода
Вместо того чтобы пропускать каждый входной сигнал через одну огромную сеть, MoE использует набор специализированных экспертных сетей и маршрутизатор, который определяет, к каким именно экспертам должен обратиться каждый входной сигнал. Поскольку для каждого входного сигнала активируется лишь небольшое количество экспертов, модель может содержать огромное количество параметров, выполняя примерно тот же объем работы на один пример — это похоже на обращение только к двум специалистам, имеющим отношение к вопросу, а не ко всей больнице.
История
Слой разреженной смеси экспертов (sparsely-gated Mixture-of-Experts) был представлен Шейзером и его коллегами в 2017 году в статье 'Outrageously Large Neural Networks', в которой было показано, что условные вычисления могут масштабировать емкость модели на порядки, сохраняя при этом вычислительную нагрузку примерно постоянной. Эта идея была впоследствии перенесена в языковые модели-трансформеры — в частности, в Switch Transformer и, в 2024 году, в Mixtral — утвердив MoE как стандартный путь к очень большим, но эффективным моделям.
Когда применять
Используйте MoE для крупномасштабного прогнозирования или классификации на текстовых данных и данных с непрерывными признаками, когда у вас есть существенный объем данных (около 1000 наблюдений или более) и инфраструктура для крупномасштабного обучения с кластером GPU. Предполагается, что применяется потеря балансировки маршрутизатора, и конвейер обучения поддерживает разреженный гейтинг. При объеме данных менее 1000 примеров маршрутизатор не может научиться сбалансированному выбору экспертов, и обучение нестабильно; при объеме менее 500 примеров модель переобучается, и предпочтительнее использовать одну плотную модель.
Ограничения и замечания
- Требует крупномасштабной инфраструктуры для обучения и кластера GPU.
- Требует потери балансировки маршрутизатора; без нее нагрузка концентрируется на нескольких экспертах.
- На малых данных (n менее примерно 1000) маршрутизатор не может сбалансировать выбор экспертов, и обучение нестабильно.
- При очень малом объеме данных (n менее примерно 500) модель переобучается, и достаточно одной плотной модели.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Разделяет емкость модели и вычислительную нагрузку на один входной сигнал — общее количество параметров может расти, в то время как вычисления на один пример остаются постоянными.
- Эксперты специализируются, позволяя одной архитектуре охватывать гетерогенные входные данные.
- Проверено в крупномасштабных системах, таких как Switch Transformer и Mixtral.
- Разреженная маршрутизация Top-K сохраняет стоимость инференса значительно ниже, чем у плотной модели с равным количеством параметров.
Применение
- Большие языковые модели, которые масштабируют количество параметров без масштабирования стоимости инференса (например, Mixtral).
- Крупномасштабное прогнозирование и классификация текста.
- Задачи прогнозирования на основе высокоразмерных непрерывных признаков, где емкость должна эффективно расти.
- Архитектуры с условными вычислениями, которые направляют гетерогенные входные данные к специализированным подсетям.
Как это работает
Как это работает
Слой содержит множество параллельных экспертных подсетей, каждая из которых представляет собой небольшую полносвязную сеть прямого распространения. Эксперты обучаются специализироваться, поэтому разные входные сигналы направляются к разным экспертам. Только выбранные эксперты обрабатывают данный входной сигнал, поэтому общая емкость может расти без увеличения вычислительной нагрузки на один входной сигнал.
Сеть гейтинга (маршрутизатор) оценивает экспертов для каждого входного сигнала и сохраняет только K лучших. Функция softmax применяется к этим K лучшим оценкам для получения весов маршрутизации. Во время крупномасштабного обучения применяется потеря балансировки маршрутизатора, чтобы нагрузка распределялась между экспертами, а не концентрировалась на нескольких фаворитах.
Формула
G(x) = \text{Softmax}(\text{TopK}(x \cdot W_g))Выходы выбранных экспертов объединяются как взвешенная сумма с использованием весов гейтинга в качестве коэффициентов. Эта разреженная комбинация позволяет сохранить постоянной вычислительную нагрузку, в то время как количество параметров — и, следовательно, емкость модели — масштабируется.
Формула
y = \sum_{i \in \text{TopK}} G(x)_i \, E_i(x)Частые ошибки
- Игнорирование потери балансировки маршрутизатора, в результате чего несколько экспертов доминируют, а остальные остаются неактивными.
- Применение MoE к малым наборам данных, где одна плотная модель обучалась бы более надежно.
- Недооценка требуемых ресурсов GPU и инфраструктуры для разреженного обучения.
- Рассмотрение количества экспертов как свободной емкости без учета нестабильности маршрутизации.
Часто задаваемые вопросы
Почему MoE добавляет параметры, не увеличивая вычислительную нагрузку?
Для каждого входного сигнала работают только K лучших экспертов, выбранных маршрутизатором, поэтому, хотя слой хранит множество экспертов, каждый пример задействует лишь нескольких. Общая емкость масштабируется с количеством экспертов, в то время как вычислительная нагрузка на один пример остается примерно постоянной.
Для чего нужна потеря балансировки маршрутизатора?
Предоставленный самому себе, маршрутизатор имеет тенденцию направлять большинство входных сигналов к небольшому числу экспертов, оставляя остальных необученными. Потеря балансировки наказывает за неравномерную нагрузку, чтобы трафик распределялся между экспертами, и полная емкость фактически использовалась.
Сколько данных нужно MoE?
Он предназначен для крупномасштабных сценариев — примерно от 1000 примеров и более. При меньшем объеме маршрутизатор не может научиться сбалансированному выбору экспертов, и обучение становится нестабильным; при объеме менее 500 примеров одна плотная модель переобучается меньше и является более безопасным выбором.
Нужно ли специальное оборудование?
Да. MoE предполагает наличие крупномасштабной инфраструктуры для обучения и кластера GPU, поскольку множество экспертов и разреженная маршрутизация предназначены для распределенного высокопроизводительного обучения.
Похожие методы
Источники
Shazeer, N. et al. (2017). Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR. arXiv:1701.06538
Открыть ссылку на публикациюСкопировано.Jiang, A.Q. et al. (2024). Mixtral of Experts. arXiv.
Открыть ссылку на публикациюСкопировано.