Многоголовочное самовнимание
- Автор метода
- Vaswani, A. et al.
- Год
- 2017
- Тип
- Attention mechanism (Transformer core)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Многоголовочное самовнимание (Multi-head self-attention), представленное Вазвани и его коллегами в 2017 году, представляет собой механизм, который позволяет каждой позиции в последовательности параллельно вычислять свою взаимосвязь со всеми другими позициями.
Это ядро архитектуры Transformer и основа BERT, GPT и T5.
Интуиция метода
Более ранние модели последовательностей обрабатывали текст пошагово, что затрудняло улавливание долгосрочных взаимосвязей и замедляло вычисления. Вместо этого самовнимание позволяет каждому токену одновременно "смотреть" непосредственно на каждый другой токен и решать, какой вес ему присвоить, так что значение, зависящее от удаленного контекста, улавливается за один параллельный проход.
История
Само внимание было представлено Вазвани и его коллегами в статье 2017 года "Attention Is All You Need", которая предложила архитектуру Transformer и полностью отказалась от рекуррентности. Оно быстро стало основой больших предварительно обученных языковых моделей: Девлин и его коллеги построили BERT на двунаправленных Transformer в 2019 году, и тот же механизм лежит в основе GPT и T5.
Когда применять
Используйте самовнимание при моделировании текста или других последовательных данных, где важны взаимосвязи между удаленными элементами и у вас достаточно данных для обучения большой модели — по крайней мере, около 100 наблюдений, при этом 500 или более настоятельно предпочтительны. Рекомендуется использовать GPU, требуется позиционное кодирование, и имейте в виду, что вычислительные затраты растут квадратично с длиной последовательности. На очень малых выборках оно не может научиться надежным представлениям; более простые модели машинного обучения там безопаснее.
Ограничения и замечания
- Вычислительные затраты и затраты памяти растут квадратично с длиной последовательности, что делает очень длинные последовательности дорогостоящими.
- GPU фактически требуется для практического обучения.
- Требуется позиционное кодирование, потому что само по себе внимание не зависит от порядка.
- На малых наборах данных (n ниже примерно 500) он переобучается и не может научиться надежным представлениям.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Непосредственно улавливает долгосрочные зависимости, без "бутылочного горлышка" пошаговой рекуррентности.
- Полностью параллельные вычисления по позициям, что хорошо масштабируется на современном оборудовании.
- Множественные "головы" могут одновременно обращать внимание на различные паттерны взаимосвязей.
- Служит общей основой для BERT, GPT и T5, с обширной поддержкой трансферного обучения.
Применение
- Классификация текста и другие задачи обработки естественного языка с учителем.
- Прогнозирование и обучение представлений на последовательных данных.
- Предварительное обучение и донастройка больших языковых моделей, таких как BERT и GPT.
- Любая ситуация, где необходимо моделировать долгосрочные взаимосвязи между элементами последовательности.
Как это работает
Как это работает
Каждая входная позиция отображается в три обучаемых вектора — запрос (query), ключ (key) и значение (value) — через отдельные весовые матрицы. Запрос представляет то, что ищет токен, ключ — то, что предлагает каждый токен, а значение — содержимое, которое передается дальше.
Формула
Q = XW_Q,\; K = XW_K,\; V = XW_V
Каждый запрос сравнивается со всеми ключами с помощью масштабированного скалярного произведения, масштабированного на квадратный корень из размерности ключа для сохранения стабильности значений, и пропускается через softmax для получения весов внимания. Выход каждой позиции представляет собой взвешенную сумму всех векторов значений, таким образом, он одновременно смешивает информацию со всей последовательности.
Формула
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)VВнимание выполняется несколько раз параллельно в виде отдельных "голов" (heads), каждая со своими собственными проекциями, так что разные "головы" могут фокусироваться на разных типах взаимосвязей. Их выходы конкатенируются и снова проецируются вместе, и поскольку позиции в остальном взаимозаменяемы, добавляется позиционное кодирование, чтобы сохранить информацию о порядке.
Формула
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_OЧастые ошибки
- Обучение на слишком малом количестве данных — при менее чем примерно 500 примерах механизм переобучается вместо того, чтобы изучать полезные представления.
- Забывание позиционного кодирования, что делает модель "слепой" к порядку слов.
- Недооценка квадратичных затрат длинных последовательностей и исчерпание памяти.
- Использование Transformer на крошечных выборках, где более простая модель, такая как случайный лес или XGBoost, показала бы лучшие результаты.
Часто задаваемые вопросы
Почему оценка внимания масштабируется на квадратный корень из размерности ключа?
Без масштабирования скалярные произведения становятся большими по мере увеличения размерности ключа, что "выталкивает" softmax в области с исчезающими градиентами. Деление на квадратный корень из размерности ключа сохраняет оценки в стабильном диапазоне.
Что добавляют множественные "головы"?
Каждая "голова" обучается своим собственным проекциям запроса, ключа и значения, поэтому разные "головы" могут одновременно обращать внимание на разные типы взаимосвязей. Их выходы конкатенируются и снова проецируются вместе в единое представление.
Почему необходимо позиционное кодирование?
Само внимание рассматривает позиции как взаимозаменяемые, поэтому само по себе оно не имеет понятия о порядке. Позиционное кодирование вводит информацию о позиции каждого токена, чтобы модель могла использовать порядок слов.
Сколько данных ему нужно?
Оно "жадно" до данных: при менее чем примерно 500 примерах оно переобучается и не может научиться надежным представлениям, а при менее чем примерно 100 примерах обучение Transformer не имеет смысла. Для малых выборок предпочтительны более простые модели, такие как случайный лес или XGBoost.
Похожие методы
Источники
Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.
Открыть ссылку на публикациюСкопировано.Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
Открыть ссылку на публикациюСкопировано.