Skip to content
Назад к результатам поиска

Transformer (NLP)

Автор метода
Vaswani, A. et al.
Год
2017
Тип
Attention-based deep neural network

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Transformer — это основанная на механизме внимания модель глубокого обучения, представленная Васуани и его коллегами в 2017 году, которая выполняет классификацию текстов, распознавание именованных сущностей и языковое моделирование, позволяя каждому элементу (токену) в последовательности напрямую взаимодействовать с каждым другим элементом.

Она заменила более ранние рекуррентные архитектуры механизмом самовнимания, который обрабатывает целые последовательности параллельно.

Интуиция метода

Более ранние последовательные модели читали текст слово за словом, испытывая трудности с установлением связи между словами, далеко отстоящими друг от друга в предложении. Transformer вместо этого позволяет каждому слову одновременно рассматривать все другие слова и определять, какие из них важны для его значения. Этот механизм внимания позволяет модели улавливать долгосрочный контекст в языке и изучать богатые, повторно используемые представления текста.

История

Transformer был представлен Васуани и его коллегами в статье 2017 года «Attention Is All You Need», в которой было показано, что архитектура, построенная полностью на механизме внимания — без рекуррентности — может соответствовать или превосходить предыдущие последовательные модели. Она стала основой для предварительно обученных языковых моделей, таких как BERT и GPT, которые в настоящее время являются стандартной отправной точкой для большинства задач обработки естественного языка.

Когда применять

Хорошо подходит для классификации текстов, распознавания именованных сущностей и языкового моделирования на больших текстовых наборах данных — по крайней мере, около 500 документов — где важно глубокое контекстное понимание языка. Не требует нормально распределенных данных, но предполагает наличие большого текстового корпуса, и рекомендуется использовать предварительно обученную модель (такую как BERT или GPT). При количестве примеров ниже примерно 500 механизм внимания не может выучить надежные закономерности, а при количестве ниже примерно 100 глубокая модель бессмысленна; классическое машинное обучение, такое как Random Forest или XGBoost, является более безопасным выбором.

Ограничения и замечания

  • Требует больших текстовых наборов данных (около 500 примеров или более) для изучения надежных закономерностей.
  • При количестве примеров ниже примерно 100 обучение глубокой модели бессмысленно и достаточно классического машинного обучения.
  • Обучение вычислительно затратно и обычно опирается на предварительно обученные модели.
  • Его внутренние представления трудно интерпретировать по сравнению с моделями с явными коэффициентами.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Самовнимание улавливает долгосрочные зависимости по всей последовательности, в отличие от рекуррентных моделей, обрабатывающих текст слово за словом.
  • Обрабатывает последовательности параллельно, что делает обучение на больших текстовых корпусах гораздо более масштабируемым.
  • Предварительно обученные модели (BERT, GPT) могут быть дообучены, перенося знания на задачи с ограниченным объемом размеченных данных.
  • Обрабатывает разнообразные языковые задачи — классификацию, NER и языковое моделирование — в рамках одной архитектуры.
  • Отсутствие предположений о распределении: не требует нормально распределенных данных.

Применение

  • Классификация текстов, например, определение тональности или тематики.
  • Распознавание именованных сущностей (NER) в документах.
  • Языковое моделирование и предсказание следующего токена.
  • Дообучение предварительно обученных языковых моделей для специфических доменных текстовых задач.

Как это работает

Как это работает

1

Исходный текст разбивается на токены, и каждый токен преобразуется в числовой вектор (эмбеддинг). Поскольку механизм внимания не имеет встроенного понятия порядка, к этим векторам добавляется информация о позиции, чтобы модель знала, где находится каждый токен в последовательности.

2

Механизм самовнимания сравнивает каждый токен с каждым другим токеном: запросы (queries) сопоставляются с ключами (keys) для получения весов внимания, которые затем используются для объединения векторов значений (values). Накопление множества таких слоев внимания позволяет модели создавать контекстное представление, в котором каждый токен получает информацию от всей последовательности.

Формула
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

Контекстные представления подаются на вход специфической для задачи «головы» — метки для классификации текста, тегов для распознавания именованных сущностей или вероятностей следующего токена для языкового моделирования. На практике модель, предварительно обученная на больших текстовых корпусах (таких как BERT или GPT), дообучается (fine-tuned) для решения конкретной задачи.

Частые ошибки

  • Применение Transformer к небольшому набору текстовых данных, где механизм внимания не может выучить стабильные закономерности.
  • Обучение с нуля вместо дообучения предварительно обученной модели, такой как BERT или GPT.
  • Игнорирование минимального порога размера выборки и доверие к глубокой модели там, где классическое машинное обучение справилось бы лучше.
  • Рассмотрение весов внимания как окончательного объяснения рассуждений модели.

Часто задаваемые вопросы

Сколько текстовых данных мне нужно?

По крайней мере, около 500 примеров для того, чтобы механизм внимания мог выучить надежные закономерности. При количестве примеров ниже примерно 100 глубокая модель не стоит обучения, и классическое машинное обучение, такое как Random Forest или XGBoost, является лучшим выбором.

Следует ли мне обучать Transformer с нуля?

Обычно нет. Рекомендуется использовать предварительно обученную модель, такую как BERT или GPT, и дообучить ее для вашей задачи, поскольку это переносит знания, полученные на больших корпусах, и требует гораздо меньше размеченных данных.

Какие задачи он решает?

Классификация текстов, распознавание именованных сущностей и языковое моделирование, все построено на одной и той же архитектуре самовнимания.

Почему важен механизм внимания?

Он позволяет каждому токену в последовательности напрямую взаимодействовать с каждым другим токеном, улавливая долгосрочный контекст, с которым ранние рекуррентные модели, обрабатывающие текст слово за словом, справлялись плохо.

Похожие методы

Источники

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    Открыть ссылку на публикацию
    Скопировано.