Skip to content
Назад к результатам поиска

Механизм внимания

Автор метода
Bahdanau, D.; Luong, M.T.
Год
2015
Тип
Neural attention layer (encoder-decoder)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Механизм внимания, представленный Bahdanau, Cho и Bengio в 2015 году и усовершенствованный Luong, Pham и Manning в том же году, позволяет декодеру последовательности динамически изучать, на какие выходы энкодера следует обращать внимание на каждом шаге.

До появления Transformer он существенно улучшил качество машинного перевода, освободив модели от необходимости сжимать весь вход в один фиксированный вектор.

Интуиция метода

Простой энкодер-декодер сжимает всю входную последовательность в один фиксированный вектор контекста, что становится узким местом для длинных последовательностей. Внимание устраняет это узкое место: на каждом шаге вывода декодер просматривает все состояния энкодера и вычисляет взвешенную смесь, уделяя особое внимание тем немногим позициям, которые важны для слова, которое он собирается произвести. Это похоже на то, как переводчик бросает взгляд на наиболее релевантные слова исходного текста, а не пытается запомнить все предложение целиком.

История

Механизм внимания был представлен Bahdanau, Cho и Bengio в 2015 году для нейронного машинного перевода, совместно изучая выравнивание и перевод, так что модель больше не должна была сжимать все исходное предложение в один вектор. В том же году Luong, Pham и Manning предложили эффективные варианты скалярного произведения (мультипликативные). Внимание существенно повысило качество перевода и стало концептуальным семенем для последующей архитектуры Transformer.

Когда применять

Используйте внимание, когда у вас есть задача преобразования последовательности в последовательность — такая как машинный перевод или другие текстовые и непрерывные последовательные задачи — где важна предсказуемость или интерпретируемая выровненность, и уже имеется основа последовательности в последовательность. Предполагается наличие рабочей архитектуры seq2seq и возможность вычисления вектора контекста. Планируйте не менее нескольких сотен примеров; при примерно 500 или менее примеров механизм с трудом изучает значимые веса, а при менее чем 100 примерах обучение на основе внимания нецелесообразно — более простые модели, такие как Random Forest или XGBoost, более надежны.

Ограничения и замечания

  • Требует существующей основы seq2seq и возможности вычисления вектора контекста.
  • На небольших наборах данных (около 500 примеров или меньше) он не может изучить значимые веса и склонен к переобучению.
  • При менее чем примерно 100 наблюдениях обучение на основе внимания практически бессмысленно.
  • Добавляет вычислительные затраты поверх базовой модели энкодера-декодера.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Устраняет узкое место фиксированного вектора, значительно улучшая обработку длинных последовательностей.
  • Веса внимания обеспечивают интерпретируемую выровненность между входом и выходом.
  • Динамически фокусируется на наиболее релевантных позициях энкодера на каждом шаге декодирования.
  • Существенно улучшил качество машинного перевода и проложил путь для Transformer.

Применение

  • Нейронный машинный перевод между языковыми парами.
  • Генерация текста и суммирование последовательностей в последовательность.
  • Предсказание по непрерывным последовательностям и вводам в стиле временных рядов.
  • Создание интерпретируемых выравниваний ввода-вывода для анализа.

Как это работает

Как это работает

1

На каждом шаге декодирования текущее состояние декодера сравнивается с каждым выходом энкодера для получения оценки релевантности. Внимание в стиле Bahdanau (аддитивное) изучает эту оценку с помощью небольшой прямой сети, в то время как внимание в стиле Luong (мультипликативное) использует скалярное произведение между запросом и ключами, что дешевле в вычислении.

Формула
e_{ij} = \text{score}(s_{i}, h_{j})
2

Сырые оценки проходят через softmax, чтобы они стали набором весов внимания, которые положительны и в сумме дают единицу по всем позициям ввода. Эти веса выражают, сколько внимания должен получать каждый выход энкодера на текущем шаге, и могут быть исследованы как интерпретируемая выровненность между входом и выходом.

Формула
\alpha_{ij} = \dfrac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})}
3

Выходы энкодера объединяются в один вектор контекста как их взвешенная сумма, используя веса внимания. Этот динамический контекст — разный на каждом шаге — подается декодеру, чтобы он мог генерировать следующий элемент, обращая внимание на наиболее релевантные части ввода.

Формула
c_{i} = \sum_{j} \alpha_{ij}\, h_{j}

Частые ошибки

  • Применение внимания к набору данных, слишком малому для изучения стабильных весов, что приводит к переобучению.
  • Рассмотрение весов внимания как окончательного объяснения, а не как полезного, но частичного ориентира для выравнивания.
  • Пропуск основы seq2seq и ожидание, что внимание будет работать само по себе.
  • Игнорирование того, что очень короткие входные данные мало выигрывают от внимания по сравнению с простым энкодером-декодером.

Часто задаваемые вопросы

Какую проблему решает внимание?

Оно устраняет узкое место фиксированного вектора в обычных моделях энкодера-декодера. Вместо сжатия всего ввода в один вектор контекста, декодер на каждом шаге строит новую взвешенную смесь всех состояний энкодера, фокусируясь на наиболее важных позициях.

В чем разница между вниманием Bahdanau и Luong?

Внимание Bahdanau (аддитивное) изучает оценку релевантности с помощью небольшой прямой сети, в то время как внимание Luong (мультипликативное) использует скалярное произведение между запросом и ключами, что вычислительно дешевле.

Сколько данных мне нужно?

Планируйте не менее нескольких сотен примеров. При примерно 500 или менее примеров механизм с трудом изучает значимые веса и переобучается, а при менее чем примерно 100 примерах обучение на основе внимания нецелесообразно — лучше использовать более простые модели, такие как Random Forest или XGBoost.

Можно ли интерпретировать веса внимания как объяснение?

Веса формируют интерпретируемое выравнивание, которое показывает, на чем фокусировалась модель, что действительно полезно. Относитесь к этому как к полезному ориентиру, а не как к полному или окончательному объяснению рассуждений модели.

Похожие методы

Источники

  1. Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR.

    Открыть ссылку на публикацию
    Скопировано.
  2. Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421.

    Открыть ссылку DOI
    Скопировано.