Skip to content
Назад к результатам поиска

Модель «последовательность к последовательности»

Автор метода
Sutskever, I.; Cho, K.
Год
2014
Тип
Encoder-decoder neural network (deep learning)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Модель «последовательность к последовательности» (Seq2Seq), представленная в 2014 году Суцкевером, Виньялсом и Ле, а также Чо и его коллегами, представляет собой нейронную сеть с кодировщиком-декодировщиком, которая отображает входную последовательность переменной длины в выходную последовательность переменной длины.

Она является основой машинного перевода, реферирования текстов, диалоговых систем и генерации кода.

Интуиция метода

Многие языковые задачи преобразуют одну последовательность в другую, длина которой отличается и заранее неизвестна — предложение на английском языке становится предложением другой длины на французском. Один классификатор не может справиться с этим. Seq2Seq разделяет работу на две части: одна сеть считывает весь ввод и сжимает его смысл в контекстное представление, а вторая сеть разворачивает это представление в выходной сигнал по одному токену за раз, причем каждый новый токен зависит от того, что он уже сгенерировал.

История

Структура кодировщик-декодировщик появилась в 2014 году в двух почти одновременных статьях: «Sequence to Sequence Learning with Neural Networks» Суцкевера, Виньяльса и Ле, и «RNN encoder-decoder for statistical machine translation» Чо и его коллег. Оригинальные модели сжимали источник в один фиксированный вектор контекста; последующее добавление механизма внимания устранило это узкое место и значительно улучшило качество перевода, проложив путь к архитектуре Transformer, которая сейчас доминирует в моделировании последовательностей.

Когда применять

Используйте Seq2Seq, когда задача состоит в преобразовании одной последовательности переменной длины в другую — машинный перевод, реферирование, диалог или генерация кода — и у вас есть парные примеры «источник-цель», в идеале не менее 500. Она подходит для текста и непрерывных последовательностей в виде временных рядов или поперечных срезов и не требует нормально распределенных данных. Рекомендуется GPU. При наличии значительно меньшего количества пар (менее 500) структура кодировщик-декодировщик не может быть хорошо изучена, и более простые модели, такие как Random Forest или XGBoost, являются более безопасными.

Ограничения и замечания

  • Требуется значительный корпус парных примеров «источник-цель» (около 500 или более) для хорошего обучения.
  • Рекомендуется GPU; обучение требует больших вычислительных ресурсов.
  • Сжатие длинного ввода в одно фиксированное контекстное представление без механизма внимания может привести к потере информации.
  • На небольших наборах данных структура кодировщик-декодировщик не может быть изучена, и модель переобучается.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Обрабатывает вводы и выводы переменной длины, в отличие от классификаторов с фиксированным выводом.
  • Единая, общая структура для перевода, реферирования, диалога и генерации кода.
  • Обучается сквозным образом на парных примерах «источник-цель» без ручного выравнивания.
  • Производительность существенно улучшается при добавлении механизма внимания.
  • Минимальные предположения: нет требования нормальности; работает с текстовыми и непрерывными последовательными данными.

Применение

  • Машинный перевод между языковыми парами.
  • Абстрактивное реферирование текстов.
  • Генерация диалогов и ответов в беседах.
  • Генерация кода по описаниям на естественном языке.

Как это работает

Как это работает

1

Сеть-кодировщик считывает входную последовательность токен за токеном и сжимает весь источник в контекстное представление, которое обобщает его смысл. Поскольку кодировщик обрабатывает весь ввод до генерации какого-либо вывода, модель может обрабатывать вводы любой длины.

Формула
c = \text{Encoder}(x_1, \dots, x_T)
2

Сеть-декодировщик генерирует выходную последовательность по одному токену за раз. На каждом шаге она опирается на контекст кодировщика вместе с токенами, которые она уже выдала, предсказывая распределение вероятностей для следующего токена, пока символ остановки не завершит последовательность. Это позволяет выходной длине отличаться от входной.

Формула
p(y_t \mid y_{<t}, c)
3

Кодировщик и декодировщик обучаются совместно для максимизации правдоподобия правильной целевой последовательности, учитывая источник — обучение происходит на основе парных примеров «источник-цель». Добавление механизма внимания, который позволяет декодировщику просматривать все состояния кодировщика, а не одно фиксированное контекстное представление, улучшает производительность, и для обучения рекомендуется использовать GPU.

Формула
\max_{\theta} \sum \log p(y \mid x; \theta)

Частые ошибки

  • Обучение на слишком малом количестве пар «источник-цель», когда модель переобучается и не может изучить отображение.
  • Пропуск механизма внимания на длинных последовательностях и потеря дальнего контекста.
  • Попытка обучения без ресурсов GPU и отказ до сходимости.
  • Использование Seq2Seq для задачи с фиксированным выводом, которую лучше справится более простой классификатор или регрессор.

Часто задаваемые вопросы

Сколько данных нужно Seq2Seq?

Требуются парные примеры «источник-цель» — в идеале не менее 500. При количестве пар менее примерно 200 модель переобучается и не может изучить преобразование последовательности; при очень малом количестве данных более простая модель, такая как Random Forest или XGBoost, является более безопасной.

Нужен ли мне GPU?

Рекомендуется GPU. Обучение кодировщика-декодировщика на большом количестве пар последовательностей требует больших вычислительных ресурсов, а обучение только на CPU часто бывает непрактично медленным.

Что дает добавление механизма внимания?

Механизм внимания позволяет декодировщику на каждом шаге просматривать все состояния кодировщика вместо того, чтобы полагаться на один фиксированный контекстный вектор. Это устраняет информационное узкое место длинных последовательностей и существенно улучшает качество вывода.

Чем Seq2Seq отличается от классификатора?

Классификатор выдает фиксированный результат, такой как один ярлык. Seq2Seq генерирует выходную последовательность переменной длины, длина которой определяется в процессе генерации, что делает его подходящим для перевода, реферирования и подобных задач.

Похожие методы

Источники

  1. Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.

    Открыть ссылку на публикацию
    Скопировано.
  2. Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.

    Открыть ссылку DOI
    Скопировано.