Skip to content
Назад к результатам поиска

Сверточный рекуррентный блок (GRU)

Автор метода
Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y.
Год
2014
Тип
Recurrent neural network with gating
Семейство
Deep learning / NLP / CV

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Сверточный рекуррентный блок (GRU), представленный Cho et al. в 2014 году, представляет собой упрощенную рекуррентную нейронную сеть, которая использует два обучаемых вентиля — вентиль обновления и вентиль сброса — для выборочного сохранения или отбрасывания информации между временными шагами, что позволяет эффективно моделировать последовательности с меньшим количеством параметров, чем LSTM.

Интуиция метода

Обработка последовательности подобна чтению длинного документа с одновременным решением, что запомнить, а что забыть. Вентиль обновления GRU контролирует, какая часть предыдущего скрытого состояния переносится вперед, а какая заменяется новой информацией, в то время как вентиль сброса определяет, какой объем прошлого контекста влияет на вычисление нового кандидата скрытого состояния. Этот механизм вентилей позволяет сети улавливать долгосрочные зависимости без проблем затухания градиента, которые свойственны простым RNN, и делает это с более простой и быстрой архитектурой, чем LSTM с четырьмя вентилями.

История

GRU был представлен Cho et al. в 2014 году как часть фреймворка кодировщика-декодировщика RNN для статистического машинного перевода. Chung et al. (2014) провели эмпирическую оценку, показавшую, что GRU и LSTM достигли схожей производительности при моделировании полифонической музыки и речевых сигналов, в то время как GRU обучался быстрее. Он быстро стал стандартным базовым решением для моделирования последовательностей и остается широко используемым в исследованиях NLP и временных рядов.

Когда применять

Используйте GRU при работе с последовательными данными — естественным языком, временными рядами, речью или журналами событий — особенно когда вычислительные ресурсы ограничены или важна скорость обучения, поскольку GRU обучается быстрее и использует меньше параметров, чем LSTM, часто с сопоставимой точностью. Он хорошо подходит для таких задач, как классификация текстов, анализ тональности, распознавание именованных сущностей, языковое моделирование и прогнозирование унивариантных или мультивариативных временных рядов. Предпочитайте LSTM, когда у вас есть очень длинные последовательности, где дополнительная ячейка памяти LSTM может дать преимущество в точности, или когда вы можете позволить себе дополнительные вычисления. Избегайте GRU для несерийных, табличных данных, где для них более подходящими являются полносвязные сети или древовидные модели.

Ограничения и замечания

  • Может уступать LSTM на очень длинных последовательностях, где отдельная ячейка памяти LSTM дает явное преимущество.
  • Медленнее и более требователен к памяти, чем модели на основе Transformer, для задач NLP с длинным контекстом.
  • Последовательные вычисления по своей природе ограничивают параллелизм во время обучения, в отличие от Transformer.
  • Чувствителен к гиперпараметрам, таким как размер скрытого состояния, dropout и скорость обучения; требует тщательной настройки.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Меньше параметров, чем у LSTM (два вентиля вместо четырех), что приводит к более быстрому обучению и меньшему потреблению памяти.
  • Смягчает проблему затухания градиента простых RNN, позволяя изучать долгосрочные временные зависимости.
  • Конкурентоспособная точность с LSTM на многих бенчмарках NLP и временных рядов, несмотря на более простую архитектуру.
  • Проще в настройке: меньше гиперпараметров (размер скрытого состояния, количество слоев, dropout) по сравнению с LSTM.
  • Двунаправленные и стековые варианты легко реализуются для получения более богатых контекстных представлений.

Применение

  • Классификация текстов и анализ тональности коротких и средних документов.
  • Распознавание именованных сущностей и маркировка последовательностей в NLP-конвейерах.
  • Прогнозирование временных рядов для данных датчиков, цен на акции и потребления энергии.
  • Распознавание речи и моделирование аудиопризнаков.
  • Архитектуры кодировщика-декодировщика для машинного перевода.
  • Обнаружение аномалий в последовательных журналах событий и потоках мониторинга.

Как это работает

Как это работает

1

На каждом временном шаге вентиль обновления вычисляет значение от 0 до 1, используя текущий вход и предыдущее скрытое состояние. Значение, близкое к 1, означает, что большая часть предыдущего скрытого состояния сохраняется; значение, близкое к 0, означает, что оно в основном заменяется. Этот единственный вентиль заменяет как входной, так и забывающий вентили LSTM.

Формула
z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)
2

Вентиль сброса аналогично генерирует значение от 0 до 1, которое модулирует, какая часть предыдущего скрытого состояния используется при вычислении кандидата нового состояния. Значение, близкое к 0, фактически позволяет сети игнорировать предыдущий контекст, давая ей возможность сброситься и сосредоточиться на текущем входе.

Формула
r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)
3

Кандидат скрытого состояния вычисляется с использованием текущего входа и предыдущего скрытого состояния, обработанного вентилем сброса, посредством активации tanh. Это представляет собой новую информацию, которую ячейка сохранит, если вентиль обновления разрешит полную замену предыдущего состояния.

Формула
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}) + b)
4

Итоговое скрытое состояние является линейной интерполяцией между предыдущим скрытым состоянием и кандидатом: вес вентиля обновления определяет, сколько от каждого сохранить. Эта выпуклая комбинация чисто распространяет градиенты во времени, помогая сети изучать долгосрочные зависимости.

Формула
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t
5

Скрытое состояние на последнем (или каждом) временном шаге передается через линейный слой и softmax (для классификации) или линейную активацию (для регрессии) для получения предсказаний модели. Для задач преобразования последовательности в последовательность используются скрытые состояния всех временных шагов.

Формула
\hat{y}_t = \text{softmax}(W_o h_t + b_o)

Частые ошибки

  • Использование GRU на табличных данных фиксированного размера, где последовательное индуктивное смещение не дает преимуществ перед простым MLP.
  • Пренебрежение дополнением и маскированием последовательностей переменной длины, что приводит к тому, что модель изучает артефакты дополнения.
  • Неприменение обрезки градиента, что чревато взрывом градиентов при обратном распространении во времени.
  • Отчетность только по точности без метрик на уровне последовательности, таких как F1, BLEU или MAE, в зависимости от задачи.
  • Выбор GRU для NLP длинных документов, когда предварительно обученный Transformer (BERT, RoBERTa) был бы гораздо мощнее.

Часто задаваемые вопросы

Когда следует выбирать GRU вместо LSTM?

GRU является хорошим выбором по умолчанию, когда важна скорость обучения и эффективность параметров, а ваши последовательности не являются чрезвычайно длинными. LSTM может иметь преимущество на очень длинных последовательностях благодаря своей выделенной ячейке памяти, но эмпирические результаты часто зависят от задачи, поэтому попробуйте оба варианта и сравните на валидационном наборе.

Может ли GRU обрабатывать последовательности переменной длины?

Да. Дополните последовательности до одинаковой длины в каждом пакете, затем используйте маскирующий слой или механизм упакованных последовательностей в PyTorch, чтобы указать GRU игнорировать токены дополнения. Без маскирования модель изучает ложные закономерности из дополнения.

Следует ли использовать двунаправленный GRU?

Для задач, где полная последовательность доступна во время вывода — таких как классификация текстов или NER — двунаправленный GRU (BiGRU) обрабатывает каждую последовательность как вперед, так и назад, предоставляя каждому токену доступ к прошлому и будущему контексту. Для реального времени или причинного прогнозирования действительна только прямая ориентация.

Конкурентоспособен ли GRU с Transformer?

Для небольших и средних наборов данных и более коротких последовательностей GRU остается конкурентоспособным и обучается намного быстрее, чем Transformer без предварительного обучения. Для крупномасштабных задач NLP предварительно обученные Transformer (BERT, RoBERTa) обычно значительно превосходят GRU.

Каковы ключевые гиперпараметры для настройки?

Наиболее важными являются размер скрытого состояния (количество единиц на слой), количество стековых слоев (обычно 1–3), коэффициент dropout между слоями и скорость обучения. Настоятельно рекомендуется использовать обрезку градиента (максимальная норма около 1–5) для стабилизации обучения.

Похожие методы

Источники

  1. Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. In Proceedings of EMNLP 2014, pp. 1724–1734.

    Открыть ссылку на публикацию
    Скопировано.
  2. Chung, J., Gulcehre, C., Cho, K., & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop.

    Открыть ссылку на публикацию
    Скопировано.