Skip to content
Назад к результатам поиска

Управляемый рекуррентный блок (GRU)

Автор метода
Cho, K. et al.
Год
2014
Тип
Gated recurrent neural network unit

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Управляемый рекуррентный блок (GRU) — это ячейка управляемой рекуррентной нейронной сети, представленная Чо и его коллегами в 2014 году, которая улавливает долгосрочные зависимости в последовательных данных с помощью вентилей обновления и сброса, достигая производительности, сравнимой с LSTM, при меньшем количестве параметров.

Интуиция метода

Простая рекуррентная сеть испытывает трудности с запоминанием информации на длинных последовательностях, поскольку сигнал затухает или взрывается по мере его пошаговой передачи. GRU добавляет небольшие вентили, которые на каждом временном шаге обучаются, какую часть прошлого следует сохранить, а какую новую информацию поглотить. Имея всего два вентиля вместо трех в LSTM, он несет полезную память на больших промежутках, оставаясь при этом легче и быстрее в обучении.

История

GRU был представлен Кюнхюном Чо и его коллегами в 2014 году в рамках рекуррентной нейронной сети с кодировщиком-декодировщиком для статистического машинного перевода. Позже в том же году Чунг, Гюльчере, Чо и Бенджио эмпирически оценили управляемые рекуррентные блоки по сравнению с LSTM на задачах моделирования последовательностей, показав, что более простой GRU с двумя вентилями мог соответствовать производительности LSTM, используя при этом меньше параметров, что сделало его популярной более легкой альтернативой для моделирования последовательностей.

Когда применять

Хорошо подходит для прогнозирования и классификации на последовательных данных — временных рядах или продольных последовательностях непрерывных значений или текста — когда важны долгосрочные зависимости и желательна более быстрая тренировка, чем у LSTM, при наличии как минимум около 100 наблюдений. Он не предполагает нормально распределенных данных. При количестве последовательностей менее примерно 500 риск переобучения высок, и более простая модель, такая как Случайный лес, безопаснее; ниже примерно 100 рекуррентное обучение не имеет смысла, и предпочтительнее XGBoost.

Ограничения и замечания

  • Высокий риск переобучения на малых наборах данных (менее примерно 500 последовательностей).
  • Требует последовательных данных; не имеет смысла при менее чем примерно 100 наблюдениях.
  • Как рекуррентный черный ящик, он не предлагает явных коэффициентов для интерпретации.
  • Как и все рекуррентные модели, он может быть чувствителен к длине последовательности и настройкам обучения.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Улавливает долгосрочные зависимости в последовательных данных через обученные вентили обновления и сброса.
  • Сравнительная точность с LSTM при меньшем количестве параметров, поэтому обучается быстрее.
  • Минимальные предположения: не требует нормально распределенных данных.
  • Хорошо подходит для временных рядов и продольных последовательностей непрерывных значений или текста.

Применение

  • Прогнозирование и предсказание на временных рядах и продольных последовательностях.
  • Классификация последовательностей по непрерывным или текстовым входам.
  • Моделирование долгосрочных зависимостей, где требуется мощность уровня LSTM при более низкой стоимости.
  • Более быстрая рекуррентная базовая линия перед использованием более тяжелых моделей последовательностей.

Как это работает

Как это работает

1

На каждом временном шаге блок вычисляет два вентиля из текущего входа и предыдущего скрытого состояния. Вентиль обновления определяет, какую часть предыдущего состояния перенести вперед, а какую обновить, в то время как вентиль сброса определяет, какую часть прошлого игнорировать при формировании нового кандидатного состояния. Оба сжимаются сигмоидой в значения от нуля до единицы.

Формула
z_t = \sigma(W_z x_t + U_z h_{t-1}), \quad r_t = \sigma(W_r x_t + U_r h_{t-1})
2

Кандидатное скрытое состояние предлагается из текущего входа в сочетании с предыдущим состоянием, отфильтрованным через вентиль сброса. Когда вентиль сброса близок к нулю, блок фактически забывает прошлое и реагирует на свежий вход; когда он близок к единице, он смешивает предыдущий контекст в нового кандидата.

Формула
\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))
3

Новое скрытое состояние представляет собой управляемую интерполяцию между предыдущим состоянием и кандидатом, контролируемую вентилем обновления. Этот единственный шаг смешивания позволяет блоку либо сохранять память на многих временных шагах, либо быстро обновляться, что позволяет GRU улавливать долгосрочные зависимости без отдельной ячейки памяти.

Формула
h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t

Частые ошибки

  • Применение GRU к крошечному последовательному набору данных, где он просто запоминает обучающие данные.
  • Забывание того, что входы должны образовывать подлинные последовательности, а не неупорядоченные табличные строки.
  • Пропуск надлежащего разделения на обучающую/валидационную выборки и доверие к подгонке последовательности в выборке.
  • Выбор рекуррентной сети, когда более простая модель лучше обобщила бы на малых данных.

Часто задаваемые вопросы

Чем GRU отличается от LSTM?

GRU использует два вентиля (обновления и сброса) и одно скрытое состояние, в то время как LSTM использует три вентиля и отдельную ячейку памяти. Следовательно, GRU имеет меньше параметров и обучается быстрее, достигая сравнимой производительности во многих задачах моделирования последовательностей.

Сколько данных нужно GRU?

Ему нужны последовательные данные с как минимум примерно 100 наблюдениями. При количестве последовательностей менее примерно 500 риск переобучения высок, поэтому более простая модель, такая как Случайный лес, безопаснее; ниже примерно 100 рекуррентная сеть не имеет смысла, и предпочтительнее XGBoost.

Предполагает ли GRU нормально распределенные данные?

Нет. Как и другие рекуррентные нейронные сети, он не делает предположений о нормальности; ему нужен подлинно последовательный вход, такой как временной ряд или продольная последовательность.

Когда следует предпочесть GRU более тяжелой модели?

Выбирайте GRU, когда вам нужно улавливать долгосрочные зависимости в последовательностях, но вы хотите более быстрой и легкой тренировки, чем у LSTM, и у вас достаточно последовательных данных, чтобы избежать переобучения.

Похожие методы

Источники

  1. Cho, K. et al. (2014). Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP.

    Открыть ссылку на публикацию
    Скопировано.
  2. Chung, J., Gulcehre, C., Cho, K. & Bengio, Y. (2014). Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. NIPS 2014 Deep Learning Workshop. arXiv:1412.3555

    Открыть ссылку на публикацию
    Скопировано.