Skip to content
Назад к результатам поиска

Двунаправленная РНС

Автор метода
Schuster, M. & Paliwal, K.K.
Год
1997
Тип
Recurrent neural network (sequence model)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Двунаправленная рекуррентная нейронная сеть (РНС), представленная Шустером и Паливал в 1997 году, обрабатывает последовательность в прямом и обратном направлениях, так что каждая позиция имеет доступ к полному окружающему контексту.

С ячейками LSTM или GRU (BiLSTM/BiGRU) это стандартный подход для распознавания именованных сущностей, маркировки последовательностей и распознавания речи.

Интуиция метода

Обычная РНС читает последовательность слева направо, поэтому в любой момент она знает только то, что было раньше. Но смысл слова или сигнала часто зависит и от того, что идет после него. Двунаправленная РНС решает эту проблему, выполняя два прохода — один вперед, один назад — и объединяя их, так что каждая позиция информируется как прошлым, так и будущим контекстом.

История

Двунаправленная рекуррентная нейронная сеть была представлена Шустером и Паливал в 1997 году, чтобы предоставить каждой позиции доступ к контексту прошлого и будущего. Грейвс и Шмидхубер расширили эту идею ячейками LSTM в 2005 году для покадровой классификации фонем, установив двунаправленную LSTM как рабочую лошадку для задач распознавания речи и маркировки последовательностей. Варианты BiLSTM и BiGRU стали стандартом в обработке естественного языка до появления архитектур Трансформеров.

Когда применять

Используйте ее для маркировки последовательностей, классификации текстов или прогнозирования на последовательных или продольных данных — таких как NER, маркировка частей речи или распознавание речи — когда важны как предшествующий, так и последующий контекст, и вся последовательность доступна одновременно. Она работает с текстом и непрерывными последовательностями и не предполагает нормально распределенных данных, но требует разумного объема данных (по крайней мере, около 100 последовательностей, и комфортно больше для стабильного обучения).

Ограничения и замечания

  • Требует всю последовательность заранее, поэтому не подходит для потоковой передачи или генерации в реальном времени, когда будущий ввод неизвестен.
  • На небольших наборах данных (менее примерно 500 последовательностей) происходит переобучение, и контекст не может быть надежно извлечен.
  • При очень малых выборках (менее примерно 100) обучение BiLSTM/BiGRU не имеет смысла.
  • Два прохода примерно удваивают вычислительные ресурсы и память однонаправленной РНС.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Каждая позиция видит как прошлый, так и будущий контекст, что является стандартным, сильным выбором для маркировки последовательностей, таких как NER.
  • Минимальные предположения: нет требования нормальности, работает непосредственно с текстом и непрерывными последовательностями.
  • Естественно сочетается с ячейками LSTM или GRU для обработки долгосрочных зависимостей.
  • Хорошо зарекомендовала себя для распознавания речи и других задач покадровой классификации.

Применение

  • Распознавание именованных сущностей и маркировка последовательностей.
  • Маркировка частей речи и другая текстовая аннотация на уровне токенов.
  • Распознавание речи и фонем.
  • Классификация текстов и прогнозирование на последовательных или продольных данных.

Как это работает

Как это работает

1

Один рекуррентный слой читает последовательность от начала до конца, формируя скрытое состояние в каждой позиции, которое суммирует все увиденное до сих пор. Это тот же проход слева направо, который выполняет стандартная РНС, LSTM или GRU.

Формула
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})
2

Второй рекуррентный слой читает ту же последовательность в обратном порядке, от конца к началу, генерируя скрытое состояние в каждой позиции, которое суммирует предстоящий контекст. Это дает модели знание о том, что следует за каждым токеном.

Формула
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})
3

В каждой позиции прямое и обратное скрытые состояния конкатенируются в единое представление, которое захватывает полный двунаправленный контекст. Этот объединенный вектор затем передается выходному слою для маркировки, классификации или прогнозирования.

Формула
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]

Частые ошибки

  • Применение к задачам реального времени или генеративным задачам, где будущая часть последовательности еще недоступна.
  • Обучение на слишком малом количестве данных и доверие результату, несмотря на переобучение.
  • Игнорирование того, что удвоенное скрытое представление увеличивает затраты на вычисления и память.
  • Возврат к тяжелой двунаправленной модели, когда ансамбль деревьев был бы безопаснее на малых выборках.

Часто задаваемые вопросы

Чем двунаправленная РНС отличается от обычной РНС?

Обычная РНС читает последовательность в одном направлении, поэтому каждая позиция знает только прошлое. Двунаправленная РНС добавляет второй проход в обратном направлении и объединяет оба, так что каждая позиция информируется будущим контекстом.

Когда я не могу ее использовать?

Она требует всю последовательность одновременно, поэтому не подходит для настроек реального времени или генеративных настроек, где будущие токены еще не известны. В таких случаях требуется однонаправленная модель.

Сколько данных мне нужно?

Минимум около 100 последовательностей в качестве нижней границы, но обучение надежно только при значительно большем количестве — менее примерно 500 модель склонна к переобучению, и контекст не может быть надежно извлечен. На очень малых выборках ансамбль деревьев, такой как случайный лес или XGBoost, безопаснее.

В чем разница между BiLSTM и BiGRU?

Обе являются двунаправленными РНС; они различаются рекуррентной ячейкой. BiLSTM использует ячейки LSTM, а BiGRU использует ячейки GRU, обе разработаны для лучшего захвата долгосрочных зависимостей, чем простая РНС.

Похожие методы

Источники

  1. Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.

    Открыть ссылку DOI
    Скопировано.
  2. Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.

    Открыть ссылку DOI
    Скопировано.