Двунаправленная РНС
- Автор метода
- Schuster, M. & Paliwal, K.K.
- Год
- 1997
- Тип
- Recurrent neural network (sequence model)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Двунаправленная рекуррентная нейронная сеть (РНС), представленная Шустером и Паливал в 1997 году, обрабатывает последовательность в прямом и обратном направлениях, так что каждая позиция имеет доступ к полному окружающему контексту.
С ячейками LSTM или GRU (BiLSTM/BiGRU) это стандартный подход для распознавания именованных сущностей, маркировки последовательностей и распознавания речи.
Интуиция метода
Обычная РНС читает последовательность слева направо, поэтому в любой момент она знает только то, что было раньше. Но смысл слова или сигнала часто зависит и от того, что идет после него. Двунаправленная РНС решает эту проблему, выполняя два прохода — один вперед, один назад — и объединяя их, так что каждая позиция информируется как прошлым, так и будущим контекстом.
История
Двунаправленная рекуррентная нейронная сеть была представлена Шустером и Паливал в 1997 году, чтобы предоставить каждой позиции доступ к контексту прошлого и будущего. Грейвс и Шмидхубер расширили эту идею ячейками LSTM в 2005 году для покадровой классификации фонем, установив двунаправленную LSTM как рабочую лошадку для задач распознавания речи и маркировки последовательностей. Варианты BiLSTM и BiGRU стали стандартом в обработке естественного языка до появления архитектур Трансформеров.
Когда применять
Используйте ее для маркировки последовательностей, классификации текстов или прогнозирования на последовательных или продольных данных — таких как NER, маркировка частей речи или распознавание речи — когда важны как предшествующий, так и последующий контекст, и вся последовательность доступна одновременно. Она работает с текстом и непрерывными последовательностями и не предполагает нормально распределенных данных, но требует разумного объема данных (по крайней мере, около 100 последовательностей, и комфортно больше для стабильного обучения).
Ограничения и замечания
- Требует всю последовательность заранее, поэтому не подходит для потоковой передачи или генерации в реальном времени, когда будущий ввод неизвестен.
- На небольших наборах данных (менее примерно 500 последовательностей) происходит переобучение, и контекст не может быть надежно извлечен.
- При очень малых выборках (менее примерно 100) обучение BiLSTM/BiGRU не имеет смысла.
- Два прохода примерно удваивают вычислительные ресурсы и память однонаправленной РНС.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Каждая позиция видит как прошлый, так и будущий контекст, что является стандартным, сильным выбором для маркировки последовательностей, таких как NER.
- Минимальные предположения: нет требования нормальности, работает непосредственно с текстом и непрерывными последовательностями.
- Естественно сочетается с ячейками LSTM или GRU для обработки долгосрочных зависимостей.
- Хорошо зарекомендовала себя для распознавания речи и других задач покадровой классификации.
Применение
- Распознавание именованных сущностей и маркировка последовательностей.
- Маркировка частей речи и другая текстовая аннотация на уровне токенов.
- Распознавание речи и фонем.
- Классификация текстов и прогнозирование на последовательных или продольных данных.
Как это работает
Как это работает
Один рекуррентный слой читает последовательность от начала до конца, формируя скрытое состояние в каждой позиции, которое суммирует все увиденное до сих пор. Это тот же проход слева направо, который выполняет стандартная РНС, LSTM или GRU.
Формула
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})Второй рекуррентный слой читает ту же последовательность в обратном порядке, от конца к началу, генерируя скрытое состояние в каждой позиции, которое суммирует предстоящий контекст. Это дает модели знание о том, что следует за каждым токеном.
Формула
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})В каждой позиции прямое и обратное скрытые состояния конкатенируются в единое представление, которое захватывает полный двунаправленный контекст. Этот объединенный вектор затем передается выходному слою для маркировки, классификации или прогнозирования.
Формула
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]Частые ошибки
- Применение к задачам реального времени или генеративным задачам, где будущая часть последовательности еще недоступна.
- Обучение на слишком малом количестве данных и доверие результату, несмотря на переобучение.
- Игнорирование того, что удвоенное скрытое представление увеличивает затраты на вычисления и память.
- Возврат к тяжелой двунаправленной модели, когда ансамбль деревьев был бы безопаснее на малых выборках.
Часто задаваемые вопросы
Чем двунаправленная РНС отличается от обычной РНС?
Обычная РНС читает последовательность в одном направлении, поэтому каждая позиция знает только прошлое. Двунаправленная РНС добавляет второй проход в обратном направлении и объединяет оба, так что каждая позиция информируется будущим контекстом.
Когда я не могу ее использовать?
Она требует всю последовательность одновременно, поэтому не подходит для настроек реального времени или генеративных настроек, где будущие токены еще не известны. В таких случаях требуется однонаправленная модель.
Сколько данных мне нужно?
Минимум около 100 последовательностей в качестве нижней границы, но обучение надежно только при значительно большем количестве — менее примерно 500 модель склонна к переобучению, и контекст не может быть надежно извлечен. На очень малых выборках ансамбль деревьев, такой как случайный лес или XGBoost, безопаснее.
В чем разница между BiLSTM и BiGRU?
Обе являются двунаправленными РНС; они различаются рекуррентной ячейкой. BiLSTM использует ячейки LSTM, а BiGRU использует ячейки GRU, обе разработаны для лучшего захвата долгосрочных зависимостей, чем простая РНС.
Похожие методы
Источники
Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.
Открыть ссылку DOIСкопировано.Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.
Открыть ссылку DOIСкопировано.