Skip to content
返回搜索结果

双向循环神经网络

提出者
Schuster, M. & Paliwal, K.K.
年份
1997
类型
Recurrent neural network (sequence model)

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

双向循环神经网络(Bidirectional RNN)由Schuster和Paliwal于1997年提出,它以正向和反向两个方向处理序列,从而使每个位置都能访问其完整的周围上下文。结合长短期记忆(LSTM)或门控循环单元(GRU)细胞(即BiLSTM/BiGRU),它已成为命名实体识别、序列标注和语音识别领域的标准方法。

方法背后的直觉

普通循环神经网络从左到右读取序列,因此在任何给定点,它只知道之前的内容。但词语或信号的含义往往也取决于其之后的内容。双向循环神经网络通过运行两个通道——一个正向,一个反向——并将其结合来解决这个问题,从而使每个位置都能同时获得其过去和未来的上下文信息。

历史学

双向循环神经网络由Schuster和Paliwal于1997年提出,旨在使每个位置都能访问过去和未来的上下文。Graves和Schmidhuber于2005年将该思想扩展到LSTM细胞,用于逐帧音素分类,从而将双向LSTM确立为语音和序列标注任务的主力。在Transformer架构兴起之前,BiLSTM和BiGRU变体在自然语言处理领域成为标准。

何时使用

当先行和后续上下文都很重要,并且整个序列可一次性获取时,可将其用于序列标注、文本分类或对序列或纵向数据进行预测——例如命名实体识别(NER)、词性标注或语音识别。它适用于文本和连续序列,不假设数据服从正态分布,但需要合理数量的数据(至少约100个序列,为了稳定训练最好更多)。

局限与注意事项

  • 需要预先提供整个序列,因此不适用于未来输入未知流式处理或实时生成。
  • 在小型数据集(低于约500个序列)上,它会过拟合,并且无法可靠地提取上下文。
  • 在非常小的样本(低于约100个)上,训练BiLSTM/BiGRU没有意义。
  • 两次遍历大致使单向RNN的计算和内存开销增加一倍。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 每个位置都能看到过去和未来的上下文,这是序列标注(如NER)的标准且强大的选择。
  • 假设少:无正态性要求,直接作用于文本和连续序列。
  • 与LSTM或GRU细胞自然配对,以处理长程依赖。
  • 在语音识别和其他逐帧分类任务中已得到充分确立。

应用

  • 命名实体识别和序列标注。
  • 词性标注和其他标记级别的文本注释。
  • 语音和音素识别。
  • 序列或纵向数据上的文本分类和预测。

使用方式

使用方式

1

一个循环层从序列的开始到结束读取,在每个位置建立一个隐藏状态,该状态总结了到目前为止所看到的一切。这与标准RNN、LSTM或GRU执行的从左到右的通道相同。

公式
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})
2

第二个循环层以相反的方向,从序列的结束到开始读取相同的序列,在每个位置生成一个隐藏状态,该状态总结了即将到来的上下文。这使得模型能够了解每个标记之后的内容。

公式
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})
3

在每个位置,正向和反向的隐藏状态被连接成一个单一的表示,捕捉完整的双向上下文。然后,这个组合向量被传递到输出层,用于标注、分类或预测。

公式
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]

常见陷阱

  • 将其应用于序列未来部分尚未可用的实时或生成任务。
  • 在数据过少的情况下进行训练,并尽管存在过拟合仍信任结果。
  • 忽略了双倍的隐藏表示会增加计算和内存成本。
  • 在小样本上,当树集成模型更安全时,却退而求其次使用笨重的双向模型。

常见问题

双向循环神经网络与普通循环神经网络有何不同?

普通循环神经网络单向读取序列,因此每个位置只知道过去。双向循环神经网络增加了反向的第二个通道并结合两者,因此每个位置也获得了未来上下文的信息。

我何时不能使用它?

它需要一次性获取整个序列,因此不适用于未来标记尚未已知的实时或生成环境。在这些情况下,需要使用单向模型。

我需要多少数据?

至少约100个序列作为下限,但只有在数据量充足(最好远超100个)的情况下训练才可靠——低于约500个序列时,模型容易过拟合,并且无法可靠地提取上下文。在非常小的样本上,像随机森林或XGBoost这样的树集成模型更安全。

BiLSTM和BiGRU有什么区别?

两者都是双向循环神经网络;它们在循环细胞上有所不同。BiLSTM使用LSTM细胞,BiGRU使用GRU细胞,两者都旨在比普通RNN更好地捕捉长程依赖。

相关方法

参考文献

  1. Schuster, M. & Paliwal, K.K. (1997). Bidirectional Recurrent Neural Networks. IEEE Transactions on Signal Processing, 45(11), 2673–2681.

    打开 DOI 文献
    已复制。
  2. Graves, A. & Schmidhuber, J. (2005). Framewise Phoneme Classification with Bidirectional LSTM Networks. IJCNN, 2047–2052.

    打开 DOI 文献
    已复制。