Bidirectional RNN
- 提唱者
- Schuster, M. & Paliwal, K.K.
- 年
- 1997
- 種類
- Recurrent neural network (sequence model)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
SchusterとPaliwalによって1997年に導入されたBidirectional RNNは、シーケンスを順方向と逆方向の両方で処理するため、各位置が完全な周囲のコンテキストにアクセスできるようになります。LSTMまたはGRUセル(BiLSTM/BiGRU)と組み合わせることで、固有表現認識、シーケンスラベリング、および音声認識の標準的なアプローチとなっています。
手法の背後にある直感
通常のRNNはシーケンスを左から右に読み取るため、任意の時点で過去に何があったかしか知りません。しかし、単語や信号の意味は、しばしばその後に続くものにも依存します。Bidirectional RNNは、順方向と逆方向の2つのパスを実行し、それらを組み合わせて、各位置が過去と未来の両方のコンテキストによって通知されるようにすることで、この問題を解決します。
歴史学
双方向リカレントニューラルネットワークは、各位置が過去と未来の両方のコンテキストにアクセスできるようにするために、SchusterとPaliwalによって1997年に導入されました。GravesとSchmidhuberは2005年にLSTMセルを使用してこのアイデアを拡張し、フレーム単位の音素分類を実現し、双方向LSTMを音声およびシーケンスラベリングタスクの主力として確立しました。BiLSTMおよびBiGRUバリアントは、Transformerアーキテクチャが登場する前に自然言語処理全体で標準となりました。
使うべき場面
シーケンスラベリング、テキスト分類、またはシーケンシャルデータや縦断的データに対する予測(NER、品詞タグ付け、または音声認識など)に使用します。この場合、先行および後続のコンテキストの両方が重要であり、シーケンス全体が一度に利用可能である必要があります。テキストおよび連続シーケンスで機能し、正規分布データを仮定しませんが、適度な量のデータ(少なくとも約100シーケンス、安定したトレーニングにはさらに多く)が必要です。
限界と注意点
- シーケンス全体を事前に必要とするため、ストリーミングまたはリアルタイム生成には不向きです。将来の入力は不明です。
- 小規模データセット(約500シーケンス未満)では過学習し、コンテキストを確実に抽出できません。
- 非常に小さいサンプル(約100未満)では、BiLSTM/BiGRUのトレーニングは意味がありません。
- 2つのパスは、片方向RNNの計算量とメモリ使用量を約2倍にします。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 各位置は過去と未来の両方のコンテキストを参照するため、NERのようなシーケンスラベリングの標準的で強力な選択肢となります。
- 仮定が少ない:正規性の要件がなく、テキストおよび連続シーケンスで直接機能します。
- 長距離の依存関係を処理するために、LSTMまたはGRUセルと自然にペアになります。
- 音声認識およびその他のフレーム単位の分類タスクで十分に確立されています。
応用
- 固有表現認識およびシーケンスラベリング。
- 品詞タグ付けおよびその他のトークンレベルのテキスト注釈。
- 音声および音素認識。
- シーケンシャルデータまたは縦断的データに対するテキスト分類および予測。
使い方
使い方
1つのリカレント層は、シーケンスを開始から終了まで読み取り、各位置にこれまでに見たすべてのものを要約する隠れ状態を構築します。これは、標準的なRNN、LSTM、またはGRUが実行する左から右へのパスと同じです。
数式
\overrightarrow{h}_t = f(x_t, \overrightarrow{h}_{t-1})2番目のリカレント層は、同じシーケンスを逆方向、つまり終了から開始へと読み取り、各位置に今後のコンテキストを要約する隠れ状態を生成します。これが、モデルが各トークンの後に続くものに関する知識を得る方法です。
数式
\overleftarrow{h}_t = f(x_t, \overleftarrow{h}_{t+1})各位置で、順方向と逆方向の隠れ状態は連結されて単一の表現となり、完全な双方向コンテキストを捉えます。この結合されたベクトルは、ラベリング、分類、または予測のために出力層に渡されます。
数式
h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t]よくある落とし穴
- シーケンスの将来の部分がまだ利用できないリアルタイムまたは生成タスクに適用すること。
- データ量が少なすぎて過学習しているにもかかわらず結果を信頼すること。
- 隠れ表現の二重化が計算量とメモリコストを増加させることを無視すること。
- 小規模サンプルではツリーアンサンブルの方が安全である場合に、重い双方向モデルにフォールバックすること。
よくある質問
通常のRNNとBidirectional RNNの違いは何ですか?
通常のRNNはシーケンスを1つの方向に読み取るため、各位置は過去しか知りません。Bidirectional RNNは逆方向にもう1つのパスを追加し、両方を結合するため、各位置は未来のコンテキストからも情報を得ます。
いつ使用できませんか?
シーケンス全体を一度に必要とするため、将来のトークンがまだわからないリアルタイムまたは生成設定には不向きです。そのような場合は、片方向モデルが必要です。
どのくらいのデータが必要ですか?
最低でも約100シーケンスが下限ですが、トレーニングが信頼できるのはさらに多くの場合です。約500未満ではモデルは過学習しやすく、コンテキストを確実に抽出できません。非常に小さいサンプルでは、ランダムフォレストやXGBoostのようなツリーアンサンブルの方が安全です。
BiLSTMとBiGRUの違いは何ですか?
どちらもBidirectional RNNです。リカレントセルが異なります。BiLSTMはLSTMセルを使用し、BiGRUはGRUセルを使用します。どちらも、プレーンなRNNよりも長距離の依存関係をうまく捉えるように設計されています。