Long Short-Term Memory (LSTM)
- 提唱者
- Hochreiter, S. & Schmidhuber, J.
- 年
- 1997
- 種類
- Recurrent neural network with gated memory cells
- 系統
- Deep learning / NLP / CV
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
Long Short-Term Memory (LSTM) は、Hochreiter と Schmidhuber が 1997 年に導入したゲート付きリカレントニューラルネットワークアーキテクチャである。これは、専用のメモリセルと、各タイムステップで保持、更新、または前方伝播される情報を制御する 3 つの学習済みゲート(忘却ゲート、入力ゲート、出力ゲート)を使用することにより、長いシーケンスにわたる依存関係を学習するように設計された。
手法の背後にある直感
通常のリカレントネットワークは、単一の隠れ状態を再利用することで時間をかけて情報を伝達しようとするが、勾配は長いシーケンスで縮小または爆発するため、多くのステップにまたがる依存関係を学習することはほぼ不可能になる。LSTM は、コンベアベルトのように機能する個別のメモリセルでこれを解決する。忘却ゲートはどの古い情報を消去するかを決定し、入力ゲートは新しい情報を追加し、出力ゲートはセルが次の層に何を明らかにするかを決定する。セルは多くのステップにわたってほとんど変更されずに情報を運ぶことができるため、トレーニング中に勾配がより確実に流れるようになり、ネットワークは文、段落、または長い時間ウィンドウにまたがるパターンを学習できるようになる。
歴史学
Hochreiter と Schmidhuber は、通常の RNN が長距離依存関係を学習することを妨げていた勾配消失問題を解決するために、1997 年に LSTM アーキテクチャを導入した。2000 年代を通じて、それは研究上の興味の対象であり続けたが、2010 年代初頭までに、Graves と Hinton による音声認識の研究や、Sutskever によるシーケンス・ツー・シーケンス学習の研究によって、LSTM はシーケンシャルタスクの主要なアーキテクチャとなった。Transformer が 2018 年から 2019 年頃にそれを凌駕するまで、その地位を維持したが、LSTM は時系列およびリソース制約のある設定で広く使用され続けている。
使うべき場面
LSTM は、観測の順序が重要であり、関連するコンテキストが多くのステップにまたがる可能性があるタスクに適している。例えば、テキスト分類、感情分析、固有表現認識、機械翻訳、時系列予測、音声処理などである。シーケンスが中程度に長い(数十から数百ステップ)場合や、ゲートパラメータを学習するのに十分なラベル付きデータ(通常は数千例)がある場合に LSTM を選択する。非常に長いシーケンスや並列処理が重要な場合は、通常 Transformer が好ましい。短いシーケンスや単純さが重要な場合は、GRU(パラメータ数が少ない)またはファインチューニングされた事前学習済みモデル(BERT、RoBERTa)がより適切である可能性がある。
限界と注意点
- Transformer よりもトレーニングが遅い。なぜなら、逐次計算は完全に並列化できないからである。
- かなりの量のラベル付きデータを必要とする。小規模データセットでは、ドロップアウトがあっても過学習する傾向がある。
- 非常に長いシーケンス(数百ステップ)は、セルの容量が限られているため、依然として LSTM にとって課題である。
- ハイパーパラメータチューニング — 隠れユニット、層、ドロップアウト、学習率 — は時間がかかる場合がある。
- 多くの NLP タスクでは、事前学習済み Transformer モデルが、スクラッチからトレーニングされた LSTM よりも優れた性能を発揮するようになった。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 勾配消失なしに長距離依存関係を捉えるために明示的に設計されている。
- 柔軟なアーキテクチャ: シーケンス分類、トークンラベリング、生成、予測に機能する。
- 解釈可能なゲーティング構造 — 忘却、入力、出力ゲート — ブラックボックスの代替手段と比較して。
- 双方向拡張(BiLSTM)は、シーケンスを両方向で処理することによりコンテキストを倍増させる。
- NLP、音声、時系列ドメインにおける広範な実証済みアプリケーション。
応用
- ドキュメントまたはレビューに対するテキスト分類および感情分析。
- シーケンスラベリング: 固有表現認識、品詞タグ付け。
- 時系列予測: 株価、センサー値、エネルギー需要。
- 音声認識における音響モデルコンポーネントとして。
- エンコーダー・デコーダー LSTM アーキテクチャによる機械翻訳。
- シーケンシャルログまたはセンサーデータの異常検出。
使い方
使い方
各タイムステップで、忘却ゲートは前の隠れ状態と現在の入力を受け取り、それらをシグモイド関数に通し、各セル状態要素に対して 0 から 1 の間の値を生成する。0 に近い値はその要素をメモリから消去し、1 に近い値はそれを保持する。この学習された消去が、LSTM が関連性のなくなったコンテキストを破棄することを可能にする。
数式
f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)入力ゲートもシグモイド活性化されており、候補セル状態(tanh を介して計算される)のどの要素がセルに書き込まれるべきかを決定する。忘却ゲートと入力ゲートを組み合わせることで、ネットワークは、通常の RNN を悩ませる勾配消失なしに、古い情報を破棄しながら新しい情報を選択的に記憶できるようになる。
数式
i_t = \sigma(W_i [h_{t-1}, x_t] + b_i),\quad \tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)セル状態は、古いセル状態を忘却ゲートの出力で要素ごとに乗算し、次に忘却ゲートの出力と候補セル状態の要素ごとの積を加算することによって更新される。この加算更新は、セル状態を通るパスが繰り返し乗算ではなく加算を伴うため、勾配が多くのタイムステップを逆伝播する際に消失しない主な理由である。
数式
c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t出力ゲートは、セル状態(tanh で圧縮されたもの)のどの程度が次のタイムステップおよび上位の層に渡される隠れ状態として公開されるかを制御する。内部メモリと公開された表現のこの分離により、LSTM はシーケンスタスクにおいて追加の柔軟性を得られる。
数式
o_t = \sigma(W_o [h_{t-1}, x_t] + b_o),\quad h_t = o_t \odot \tanh(c_t)タスクに応じて、LSTM は最終隠れ状態(シーケンス分類)、すべての隠れ状態(シーケンスラベリング、翻訳)、またはその両方を返すことができる。実際には、複数の LSTM 層をスタックし、それらの間にドロップアウトを追加することで、過学習を軽減しながら表現力を向上させることができる。
よくある落とし穴
- シーケンスの長さが異なる場合に、パディングとマスキングなしで LSTM を使用すると、パディングされたゼロによるサイレントエラーが発生する。
- 推論時にネットワークを評価モード(ドロップアウトを無効にする)に設定することを忘れる。
- LSTM でも勾配爆発を引き起こす可能性がある勾配クリッピングなしでのトレーニング。
- 不均衡なシーケンスデータセットで、クラスごとの F1 または AUC の代わりに精度のみを報告する。
- 将来のコンテキストが利用可能な(例えば、NER やマスク予測のような)タスクに対して、単方向 LSTM が十分であるとみなす。
よくある質問
LSTM と GRU の違いは何ですか?
GRU は、忘却ゲートと入力ゲートを単一の更新ゲートにマージし、個別のセル状態を持たないため、パラメータ数が少なく、トレーニングが速い。LSTM は、非常に正確な長期記憶を必要とするタスクでは GRU よりもわずかに優れた性能を発揮する傾向があるが、その差はしばしば小さく、データセットに依存する。
双方向 LSTM を使用すべきですか?
予測を行う前に完全なシーケンスにアクセスできるタスク(分類、NER、オフライン予測など)の場合、BiLSTM は過去と未来の両方のコンテキストを取り込むことで、通常、精度を向上させる。リアルタイム(オンライン予測、ストリーミング)で予測を行う必要がある場合は、単方向 LSTM を使用する。
いつ Transformer を LSTM の代わりに選択すべきですか?
十分な計算能力があるほとんどの最新 NLP タスクでは、事前学習済み Transformer(BERT、RoBERTa)は、スクラッチからトレーニングされた LSTM よりも優れた性能を発揮する。計算能力またはレイテンシが制約されている場合、シーケンスがテキストではなく数値時系列である場合、または大規模な事前学習済みモデルをファインチューニングするにはデータが少なすぎる場合に LSTM を選択する。
可変長シーケンスをどのように処理しますか?
短いシーケンスを共通の長さにパディングし、パディングトークンを損失計算で無視するためのマスクを作成し、パディング位置が隠れ状態に影響しないようにパケットシーケンス(PyTorch)またはマスキングレイヤー(Keras/TensorFlow)を使用する。
LSTM 層と隠れユニットはいくつ使用すべきですか?
ほとんどのタスクでは、1 つまたは 2 つのスタックされた LSTM 層に 64〜512 の隠れユニットを使用するのが妥当な開始範囲である。層やユニットが多いほど容量は増えるが、トレーニング時間と過学習のリスクも増大する。層間にドロップアウトを使用し、ホールドアウトセットまたはクロスバリデーションで検証する。