LSTM
- 提唱者
- Hochreiter, S. & Schmidhuber, J.
- 年
- 1997
- 種類
- Recurrent neural network (gated memory cell)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
LSTM(Long Short-Term Memory)は、1997年にSepp HochreiterとJürgen Schmidhuberによって導入されたリカレントニューラルネットワークアーキテクチャであり、時系列データやシーケンス予測に広く使用され、シーケンスデータにおける長期依存性を学習することができます。内部メモリを保持することで、多くのタイムステップにわたって情報を永続させることが可能です。
手法の背後にある直感
通常のリカレントネットワークは、学習信号が到達しなければならない距離が長くなるにつれて減衰するため、長いシーケンスにわたって情報を伝達するのに苦労します。LSTMは、各ユニットに値を保持できるメモリセルと、何を記憶し、何を忘れ、何を渡すかを決定するゲートを与えることで、この問題を解決します。これにより、ネットワークはシーケンス内で離れたイベントを接続することができ、これはまさに時系列問題やシーケンス問題が要求することです。
歴史学
LSTMは、以前のリカレントネットワークが長距離依存性を学習するのを妨げていた勾配消失問題を克服するために、1997年にSepp HochreiterとJürgen Schmidhuberによって導入されました。そのゲート付きメモリセルは、シーケンスモデリングの礎となり、アテンションベースのアーキテクチャが登場する前の時系列およびシーケンス予測タスクの標準的な選択肢となりました。
使うべき場面
時系列または縦断的構造を持つ連続的または日付インデックス付きシーケンスの予測および予測に適しており、長距離の時間的パターンが重要で、大規模なデータセット(約500以上の観測値)が利用可能な場合に適しています。入力は正規化する必要があり、GPUアクセラレーションが推奨されます。小さなサンプルではネットワークは過学習するため、Random Forest(500未満)やXGBoost(200未満)のようなより単純なモデルの方が安全です。
限界と注意点
- 信頼性の高いトレーニングには大規模なデータセット(約500以上の観測値)が必要です。
- 小さなサンプルでは過学習し、より単純な機械学習モデルの方が汎化性能が高いです。
- トレーニング前に必ず入力を正規化する必要があり、必須の前処理ステップが追加されます。
- 計算負荷が高いため、実用的なトレーニングにはGPUアクセラレーションが強く推奨されます。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 通常のリカレントネットワークが失うシーケンスデータにおける長期依存性を学習します。
- 時系列および縦断的予測およびシーケンス予測に適しています。
- 分布に関する仮定が少ない:正規分布したデータを必要としません。
- 連続的および日付インデックス付きシーケンス入力をネイティブに扱います。
応用
- 連続的または日付インデックス付きデータの時系列予測。
- 長距離の時間的パターンが重要なシーケンス予測。
- 多くのタイムステップにわたる依存性を持つ縦断的データのモデリング。
- 時間的メモリが不可欠な大規模シーケンシャルデータセットでの予測タスク。
使い方
使い方
各LSTMユニットは、シーケンスを通して順方向に状態が流れるメモリセルを保持します。このセルは情報のコンベアベルトとして機能し、関連する信号が1つか2つのタイムステップで減衰するのではなく、多くのタイムステップにわたって持続することを可能にし、これによりネットワークは長期依存性を学習することができます。
ゲートはメモリセルへの出入りを制御します。1つのゲートは過去の状態のどれだけを保持するかを決定し、1つのゲートはどのような新しい情報を書き込むかを決定し、そして1つのゲートはユニットの応答として何を読み出すかを決定します。これらのゲートをデータから学習することにより、ネットワークはそれに圧倒されるのではなく、長いシーケンスにわたるメモリを制御します。
シーケンスがステップバイステップで処理されるにつれて、各ステップでのゲート付き隠れ状態が出力層に供給され、予測(例えば、時系列の次の値)を生成します。入力は正規化する必要があり、ネットワークは大きいため、トレーニングにはかなりのデータセット(約500以上の観測値)と、理想的にはGPUアクセラレーションが必要です。
数式
\hat{y}_t = f(h_t)よくある落とし穴
- 正規化されていない入力を供給すること。これはトレーニングを不安定にします。
- 約500未満の観測値でトレーニングし、より単純なモデルにフォールバックするのではなく、結果を信頼すること。
- 古典的な機械学習で十分な非常に小さなサンプルにディープリカレントネットワークを適用すること。
- 過学習を無視し、予測性能であるかのようにインサンプルフィットを報告すること。
よくある質問
LSTMにはどのくらいのデータが必要ですか?
大規模なデータセット(約500以上の観測値)を対象としています。それ以下ではネットワークは過学習しやすく、汎化性能が低いため、Random Forestのようなより単純なモデルが推奨されるフォールバックであり、約200未満の観測値ではXGBoostがより良い選択肢です。
入力を正規化する必要がありますか?
はい。正規化はLSTMの必須の前処理ステップです。スケールされていない入力はトレーニングを不安定にし、結果を低下させます。
LSTMは通常のリカレントネットワークとどう違いますか?
LSTMはメモリセルと、何を記憶し、忘れ、出力するかを制御するゲートを追加します。これにより、長いシーケンスにわたって情報を伝達し、通常のリカレントネットワークが勾配消失で失う長期依存性を学習することができます。
GPUは必要ですか?
必須ではありませんが、LSTMのトレーニングは大規模なシーケンシャルデータセットでは計算負荷が高いため、GPUアクセラレーションが強く推奨されます。
関連する手法
参考文献
Hochreiter, S. & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
DOI 文献を開くコピーしました。