シーケンス・ツー・シーケンスモデル
- 提唱者
- Sutskever, I.; Cho, K.
- 年
- 2014
- 種類
- Encoder-decoder neural network (deep learning)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
2014年にSutskever, Vinyals, LeらおよびChoらによって導入されたシーケンス・ツー・シーケンス(Seq2Seq)モデルは、可変長の入力シーケンスを可変長の出力シーケンスにマッピングするエンコーダー・デコーダーニューラルネットワークである。これは機械翻訳、テキスト要約、対話システム、コード生成の基礎となっている。
手法の背後にある直感
多くの言語タスクでは、あるシーケンスを、長さが異なり事前に未知である別のシーケンスに変換する。例えば、英語の文が異なる長さのフランス語の文になる。単一の分類器ではこれはできない。Seq2Seqは作業を2つに分割する。1つのネットワークが全体の入力を読み込み、その意味をコンテキスト表現に圧縮し、2番目のネットワークがその表現を1トークンずつ展開して出力を生成する。各新しいトークンは、それまでに生成されたものに基づいて条件付けられる。
歴史学
エンコーダー・デコーダーフレームワークは、2014年にほぼ同時に発表された2つの論文から登場した。Sutskever, Vinyals, Leらによる「Sequence to Sequence Learning with Neural Networks」と、Choらによる「RNN encoder-decoder for statistical machine translation」である。オリジナルのモデルはソースを単一の固定コンテキストベクトルに圧縮していた。その後のアテンションの追加により、そのボトルネックが解消され、翻訳品質が劇的に向上し、現在シーケンスモデリングを支配しているTransformerアーキテクチャへの道が開かれた。
使うべき場面
タスクが可変長のシーケンスを別の可変長のシーケンスに変換すること(機械翻訳、要約、対話、コード生成など)であり、ペアになったソース・ターゲットの例(理想的には約500以上)がある場合にSeq2Seqを使用する。テキストおよび時系列または横断的形式の連続シーケンスに適しており、正規分布データを必要としない。GPUが推奨される。500ペア未満ではエンコーダー・デコーダー構造をうまく学習できず、ランダムフォレストやXGBoostのようなより単純なモデルの方が安全である。
限界と注意点
- (約500以上)ペアになったソース・ターゲットの例の大規模コーパスが必要。
- GPUが推奨される;訓練は計算負荷が高い。
- 長い入力を単一の固定コンテキストに圧縮すると、アテンションがないと情報が失われる可能性がある。
- 小規模データセットでは、エンコーダー・デコーダー構造を学習できず、モデルが過学習する。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 固定出力の分類器とは異なり、可変長の入出力に対応できる。
- 翻訳、要約、対話、コード生成のための単一の汎用フレームワーク。
- 手作業で調整されたアライメントなしに、ペアになったソース・ターゲットの例からエンドツーエンドで訓練される。
- アテンション機構を追加すると、性能が大幅に向上する。
- 仮定が少ない:正規性の要件なし;テキストおよび連続シーケンスデータで機能する。
応用
- 言語ペア間の機械翻訳。
- 抽象的テキスト要約。
- 対話および会話応答生成。
- 自然言語記述からのコード生成。
使い方
使い方
エンコーダーネットワークは、入力シーケンスをトークンごとに読み込み、ソース全体の意味を要約するコンテキスト表現に圧縮する。エンコーダーは出力が生成される前に全体の入力を処理するため、モデルは任意の長さの入力を処理できる。
数式
c = \text{Encoder}(x_1, \dots, x_T)デコーダーネットワークは、出力シーケンスをトークンごとに生成する。各ステップで、エンコーダーのコンテキストと、それまでに発行したトークンに基づいて条件付けを行い、停止シンボルがシーケンスを終了するまで次のトークンに対する確率分布を予測する。これにより、出力の長さが入力と異なることが可能になる。
数式
p(y_t \mid y_{<t}, c)エンコーダーとデコーダーは、ソースが与えられた場合の正しいターゲットシーケンスの尤度を最大化するように共同で訓練される。教師信号は、ペアになったソース・ターゲットの例から得られる。デコーダーが単一の固定コンテキストではなく、すべてのエンコーダー状態を参照できるようにするアテンション機構を追加すると、性能が向上し、訓練にはGPUが推奨される。
数式
\max_{\theta} \sum \log p(y \mid x; \theta)よくある落とし穴
- モデルが過学習し、マッピングを学習できなくなる、ソース・ターゲットペアが少なすぎる場合の訓練。
- 長いシーケンスでアテンション機構を省略し、遠いコンテキストを失う。
- 収束前に断念し、GPUリソースなしで訓練を試みる。
- より単純な分類器や回帰器の方がうまく処理できる固定出力タスクにSeq2Seqを使用する。
よくある質問
Seq2Seqはどのくらいのデータが必要か?
ペアになったソース・ターゲットの例が必要。理想的には約500以上。約200ペア未満ではモデルが過学習し、シーケンス変換を学習できない。データが非常に少ない場合は、ランダムフォレストやXGBoostのようなより単純なモデルの方が安全である。
GPUは必要か?
GPUが推奨される。多数のシーケンスペアにわたるエンコーダー・デコーダーの訓練は計算負荷が高く、CPUのみでの訓練はしばしば実用的でないほど遅い。
アテンションを追加するとどうなるか?
アテンションにより、デコーダーは単一の固定コンテキストベクトルに依存するのではなく、各ステップで全てのエンコーダー状態を参照できる。これにより、長いシーケンスの情報ボトルネックが解消され、出力品質が大幅に向上する。
Seq2Seqは分類器とどう違うか?
分類器は単一のラベルのような固定出力を生成する。Seq2Seqは、生成中に長さが決定される可変長の出力シーケンスを生成する。これが、翻訳、要約、類似タスクに適している理由である。
関連する手法
参考文献
Sutskever, I., Vinyals, O. & Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS.
出版物の文献を開くコピーしました。Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H. & Bengio, Y. (2014). Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP, 1724–1734.
DOI 文献を開くコピーしました。