Skip to content
検索結果に戻る

アテンションメカニズム

提唱者
Bahdanau, D.; Luong, M.T.
年
2015
種類
Neural attention layer (encoder-decoder)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

アテンションメカニズムは、2015年にBahdanau、Cho、Bengioによって導入され、同年にはLuong、Pham、Manningによって洗練されたもので、シーケンスデコーダーが各ステップでエンコーダーのどの出力を重視するかを動的に学習できるようにするものです。Transformer以前は、入力全体を単一の固定ベクトルに圧縮するという制約からモデルを解放することで、機械翻訳の品質を大幅に向上させました。

手法の背後にある直感

単純なエンコーダー・デコーダーは、入力シーケンス全体を1つの固定コンテキストベクトルに圧縮しますが、これは長いシーケンスではボトルネックとなります。アテンションはこのボトルネックを解消します。各出力ステップで、デコーダーはすべてのエンコーダー状態を振り返り、生成しようとしている単語にとって重要な少数の位置に強く依存する加重和を計算します。これは、文全体を一度に記憶しようとするのではなく、最も関連性の高いソース単語に目を戻す翻訳者に似ています。

歴史学

アテンションメカニズムは、1981年にHwangとYoonによって導入された多基準意思決定(MCDM)手法の一つであり、代替案のランキング付けに使用されます。この手法は、各基準の重みと、各代替案の各基準に対するパフォーマンス評価に基づいて、各代替案に総合的なスコアを割り当てます。最も高いスコアを持つ代替案が最適と見なされます。

使うべき場面

シーケンス・トゥ・シーケンスの問題(機械翻訳やその他のテキストおよび連続シーケンスのタスクなど)で、予測または解釈可能なアライメントが重要であり、シーケンス・トゥ・シーケンスのバックボーンが既に存在する場合に使用します。これは、動作するseq2seqアーキテクチャとコンテキストベクトルを計算できることを前提としています。少なくとも数百例を計画してください。約500例以下ではメカニズムは意味のある重みを学習するのに苦労し、約100例未満ではアテンションベースのトレーニングは価値がありません。Random ForestやXGBoostのようなより単純なモデルの方が安全です。

限界と注意点

  • 既存のseq2seqバックボーンとコンテキストベクトルを計算する能力が必要です。
  • 小さなデータセット(約500例以下)では、意味のある重みを学習できず、過学習する傾向があります。
  • 約100観測値未満では、アテンションベースのトレーニングは本質的に無意味です。
  • エンコーダー・デコーダーモデルの計算コストを追加します。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 固定ベクトルボトルネックを解消し、長いシーケンスの処理を大幅に改善します。
  • アテンション重みは、入力と出力の間の解釈可能なアライメントを提供します。
  • 各デコーディングステップで、最も関連性の高いエンコーダー位置に動的に焦点を当てます。
  • 機械翻訳の品質を大幅に向上させ、Transformerへの道を開きました。

応用

  • 言語ペア間のニューラル機械翻訳。
  • シーケンス・トゥ・シーケンスのテキスト生成と要約。
  • 連続シーケンスおよび時系列スタイルの入力に対する予測。
  • 分析のための解釈可能な入出力アライメントの生成。

使い方

使い方

1

各デコーディングステップで、現在のデコーダー状態とすべてのエンコーダー出力を比較して、関連性スコアを生成します。Bahdanauスタイル(加算型)のアテンションは、このスコアを小さなフィードフォワードネットワークで学習しますが、Luongスタイル(乗算型)のアテンションは、クエリとキー間のドット積を使用し、計算コストが低くなります。

数式
e_{ij} = \text{score}(s_{i}, h_{j})
2

生のスコアはソフトマックス関数を通過して、アテンション重みとなり、これらの重みは正であり、入力位置全体で合計すると1になります。これらの重みは、各エンコーダー出力が現在のステップでどれだけ注目されるべきかを示し、入力と出力間の解釈可能なアライメントとして検査することができます。

数式
\alpha_{ij} = \dfrac{\exp(e_{ij})}{\sum_{k} \exp(e_{ik})}
3

アテンション重みを使用して、エンコーダー出力を加重和として単一のコンテキストベクトルに結合します。この動的なコンテキスト(ステップごとに異なる)はデコーダーに供給され、入力の最も関連性の高い部分に注意を払いながら次の要素を生成することができます。

数式
c_{i} = \sum_{j} \alpha_{ij}\, h_{j}

よくある落とし穴

  • 安定した重みを学習するにはデータ量が少なすぎるデータセットにアテンションを適用し、過学習を招きます。
  • アテンション重みを決定的な説明ではなく、有用ではあるが部分的なアライメントキューとして扱うこと。
  • アテンションが単独で機能することを期待して、seq2seqの基盤をスキップすること。
  • 単純なエンコーダー・デコーダーよりもアテンションからの恩恵が少ない非常に短い入力を無視すること。

よくある質問

アテンションはどのような問題を解決しますか?

単純なエンコーダー・デコーダーモデルの固定ベクトルボトルネックを解消します。入力全体を1つのコンテキストベクトルに圧縮する代わりに、デコーダーは各ステップですべてのエンコーダー状態の新しい加重和を構築し、最も重要な位置に焦点を当てます。

BahdanauアテンションとLuongアテンションの違いは何ですか?

Bahdanau(加算型)アテンションは、小さなフィードフォワードネットワークで関連性スコアを学習しますが、Luong(乗算型)アテンションは、クエリとキー間のドット積を使用し、計算コストが低くなります。

どのくらいのデータが必要ですか?

少なくとも数百例を計画してください。約500例以下ではメカニズムは意味のある重みを学習するのに苦労し、過学習します。約100例未満ではアテンションベースのトレーニングは価値がありません。Random ForestやXGBoostのようなより単純なモデルの方が適しています。

アテンション重みを説明として読むことはできますか?

重みは、モデルがどこに焦点を当てたかを示す解釈可能なアライメントを形成し、これは非常に役立ちます。これを完全なまたは決定的な説明ではなく、役立つ手がかりとして扱ってください。

関連する手法

参考文献

  1. Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR.

    出版物の文献を開く
    コピーしました。
  2. Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421.

    DOI 文献を開く
    コピーしました。