Skip to content
検索結果に戻る

Multi-Head Self-Attention

提唱者
Vaswani, A. et al.
年
2017
種類
Attention mechanism (Transformer core)

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

Multi-head self-attentionは、2017年にVaswaniらによって導入されたメカニズムであり、シーケンス内の各位置が他のすべての位置との関係を並列に計算することを可能にします。これはTransformerアーキテクチャの中核であり、BERT、GPT、T5の基盤となっています。

手法の背後にある直感

以前のシーケンスモデルは一度に1ステップずつテキストを処理していたため、長距離の関係を捉えるのが困難で、計算も遅くなっていました。Self-attentionは、各トークンが他のすべてのトークンを一度に直接参照し、それぞれにどれだけの重みを与えるかを決定できるようにするため、遠いコンテキストに依存する意味を単一の並列パスで捉えることができます。

歴史学

テキスト分類およびその他の教師あり自然言語タスク。

使うべき場面

長距離の依存関係を、ステップごとの再帰のボトルネックなしに直接捉えます。

限界と注意点

  • 実用的なトレーニングにはGPUが実質的に必要です。
  • アテンションだけでは順序に依存しないため、位置エンコーディングが必要です。
  • 小さなデータセット(約500未満)では過学習し、信頼性の高い表現を学習できません。
  • データが少なすぎると、約500例未満ではメカニズムが過学習し、有用な表現を学習できません。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 位置全体での完全な並列計算であり、最新のハードウェアでうまくスケールします。
  • 複数のヘッドが同時に異なるリレーションシップパターンにアテンドできます。
  • BERT、GPT、T5の共有バックボーンとして機能し、広範な転移学習サポートを備えています。
  • 計算コストとメモリコストはシーケンス長の二乗で増加するため、非常に長いシーケンスは高価になります。

応用

  • シーケンスデータに対する予測および表現学習。
  • BERTやGPTなどの大規模言語モデルの事前学習とファインチューニング。
  • シーケンス要素間の長距離の関係をモデル化する必要があるあらゆる設定。
  • なぜアテンションスコアはキー次元の平方根でスケーリングされるのですか?

使い方

使い方

1

各入力位置は、個別の重み行列を通じて、クエリ、キー、バリューの3つの学習済みベクトルにマッピングされます。クエリはトークンが探しているものを表し、キーは各トークンが提供するものを表し、バリューは渡されるコンテンツを表します。

数式
Q = XW_Q,\; K = XW_K,\; V = XW_V
2

すべてのクエリは、キーの次元の平方根でスケーリングされて安定性を保ち、すべてのキーと比較され、ソフトマックス関数を通してアテンションウェイトが生成されます。各位置の出力は、すべてのバリューベクトルの加重和であり、シーケンス全体からの情報を一度にブレンドします。

数式
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V
3

アテンションは、それぞれ独自の射影を持つ複数のヘッドとして並列に複数回実行されるため、異なるヘッドが異なる種類のリレーションシップに焦点を当てることができます。それらの出力は連結され、再び射影されてまとめられます。位置はそれ以外では交換可能であるため、順序情報は保持されます。

数式
\text{MultiHead}(X) = \text{Concat}(\text{head}_1,\dots,\text{head}_h)W_O

よくある落とし穴

  • 位置エンコーディングを忘れると、モデルは単語の順序に盲目になります。
  • 長いシーケンスの二乗コストを過小評価し、メモリ不足になる。
  • ランダムフォレストやXGBoostのようなより単純なモデルで十分な場合に、Transformerを使用しようとする。
  • Self-attentionは、2017年の論文「Attention Is All You Need」でVaswaniらによって導入され、Transformerアーキテクチャを提案し、再帰を完全に廃止しました。これはすぐに大規模な事前学習済み言語モデルの基盤となり、2019年にDevlinらはBERTを双方向Transformer上に構築し、同じメカニズムがGPTとT5の基盤となっています。

よくある質問

スケーリングがない場合、キー次元が増加するにつれてドット積が大きくなり、ソフトマックスを勾配消失領域に押し込みます。キー次元の平方根で割ることで、スコアを安定した範囲に保ちます。

複数のヘッドは何を追加しますか?

各ヘッドは独自のクエリ、キー、バリュー射影を学習するため、異なるヘッドが同時に異なる種類のリレーションシップにアテンドできます。それらの出力は連結され、単一の表現に再び射影されます。

なぜ位置エンコーディングが必要なのですか?

Self-attentionは位置を交換可能とみなすため、それ自体では順序の概念がありません。位置エンコーディングは各トークンの位置に関する情報を注入するため、モデルは単語の順序を使用できます。

どのくらいのデータが必要ですか?

データ飢餓型です。約500例未満では過学習し、信頼性の高い表現を学習できません。また、約100例未満ではTransformerのトレーニングは意味がありません。小さなサンプルでは、ランダムフォレストやXGBoostのようなより単純なモデルが好ましいです。

MethodMindで直接、独自のテキストデータに対してマルチヘッド・セルフアテンションを実行します。シーケンスとラベルをロードし、ヘッド数を設定し、エコシステム内で学習済み表現と予測を取得します。

関連する手法

参考文献

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS.

    出版物の文献を開く
    コピーしました。
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

    出版物の文献を開く
    コピーしました。