Skip to content
検索結果に戻る

Longformer / BigBird

提唱者
Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
年
2020
種類
Sparse-attention Transformer for long sequences

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

Longformer (Beltagy, Peters & Cohan, 2020) や BigBird (Zaheer et al., 2020) のような長系列Transformerは、標準的なTransformerの O(n²) のアテンションを、系列長に対して線形 O(n) でスケールするスパースアテンションパターンに置き換えます。これにより、単一のモデルで、従来のTransformerには収まらないような数千トークン(文書全体、法律文書、ゲノム配列など)にアテンドすることが可能になります。

手法の背後にある直感

標準的なTransformerは、すべてのトークンを他のすべてのトークンと比較するため、テキストを2倍にすると計算量は約4倍になります。そのため、ほとんどのモデルは512トークン程度で上限となります。長系列Transformerは、ほとんどの有用な関係は局所的であることに着目し、各トークンは主にスライディングウィンドウを通じて近傍のトークンに注目し、一部の指定されたトークンのみがすべてに注目することを許可します。これにより、コストは系列長の増加に比例して増加し、爆発することはないため、非常に長い文書も扱えるようになります。

歴史学

どちらの方法も2020年に、Transformerを短い入力に制限していた二次アテンションのボトルネックへの対応として登場しました。Longformer(Beltagy, Peters & Cohan)は長文文書のためにスライディングウィンドウとグローバルのアテンションを導入し、BigBird(Zaheer et al., NeurIPS)はスパースパターンにランダムアテンションを追加し、その表現力に関する理論的結果を提供しました。これら二つは、長系列処理の標準的な経路としてスパースアテンションを確立しました。

使うべき場面

文書が長い(通常512トークンを超える)場合で、文書全体での分類や説明が必要な場合に、長系列Transformerを使用します。法律文書、法律文書、またはゲノム配列などです。真に長い入力が利用可能であることを前提とし、GPUが強く推奨され、グローバルトークンの位置は賢明に選択する必要があります。ある程度のデータが必要です。約500文書未満ではモデルは過学習する傾向があり、約100文書未満ではトレーニングは意味がなく、Random ForestやXGBoostのような古典的なMLが好まれます。

限界と注意点

  • GPUが実質的に必要です。トレーニングと推論は計算負荷が高いです。
  • 文書セットが小さい場合(約500文書未満)に過学習し、結果が信頼できません。
  • 約100文書未満ではトレーニングは意味がなく、古典的なMLを使用すべきです。
  • グローバルトークンの位置を正しく選択しないと、長距離情報フローが低下します。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • 標準的なTransformerのウィンドウを超える数千トークン(文書全体)を処理します。
  • 密なアテンションの二次コスト O(n²) ではなく、線形 O(n) のアテンションスケーリング。
  • 長距離情報フローのための、局所的なスライディングウィンドウコンテキストとグローバルトークンを組み合わせます。
  • 法律、ゲノミクス、長文テキストにおける長文分類に適しています。

応用

  • レポートや記事などの長文文書の分類。
  • 標準的なTransformerウィンドウを超える法律文書の分析。
  • 長いゲノム配列のモデリング。
  • 切り抜かれた抜粋ではなく、文書全体にわたる説明と分類タスク。

使い方

使い方

1

標準的なTransformerの密な全ペアアテンション(系列長 n に対して O(n²) のコストがかかる)をドロップし、コストが O(n) のみであるスパースパターンで近似することが中心的な動きです。アテンションがボトルネックであるため、この単一の変更が数千トークンの入力を可能にする鍵となります。

数式
O(n^2) \;\rightarrow\; O(n)
2

ほとんどのアテンションは、各トークンの周りのスライディングウィンドウに制限されており、トークンは系列全体ではなく、近傍の固定された範囲のトークンにアテンドします。局所的なコンテキスト(左右の単語)が信号の大部分を運び、この範囲のみを計算することが、コストが系列長に比例して増加する理由です。

3

指定された少数のグローバルトークンは、系列全体にアテンドし、系列全体からアテンドされることが許可されており、モデルが文書全体で長距離情報を流すための経路を提供します。これらのグローバルトークンの位置を正しく選択すること(例えば、分類トークンやクエリトークン)は、テキストの離れた部分間の橋渡しとなるため重要です。

4

スパースアテンションエンコーダの上に、タスクヘッドが最終結果を生成します。例えば、文書レベルの分類や、長大な入力に対する説明予測などです。結果として、512トークンのTransformerでは切り捨てる必要があった、文書全体を処理できるモデルが得られます。

よくある落とし穴

  • 標準的な512トークンTransformerに収まる短いテキストに適用し、メリットなしに複雑さを負担すること。
  • グローバルトークンの位置を不注意に選択し、モデルの長距離パスを破壊すること。
  • 短い文書セット(nが数百未満)でトレーニングし、過学習した結果を信頼すること。
  • GPUなしでトレーニングを試み、実用的なモデルを諦めること。

よくある質問

標準的なTransformerとどう違うのですか?

標準的なTransformerは密なアテンションを使用し、すべてのトークンを他のすべてのトークンと比較して O(n²) のコストがかかるため、実際には入力が約512トークンに制限されます。LongformerとBigBirdはスパースアテンション(主に局所的なスライディングウィンドウと少数のグローバルトークン)を使用するため、コストは線形に増加し、数千トークンの入力が可能になります。

いつ古典的なMLよりもLongformerやBigBirdを選ぶべきですか?

テキストが本当に長い(512トークンを超える)場合で、十分な文書がある場合に使用します。約500文書未満ではモデルは過学習する傾向があり、約100文書未満ではトレーニングは意味がないため、Random ForestやXGBoostのような古典的な手法の方が安全な選択肢です。

グローバルトークンとは何ですか?なぜ重要ですか?

グローバルトークンは、系列全体にアテンドし、系列全体からアテンドされることが許可されている少数の位置です。これらは、文書全体で長距離情報が移動するチャネルであるため、その位置を正しく選択することがパフォーマンスにとって重要です。

特別なハードウェアは必要ですか?

GPUが強く推奨されます。これらのモデルは依然として、かなりのサイズのネットワークで長系列を処理するため、線形スケーリングアテンションを使用しても、トレーニングと推論は計算負荷が高いです。

関連する手法

参考文献

  1. Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.

    出版物の文献を開く
    コピーしました。
  2. Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.

    出版物の文献を開く
    コピーしました。