文埋め込み(Sentence Embeddings)
- 提唱者
- Kiros et al. (Skip-Thought, 2015); Reimers & Gurevych (Sentence-BERT, 2019)
- 年
- 2015–2019
- 種類
- Representation learning / embedding
- 系統
- Deep learning / NLP / CV
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
文埋め込みは、文または短いテキストを、その意味的意味を捉える単一の固定長密ベクトルに変換します。これらのベクトルにより、意味的類似性、クラスタリング、検索、分類などの下流タスクが、生のテキストではなく数値表現上で動作できるようになり、これらは現代のNLPパイプラインにおける最も汎用性の高い構成要素の1つとなっています。
手法の背後にある直感
すべての文を、意味が近接性を決定する高次元空間内の点として想像してください。異なる言葉で同じことを言っている2つの文は非常に近くに配置され、無関係な文は遠く離れて配置されます。文埋め込みモデルは、大規模コーパスからこの幾何学的構造を学習します。モデルがトレーニングされると、新しい文の埋め込みは単一のフォワードパスで実行され、追加のトレーニングは不要です。そして、どの下流タスクもこれらの座標を単純に使用します。この事前学習済み幾何学的構造の再利用が、文埋め込みを強力にしています。タスク固有のラベルなしで、数百万のテキストを比較、クラスタリング、または分類できます。
歴史学
初期の文表現は、平均化された単語ベクトル(word2vec、GloVe)を使用していました。Skip-Thought Vectors(Kiros et al., 2015)は、エンコーダ・デコーダをトレーニングして周囲の文を予測し、最初のディープコンテキスト文埋め込みを生成しました。InferSent(Conneau et al., 2017)はNLIペアでファインチューニングし、強力な転移を示しました。Sentence-BERT(Reimers & Gurevych, 2019)は、Siamese BERTアーキテクチャをNLIデータに適用し、BERT由来の埋め込みの品質を劇的に向上させると同時に、10,000の文ペアの類似性計算時間を65時間から約5秒に短縮しました。
使うべき場面
文埋め込みは、意味的類似性の測定、ドキュメントのクラスタリング、密な検索の実行、またはタスク固有のラベルなしでの分類器へのテキストの入力が必要な場合に使用してください。中程度から大量のテキストがあり、タスク間で転移する汎用表現が必要な場合に優れています。生の文埋め込み(ファインチューニングまたはタスクヘッドなし)は、調整された確率または解釈可能な特徴量重みが必要な場合には使用しないでください。また、非常に短いテキスト(1〜2語)、事前学習済みエンコーダがない言語、または計算リソースが非常に制約されている場合(数百万の長いドキュメントのエンコーディングは高価になる可能性があるため)にも適していません。
限界と注意点
- 埋め込みの品質は、事前学習済みモデルの品質とドメインに大きく依存します。ドメイン外のテキストはパフォーマンスを低下させます。
- 非常に長いドキュメントを単一の固定ベクトルとして表現すると、細かい局所情報が失われます。
- 下流タスクの決定のためのコサイン類似度の閾値は、経験的に調整する必要があり、普遍的ではありません。
- 数百万のドキュメントの埋め込みを保存するには、かなりのディスク容量が必要です。大規模なエンコーダモデルにはGPUメモリが必要です。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- Bag-of-wordsやTF-IDFが見逃す、同義語や言い換えのような豊かな意味的意味を捉えます。
- 事前学習済みモデルは、ほとんどまたは全くラベル付きデータなしで新しいドメインにそのまま転移します。
- 推論が高速:エンコード後は、FAISSスタイルのインデックスを使用して数百万のベクトルに対する類似性検索がミリ秒単位で実行されます。
- 汎用性が高い:同じ埋め込みがクラスタリング、検索、意味的重複排除、分類に役立ちます。
- 多言語バリアント(例:paraphrase-multilingual-mpnet)は、単一のモデルでクロスリンガルな類似性を扱います。
応用
- 学術的および商業的なテキストコーパスにおける意味的テキスト類似性および言い換え検出。
- オープンなドメイン質問応答および検索エンジンにおける密なパッセージ検索。
- 事前定義されたカテゴリなしでのトピック発見のためのドキュメントおよび段落クラスタリング。
- ラベルプロトタイプとの埋め込み比較によるゼロショットおよびフューショットテキスト分類。
- 大規模な書誌データベースにおけるほぼ重複するドキュメントの検出および重複排除。
- 多言語研究合成におけるクロスリンガルな意味的アラインメント。
使い方
使い方
入力文は、エンコーダの語彙に従ってトークン(サブワードまたは単語)に分割されます。通常はBERTスタイルのWordPieceまたはSentencePieceトークナイザーが使用されます。 [CLS]や[SEP]のような特殊トークンが文の境界を示すために挿入され、エンコーダへのシーケンス準備が整います。
最も一般的にはBERTやRoBERTaのような事前学習済みTransformerであるディープエンコーダが、トークンシーケンスを処理し、すべての位置に対してコンテキスト化された隠れ状態を生成します。各隠れ状態は、文全体のコンテキストにおけるそのトークンの情報を含んでいます。
数式
\mathbf{s} = \text{Pooling}(\text{Encoder}(w_1, \ldots, w_n)) \in \mathbb{R}^dトークンごとの隠れ状態は、プーリング操作によって1つの固定サイズベクトルに集約されます。平均プーリング(すべてのトークンベクトルを平均化)とCLSトークン抽出が最も一般的な2つの選択肢です。Sentence-BERTは、平均プーリングがすべてのトークン状態に対して、生のCLSベクトルよりも一貫して優れた性能を発揮することを示しました。
高品質な埋め込みのために、エンコーダは対照学習または意味的類似性目的関数でファインチューニングされます。Sentence-BERTは、自然言語推論ペアでトレーニングされた Siameseネットワークを使用し、意味的に類似した文を埋め込み空間内で近づけ、類似性の低い文を遠ざけます。
推論時には、2つの文ベクトルがコサイン類似度で比較されます。これは、単位正規化されたベクトルの内積です。1に近いスコアは意味的等価性を示し、0に近いスコアは直交性を示します。この単一の数値が、検索、重複排除、クラスタリング、分類タスクを推進します。
数式
\text{sim}(\mathbf{s}_i, \mathbf{s}_j) = \frac{\mathbf{s}_i \cdot \mathbf{s}_j}{\|\mathbf{s}_i\|\|\mathbf{s}_j\|}よくある落とし穴
- ファインチューニングなしで、ベースBERTモデルの生の[CLS]トークンを文埋め込みとして使用すること。これは、低品質で非等方性の埋め込みを生成します。
- 異なるエンコーダアーキテクチャまたはプーリング戦略によって生成された埋め込みを比較すること。これにより、コサインスコアが比較不可能になります。
- ドメインのホールドアウトデータで調整せずに、類似性閾値(例:0.85は「重複」を意味する)を選択すること。
- 内積のみの検索インデックスを使用する場合、コサイン類似度を計算する前にベクトルを正規化する必要性を無視すること。
- 埋め込みを解釈可能と見なすこと。個々の次元はそれ自体では意味的な意味を持ちません。
よくある質問
どの事前学習済みモデルを使用すべきですか?
英語の汎用類似性については、sentence-transformersライブラリの'all-mpnet-base-v2'が強力なデフォルトです。多言語タスクについては、'paraphrase-multilingual-mpnet-base-v2'が50以上の言語をカバーしています。モデルをコミットする前に、必ずターゲットドメインの小さなサンプルでベンチマークを行ってください。
これは直接BERTを使用するのとどう違いますか?
標準的なBERTは、トークンレベルのタスクに最適化されたトークンごとの表現を生成します。その生の出力(例:[CLS]ベクトル)を文埋め込みとして使用すると、コサイン類似度の結果が悪くなります。Sentence-BERTは、対照的な目的でBERTをファインチューニングするため、結果のベクトルは文レベルの比較のために明示的に構造化されています。
いくつのラベル付き例が必要ですか?
sentence-transformersライブラリの市販の文埋め込みモデルは、推論にラベル付き例を必要としません。ドメインでファインチューニングする場合でも、類似性ラベル付きの数百の文ペアがあれば、パフォーマンスを顕著に向上させることができます。
長いドキュメントに文埋め込みを使用できますか?
ほとんどのエンコーダにはトークン制限があります(BERTベースのモデルでは512トークン)。より長いテキストの場合、ドキュメントを文または段落にチャンク化し、各チャンクを埋め込み、チャンクベクトルをプーリングすることができます。あるいは、Longformerのようなモデルは、より長いコンテキストをネイティブに処理します。
埋め込みの品質をどのように評価しますか?
標準的なベンチマークには、STS-B(Semantic Textual Similarity Benchmark)およびMTEB(Massive Text Embedding Benchmark)が含まれます。独自のデータでは、人間が注釈を付けた文ペアと類似性スコアがあれば、モデルスコアと人間の判断との間のSpearman相関を計算できます。
関連する手法
参考文献
Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP), 3980–3990.
DOI 文献を開くコピーしました。Kiros, R., Zhu, Y., Salakhutdinov, R., Zemel, R. S., Torralba, A., Urtasun, R., & Fidler, S. (2015). Skip-Thought Vectors. Advances in Neural Information Processing Systems (NeurIPS), 28.
出版物の文献を開くコピーしました。