何をする手法か?
テキスト含意、または自然言語推論(NLI)は、あるテキスト(前提)が別のテキスト(仮説)を含意するか、矛盾するか、あるいはそれに対して中立的であるかを判断する自然言語処理タスクです。PASCAL Recognising Textual Entailment Challenge(Dagan, Glickman & Magnini, 2006)によって形式化され、MultiNLIコーパス(Williams, Nangia & Bowman, 2018)によって拡張されたこのタスクは、質問応答および事実検証パイプラインの基盤となります。
手法の背後にある直感
2つの文は異なる論理的関係を持つことができます。最初の文を受け入れると、2番目の文は自動的に続くか、明らかに矛盾するか、あるいは単に関連がないかのいずれかです。テキスト含意は、機械にその判断を行わせることを教えます。前提と仮説が与えられた場合、仮説が含意されるか、矛盾するか、あるいはそのどちらでもないかを判断します。この3者択一の判定は、候補となる回答がソーステキストによって裏付けられているか、あるいは主張が証拠によって支持されているかを確認するための構成要素となります。
歴史学
テキスト含意は、PASCAL Recognising Textual Entailment Challenge(Dagan, Glickman & Magnini, 2006)によって共有タスクとして確立され、含意認識をNLPアプリケーション全体にわたる一般的な意味問題として枠組みました。その後、MultiNLIコーパス(Williams, Nangia & Bowman, 2018)が広範なカバレッジを持つマルチジャンルのトレーニングデータを提供し、今日の質問応答および事実チェックシステムを駆動する大規模な事前学習済みNLIモデルを可能にしました。
使うべき場面
前提・仮説テキストペアからなるデータがあり、それらの間の論理的関係を判断する必要がある場合 — 通常は質問応答または事実検証チェーン内 — テキスト含意を使用してください。少なくとも数十ペアのデータが必要であり、ターゲット言語で利用可能な大規模な事前学習済み言語モデルで最も効果を発揮します。ペア化されたテキストではなく、孤立した文書しかない場合は、このタスクは適用されません。
限界と注意点
- 前提・仮説ペアとして編成されたテキストが必要です。孤立した文書では不十分です。
- 品質は、大規模な事前学習済み言語モデルの可用性と言語カバレッジに大きく依存します。
- 微妙またはドメイン固有の推論は依然として困難であり、中立クラスはしばしば最もエラーが発生しやすいクラスです。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 単一の類似性スコアではなく、原則的な3者択一の判定(含意/矛盾/中立)を提供します。
- 下流の質問応答および事実検証パイプラインを直接サポートします。
- タスク固有のラベル付きトレーニングデータなしで、大規模な事前学習済みNLIモデルを使用してゼロショットで実行できます。
応用
- 質問応答 — 候補となる回答がソースパッセージによって含意されているかを確認する。
- 事実検証 — 主張が証拠テキストによって支持されているか矛盾しているかを判断する。
- 文書および要約間の情報整合性チェック。
- 候補ラベル含意によるゼロショットテキスト分類の基盤エンジンとしての機能。
使い方
使い方
入力は前提・仮説ペアに編成されます。各例は、前提テキストと、前提との関係を判断する必要がある仮説テキストを組み合わせています。質問応答および事実検証では、これらのペアはソースパッセージと候補となる主張または回答から形成されます。
大規模な事前学習済み言語モデルがペアを読み込み、前提と仮説の意味をまとめて捉えるコンテキスト表現に変換します。このタスクは微妙な論理的関係にかかっているため、手作業で構築された特徴量よりも強力な事前学習済みモデルが好まれます。
モデルはペアに3つのラベルのいずれか — 含意、矛盾、中立 — を割り当てます。一般的な実用的な実装では、前提を候補ラベルとして扱い、ゼロショット含意分類器(例えばMNLIでファインチューニングされたBARTモデル)を実行して関係をスコアリングします。
予測は、正解率およびクラスごとの指標を使用してラベル付きペアに対してスコアリングされ、不一致はデプロイ前に検査されます。3つのクラスは不均等に分布する可能性があるため、クラスごとの適合率と再現率は全体的な正解率と同じくらい重要です。
よくある落とし穴
- 含意を単なる表面的な類似性と混同すること — 2つの文は単語を共有していても互いに矛盾する可能性があります。
- ある言語またはドメインで事前学習されたモデルを別の言語またはドメインに適用すると、推論の判断が低下します。
- 3つのクラスが不均衡な場合に全体的な正解率のみを報告すること。クラスごとの適合率と再現率を検査してください。
- 推奨される約30ペア未満でタスクを実行すること。これにより、あらゆる評価が信頼できなくなります。
よくある質問
含意、矛盾、中立の違いは何ですか?
前提が与えられた場合、仮説は、前提を受け入れると仮説が続く場合に含意、仮説が前提のときに真であり得ない場合に矛盾、前提が仮説を支持も排除もしない場合に中立とラベル付けされます。
テキスト含意は文の類似性とどのように異なりますか?
類似性は2つの文の似ている度合いを測定し、対称的で段階的です。含意は方向性のある論理的関係です。前提は逆が成り立つことなく仮説を含意する可能性があり、2つの非常に類似した文はそれでも互いに矛盾する可能性があります。
ラベル付きトレーニングデータは必要ですか?
必ずしも必要ではありません。大規模な事前学習済みNLIモデルを使用すると、ゼロショットでタスクを実行できます — 例えば、前提を候補ラベルとして扱い、仮説をスコアリングするなどです。ただし、少数のラベル付き前提・仮説ペアのセットは、評価とドメイン適応に役立ちます。
なぜ事実検証と質問応答に使用されるのですか?
どちらのタスクも、あるテキストがソースによって裏付けられているかを確認することに還元されます。含意はまさにその判断を与えるため、主張または候補となる回答は、ソースがそれを含意するときに受け入れられ、ソースがそれに矛盾するときに拒否される可能性があります。