何をする手法か?
質問応答は、与えられた文脈パッセージに基づいて、抽出型または生成型のいずれかのアプローチを用いて、自然言語の質問に自動的に回答する自然言語処理タスクである。このタスクは、Rajpurkarら (2016) によるSQuADベンチマークによって明確化され、その後XLNet (Yang et al., 2019) のようなモデルが読解精度を向上させた。
手法の背後にある直感
質問をすると、その答えは通常、関連する本文のどこかに存在する。質問応答システムは、その文脈パッセージを質問と一緒に読み、応答を導き出す。抽出型システムは、質問に答える正確なテキスト範囲を見つけてコピーし、生成型システムは、自身の言葉で回答を作成する。いずれの場合も、モデルは自由に推測するのではなく、提供された文脈に固定される。
歴史学
現代の質問応答は、10万以上の質問が文脈パッセージに対して提示された大規模な読解データセットであるSQuAD (Rajpurkar et al., 2016) のリリースによって再形成され、この分野に機械的理解のための共通のベンチマークを提供した。その後のXLNet (Yang et al., 2019) のような事前学習手法は、最も強力なQAシステムの基盤となる自己回帰言語モデリングを進歩させた。
使うべき場面
質問応答は、回答すべきテキストの質問があり、それらの回答が含まれていると期待される文脈パッセージがある場合に適している。テキストデータの探索的および記述的な作業に適しており、テストするための適度な数の例から利益を得る。テキストが専門的である場合は、ドメイン固有のモデルを使用する価値がある。文脈パッセージがない場合、この手法は読むものがなく、専門用語に関する一般的なモデルは性能が低下する。
限界と注意点
- 関連する文脈パッセージが必要である。読むべき文脈がない場合、この手法は信頼性をもって回答できない。
- 汎用モデルは、そのドメインに合わせて調整されたモデルよりも、ドメイン固有のテキストでの精度が低い。
- 品質は、回答が提供されたパッセージにどれだけよく含まれているか、そしてその中でどのように表現されているかに依存する。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 提供された文脈パッセージに回答を根拠づけることで、ソーステキストに追跡可能な応答を維持し、自由形式の生成ではない。
- 抽出された回答――テキストからコピーされた正確な範囲――と、自然言語で書かれた生成された回答の両方をサポートする。
- ドメイン固有のモデルは、全体的なパイプラインを変更することなく、専門的な資料の精度を向上させるために組み込むことができる。
応用
- 文書または知識ベースに対してユーザーの質問に答えること。
- パッセージから正確な回答範囲を抽出する読解システム。
- テキストコーパス上の自然言語クエリに応答する顧客および研究サポートツール。
- 調整されたモデルを使用した技術的またはドメイン固有のドキュメント上の情報アクセス。
使い方
使い方
このシステムは、自然言語の質問と、回答が含まれていると想定される文脈パッセージの2つの入力を受け取る。この手法は提供された文脈に基づいているため、関連するパッセージが利用可能であることが、 sensible な回答のための前提条件となる。
質問と文脈は、質問の単語とパッセージの単語の関係を捉える統合表現を構築する言語モデルによって一緒に読み取られる。ドメイン固有のモデルは、専門用語をより正確にエンコードし、専門的なテキストでより高い精度をもたらす。
回答が生成される。抽出型アプローチは、質問に最もよく答える文脈内の範囲の開始と終了を予測し、その正確なテキストを返す。生成型アプローチは、質問と文脈に基づいて自由形式の回答を作成する。出力は、パッセージに関連付けられた自然言語の回答である。
予測された回答は、参照回答と比較される――通常はSQuADのようなベンチマークでの完全一致とF1尺度で――そして、システムが展開される前に失敗例が検査される。
よくある落とし穴
- 実際には回答が含まれていない文脈パッセージを提供すると、モデルは推測を強いられ、自信はあるが間違った応答を生成する。
- 一般的なモデルを高度に専門化された専門用語に適用すると精度が低下する。ニッチなテキストにはドメイン固有のモデルを優先する。
- 抽出型および生成型の出力を同じ尺度で判断すると誤解を招く可能性がある――抽出型回答は、参照範囲に対して完全一致とF1でスコアリングするのが最適である。
- 評価をスキップすると体系的な失敗モードが隠される。システムを信頼する前に、ベンチマークでの間違った回答を検査する。
よくある質問
抽出型質問応答と生成型質問応答の違いは何ですか?
抽出型アプローチは、文脈内で質問に答える正確なテキスト範囲を見つけて返します。生成型アプローチは、質問と文脈に基づいて、自身の言葉で回答を作成します。抽出型回答はそのままの形で残り、ソースに対してスコアリングが容易ですが、生成型回答はより自然に読めますが、パッセージから逸脱する可能性があります。
常に文脈パッセージが必要ですか?
この手法では、はい。システムは、回答が含まれていると想定される提供された文脈に基づいて回答します。参照すべき関連パッセージがない場合、モデルは回答を根拠づけるものがなくなり、信頼性が急激に低下します。
ドメイン固有のモデルを使用すべきですか?
テキストが専門的である場合、ドメイン固有のモデルは、専門用語をより忠実にエンコードするため、汎用モデルよりも高い精度をもたらします。一般的なテキストの場合は、通常、一般的なモデルで十分です。
質問応答の精度はどのように測定されますか?
予測された回答は、SQuADのようなベンチマークで、完全一致やF1などの尺度を使用して参照回答と比較されます。失敗例をこれらのスコアと併せて検査することで、展開前に体系的な弱点が明らかになります。