Skip to content
返回搜索结果

问答 (QA)

类型
NLP text-comprehension task

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

问答是一项自然语言处理任务,它通过抽取式或生成式方法,自动回答基于给定上下文段落的自然语言问题。这项任务通过 Rajpurkar 等人 (2016) 的 SQuAD 基准测试得以明确,随后 XLNet (Yang 等人,2019) 等模型进一步提高了阅读理解的准确性。

方法背后的直觉

当你提出一个问题时,答案通常存在于相关的文本主体中。问答系统会结合问题阅读上下文段落,并给出回应。抽取式系统定位并复制回答问题的确切文本片段,而生成式系统则用自己的语言撰写答案。无论哪种方式,模型都锚定于提供的上下文,而不是自由猜测。

历史学

现代问答因 SQuAD (Rajpurkar et al., 2016) 的发布而重塑,这是一个包含超过 100,000 个针对上下文段落提出的问题的大型阅读理解数据集,它为该领域提供了机器理解的通用基准。随后的预训练方法,如 XLNet (Yang et al., 2019),推动了最强 QA 系统背后的自回归语言建模。

何时使用

当您有文本问题需要回答,并且有一个预期包含这些答案的上下文段落时,问答就适用。它适用于文本数据的探索性和描述性工作,并受益于少量示例进行测试。当文本专业时,使用领域特定模型是值得的。如果没有上下文段落,该方法将无从阅读,并且通用模型在小众术语上的表现会不佳。

局限与注意事项

  • 需要相关的上下文段落;如果没有上下文可供阅读,该方法无法可靠地回答。
  • 通用模型在领域特定文本上的准确性低于针对该领域调整的模型。
  • 质量取决于答案在所提供段落中的实际包含程度和措辞方式。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 将答案基于提供的上下文段落,而不是自由生成,从而使回应可追溯到源文本。
  • 支持抽取式答案(从文本中复制的精确片段)和用自然语言撰写的生成式答案。
  • 可以插入领域特定模型,以提高专业材料的准确性,而无需改变整体流程。

应用

  • 根据文档或知识库回答用户问题。
  • 从段落中提取精确答案片段的阅读理解系统。
  • 响应文本语料库上的自然语言查询的客户和研究支持工具。
  • 使用经过调整的模型访问技术或领域特定文档中的信息。

使用方式

使用方式

1

该系统接受两个输入:一个自然语言问题和一个假定包含答案的上下文段落。由于该方法基于所提供的上下文,因此拥有相关的段落是任何合理答案的先决条件。

2

问题和上下文由语言模型一起阅读,该模型构建一个联合表示,捕捉问题中的词语与段落中的词语之间的关系。领域特定模型能更准确地编码术语,并在专业文本上产生更高的准确性。

3

生成答案。抽取式方法预测上下文中最佳回答问题的片段的起始和结束位置,并返回该确切文本;生成式方法则根据问题和上下文撰写自由形式的答案。输出是与段落相关的自然语言答案。

4

预测的答案会与参考答案进行评分——通常使用 SQuAD 等基准测试上的精确匹配和 F1 指标——并在系统部署前检查失败案例。

常见陷阱

  • 提供一个实际上不包含答案的上下文段落会迫使模型猜测,从而产生自信但错误的回答。
  • 将通用模型应用于高度专业化的术语会降低准确性;对于小众文本,首选领域特定模型。
  • 用相同的标准判断抽取式和生成式输出可能会产生误导——抽取式答案最好使用精确匹配和 F1 与参考片段进行评分。
  • 跳过评估会隐藏系统性故障模式;在信任系统之前,请检查基准测试中的错误答案。

常见问题

抽取式问答和生成式问答有什么区别?

抽取式方法在上下文中找到并返回回答问题的确切文本片段。生成式方法则根据问题和上下文,用自己的语言撰写答案。抽取式答案保持原文不变,易于与源文本进行评分;生成式答案读起来更自然,但可能会偏离段落。

我总是需要一个上下文段落吗?

在这种方法中,是的。系统根据假定包含答案的所提供上下文进行回答。如果没有相关的段落可供阅读,模型将无法为其答案提供依据,可靠性会急剧下降。

我应该使用领域特定模型吗?

如果您的文本是专业的,领域特定模型比通用模型能提供更高的准确性,因为它能更忠实地编码术语。对于通用文本,通用模型通常足够。

问答准确性如何衡量?

预测的答案与参考答案进行比较,使用精确匹配和 F1 等指标,通常在 SQuAD 等基准测试上进行。在部署之前,结合这些分数检查失败案例可以揭示系统性弱点。

相关方法

参考文献

  1. Rajpurkar, P. et al. (2016). SQuAD: 100,000+ Questions for Machine Comprehension of Text. EMNLP.

    打开 DOI 文献
    已复制。
  2. Yang, Z. et al. (2019). XLNet: Generalized Autoregressive Pretraining for Language Understanding. NeurIPS.

    打开出版物文献
    已复制。