它有什么作用?
问答是一项自然语言处理任务,它通过抽取式或生成式方法,自动回答基于给定上下文段落的自然语言问题。这项任务通过 Rajpurkar 等人 (2016) 的 SQuAD 基准测试得以明确,随后 XLNet (Yang 等人,2019) 等模型进一步提高了阅读理解的准确性。
方法背后的直觉
当你提出一个问题时,答案通常存在于相关的文本主体中。问答系统会结合问题阅读上下文段落,并给出回应。抽取式系统定位并复制回答问题的确切文本片段,而生成式系统则用自己的语言撰写答案。无论哪种方式,模型都锚定于提供的上下文,而不是自由猜测。
历史学
现代问答因 SQuAD (Rajpurkar et al., 2016) 的发布而重塑,这是一个包含超过 100,000 个针对上下文段落提出的问题的大型阅读理解数据集,它为该领域提供了机器理解的通用基准。随后的预训练方法,如 XLNet (Yang et al., 2019),推动了最强 QA 系统背后的自回归语言建模。
何时使用
当您有文本问题需要回答,并且有一个预期包含这些答案的上下文段落时,问答就适用。它适用于文本数据的探索性和描述性工作,并受益于少量示例进行测试。当文本专业时,使用领域特定模型是值得的。如果没有上下文段落,该方法将无从阅读,并且通用模型在小众术语上的表现会不佳。
局限与注意事项
- 需要相关的上下文段落;如果没有上下文可供阅读,该方法无法可靠地回答。
- 通用模型在领域特定文本上的准确性低于针对该领域调整的模型。
- 质量取决于答案在所提供段落中的实际包含程度和措辞方式。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 将答案基于提供的上下文段落,而不是自由生成,从而使回应可追溯到源文本。
- 支持抽取式答案(从文本中复制的精确片段)和用自然语言撰写的生成式答案。
- 可以插入领域特定模型,以提高专业材料的准确性,而无需改变整体流程。
应用
- 根据文档或知识库回答用户问题。
- 从段落中提取精确答案片段的阅读理解系统。
- 响应文本语料库上的自然语言查询的客户和研究支持工具。
- 使用经过调整的模型访问技术或领域特定文档中的信息。
使用方式
使用方式
该系统接受两个输入:一个自然语言问题和一个假定包含答案的上下文段落。由于该方法基于所提供的上下文,因此拥有相关的段落是任何合理答案的先决条件。
问题和上下文由语言模型一起阅读,该模型构建一个联合表示,捕捉问题中的词语与段落中的词语之间的关系。领域特定模型能更准确地编码术语,并在专业文本上产生更高的准确性。
生成答案。抽取式方法预测上下文中最佳回答问题的片段的起始和结束位置,并返回该确切文本;生成式方法则根据问题和上下文撰写自由形式的答案。输出是与段落相关的自然语言答案。
预测的答案会与参考答案进行评分——通常使用 SQuAD 等基准测试上的精确匹配和 F1 指标——并在系统部署前检查失败案例。
常见陷阱
- 提供一个实际上不包含答案的上下文段落会迫使模型猜测,从而产生自信但错误的回答。
- 将通用模型应用于高度专业化的术语会降低准确性;对于小众文本,首选领域特定模型。
- 用相同的标准判断抽取式和生成式输出可能会产生误导——抽取式答案最好使用精确匹配和 F1 与参考片段进行评分。
- 跳过评估会隐藏系统性故障模式;在信任系统之前,请检查基准测试中的错误答案。
常见问题
抽取式问答和生成式问答有什么区别?
抽取式方法在上下文中找到并返回回答问题的确切文本片段。生成式方法则根据问题和上下文,用自己的语言撰写答案。抽取式答案保持原文不变,易于与源文本进行评分;生成式答案读起来更自然,但可能会偏离段落。
我总是需要一个上下文段落吗?
在这种方法中,是的。系统根据假定包含答案的所提供上下文进行回答。如果没有相关的段落可供阅读,模型将无法为其答案提供依据,可靠性会急剧下降。
我应该使用领域特定模型吗?
如果您的文本是专业的,领域特定模型比通用模型能提供更高的准确性,因为它能更忠实地编码术语。对于通用文本,通用模型通常足够。
问答准确性如何衡量?
预测的答案与参考答案进行比较,使用精确匹配和 F1 等指标,通常在 SQuAD 等基准测试上进行。在部署之前,结合这些分数检查失败案例可以揭示系统性弱点。