它有什么作用?
文本蕴涵,也称为自然语言推理 (NLI),是一项自然语言处理任务,旨在判断一段文本(前提)是蕴涵、矛盾还是中立于另一段文本(假设)。该任务由 PASCAL 文本蕴涵识别挑战赛(Dagan, Glickman & Magnini, 2006)正式确立,并由 MultiNLI 语料库(Williams, Nangia & Bowman, 2018)扩展,是问答和事实核查流程的基础。
方法背后的直觉
两个句子可以存在不同的逻辑关系:如果你接受第一个句子,那么第二个句子可能自动成立,可能明显与第一个句子冲突,或者可能根本不相关。文本蕴涵教会机器做出这种判断——给定一个前提和一个假设,它判断该假设是被蕴涵、矛盾还是中立。这种三向判断是检查候选答案是否得到源文本支持或某个主张是否有证据支持的基石。
历史学
文本蕴涵由 PASCAL 文本蕴涵识别挑战赛(Dagan, Glickman & Magnini, 2006)确立为一项共享任务,该挑战赛将蕴涵识别视为一个跨越 NLP 应用的通用语义问题。MultiNLI 语料库(Williams, Nangia & Bowman, 2018)后来提供了广泛覆盖、多类型训练数据,从而促成了驱动当今问答和事实核查系统的大型预训练 NLI 模型。
何时使用
当您的数据包含前提-假设文本对,并且您需要判断它们之间的逻辑关系时(通常在问答或事实核查链中),请使用文本蕴涵。它至少需要几十个文本对,并且在目标语言有大型预训练语言模型可用时效果最佳。如果您只有孤立的文档而不是配对文本,则此任务不适用。
局限与注意事项
- 要求文本组织成前提-假设对;孤立文档不足以完成任务。
- 质量严重依赖于大型预训练语言模型的可用性和语言覆盖范围。
- 微妙或领域特定的推理仍然困难,中立类别通常是最容易出错的。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 提供原则性的三向判断(蕴涵/矛盾/中立),而非单一的相似度分数。
- 直接支持下游的问答和事实核查流程。
- 可以使用大型预训练 NLI 模型进行零样本运行,无需特定任务的带标签训练数据。
应用
- 问答——检查候选答案是否被源段落蕴涵。
- 事实核查——判断某个主张是否得到证据文本的支持或矛盾。
- 跨文档和摘要的信息一致性检查。
- 通过候选标签蕴涵作为零样本文本分类的底层引擎。
使用方式
使用方式
输入组织成前提-假设对。每个示例都将一个前提文本与一个假设文本配对,需要判断它们之间的关系;在问答和事实核查中,这些对是由源段落和候选主张或答案形成的。
一个大型预训练语言模型读取这对文本,并将其转化为一个上下文表示,该表示同时捕捉前提和假设的含义。由于该任务依赖于微妙的逻辑关系,因此首选强大的预训练模型,而非手工构建的特征。
模型为这对文本分配三个标签之一——蕴涵、矛盾或中立。一种常见的实际实现方式是将前提视为候选标签,并运行零样本蕴涵分类器(例如,在 MNLI 上微调的 BART 模型)来评估关系。
预测结果根据带标签的文本对使用准确率和各类别指标进行评分,并在部署前检查不一致之处。由于这三个类别的分布可能不均匀,因此各类别精确率和召回率与总体准确率同样重要。
常见陷阱
- 将蕴涵与单纯的表面相似性混淆——两个句子可以共享词语但彼此矛盾。
- 将为一种语言或领域预训练的模型应用于另一种语言或领域会降低推理判断的质量。
- 当三个类别不平衡时,仅报告总体准确率;应检查各类别精确率和召回率。
- 在少于推荐的约30个文本对上运行任务,这会使任何评估都不可靠。
常见问题
蕴涵、矛盾和中立之间有什么区别?
给定一个前提,如果接受前提意味着假设成立,则假设被标记为蕴涵;如果前提成立时假设不可能为真,则假设被标记为矛盾;如果两者都不成立——前提既不支持也不排除假设,则假设被标记为中立。
文本蕴涵与句子相似性有何不同?
相似性衡量两个句子有多相似,它是对称且分级的。蕴涵是一种有方向的逻辑关系:前提可以蕴涵假设,但反之不一定成立,并且两个高度相似的句子仍然可能彼此矛盾。
我需要带标签的训练数据吗?
不一定。使用大型预训练 NLI 模型,您可以零样本运行该任务——例如,将前提视为候选标签并评估假设——尽管一小组带标签的前提-假设对有助于评估和领域适应。
为什么它用于事实核查和问答?
这两个任务都归结为检查一段文本是否得到源文本的支持。蕴涵恰好提供了这种判断,因此当源文本蕴涵某个主张或候选答案时,可以接受它;当源文本与它矛盾时,则拒绝它。