Skip to content
返回搜索结果

共指消解

提出者
Hobbs (1978); Lee et al. (2017, neural end-to-end)
年份
1978
类型
NLP information-extraction task

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

共指消解是一项自然语言处理任务,旨在检测文本中不同表达(例如,一个名称、一个后续代词以及一个描述性短语)何时指向同一个实体。该技术植根于 Hobbs (1978) 的早期语言学工作,并由 Lee et al. (2017) 的端到端神经网络模型进一步发展,它能提高信息抽取和文本理解的质量。

方法背后的直觉

当我们阅读时,我们能自动识别出“她”、“作者”和“居里夫人”可能指代同一个人。但机器无法做到这一点。共指消解旨在教会系统建立这些关联:它识别出所有可能指代一个实体的表达(即“提及”),判断哪些提及指向同一事物,并将它们归为一组,从而使后续处理流程能像人类一样理解文本。

历史学

共指消解源于早期的计算语言学,特别是 Hobbs (1978) 的工作,他将代词指代如何通过句法结构进行消解进行了形式化。该领域后来从这种基于规则和基于特征的系统转向学习模型,Lee et al. (2017) 引入了一种端到端神经网络方法,该方法直接评估提及及其链接,而无需手工构建的中间步骤流水线。

何时使用

当您拥有英文或其他受支持语言的文本,并希望在文档中跟踪实体时,共指消解是适用的——通常作为信息抽取或深度文本理解的构建块。事先进行命名实体识别(NER)处理会有所帮助。它的目的是描述和解释,并且需要至少适量的文本(大约20个单元)才有意义;没有文本数据则无法运行。

局限与注意事项

  • 仅适用于英语或其他受支持的语言;在这些语言之外的覆盖范围有限。
  • 准确性取决于可靠的上游步骤——提及检测薄弱或缺少命名实体识别会降低聚类效果。
  • 模糊或远距离的指代仍然很困难,因此有些链接会出错。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 将分散的提及——名称、代词和描述性短语——链接回单个实体,从而提高信息抽取的准确性。
  • 通过解析每个表达所指代的人或事物,提高下游文本理解任务的质量。
  • 支持基于规则的语言学方法和现代端到端神经网络模型。

应用

  • 信息抽取——整合文档中对一个实体的所有引用。
  • 通过将代词解析为其指代对象,改进问答和阅读理解。
  • 从文本中构建知识图谱和以实体为中心的摘要。
  • 清理用于健康、社会、经济、工程和商业研究语料库中下游分析的文本。

使用方式

使用方式

1

文本首先进行分析准备:被分割成句子和词元,并经过支持性语言处理流程。命名实体识别(NER)步骤在此处是一个有用的前置处理,因为了解实体所在位置能使后续的提及检测更加可靠。

2

识别候选提及——即可能指代实体的文本片段,例如专有名词、名词短语和代词。这会产生一组方法必须处理其指代对象的表达。

3

对于每一对候选提及,系统判断它们是否指代同一实体。经典方法在句法和近指性上应用语言学规则,而端到端神经网络模型则直接根据学习到的表示来评估提及对。

4

成对的链接被解析成簇:所有被判断为指向同一实体的提及都被归为一组。每个簇代表一个真实世界的实体,下游任务现在可以将“她”、“作者”和原始名称视为一个单一的指代对象。

常见陷阱

  • 跳过命名实体识别或提及检测步骤会导致链接器从质量较差的候选词中工作,并产生嘈杂的聚类。
  • 将为一种语言构建的模型应用于另一种受支持的语言,会悄无声息地降低准确性。
  • 将每个成对链接都视为确定无疑——模糊代词和远距离先行词是常见的错误来源,应进行检查。

常见问题

共指消解和命名实体识别有什么区别?

命名实体识别(NER)在文本中查找并标注实体提及(例如人名或组织名)。共指消解更进一步,它判断这些提及——以及代词和描述性短语——哪些指代同一个真实世界实体,并将它们分组。

我需要先进行命名实体识别(NER)步骤吗?

这并非严格要求,但命名实体识别(NER)处理是一个有益的前置步骤:了解实体所在位置能使提及检测和由此产生的聚类更加可靠。

它适用于英语以外的语言吗?

它适用于英语或其他受支持的语言。在您的模型支持的语言之外,覆盖范围有限,因此所选模型必须与您的文本语言匹配。

基于规则还是神经网络——我应该使用哪种方法?

基于规则的方法,沿袭 Hobbs (1978) 的传统,在句法和近指性上应用语言学规则,并且透明。端到端神经网络模型,例如 Lee et al. (2017) 的模型,直接学习评估提及及其链接,通常能以更高的计算成本更好地处理更困难的情况。

相关方法

参考文献

  1. Lee, K. et al. (2017). End-to-end Neural Coreference Resolution. EMNLP.

    打开出版物文献
    已复制。
  2. Hobbs, J.R. (1978). Resolving Pronoun References. Lingua, 44(4), 311-338.

    打开 DOI 文献
    已复制。