Skip to content
返回搜索结果

缩写词扩展 — 缩写和短语解析

提出者
Schwartz & Hearst (2003) — seminal algorithm for biomedical abbreviation detection
年份
2003
类型
NLP disambiguation pipeline

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

缩写词和首字母缩略词解析是一种自然语言处理流程,它利用文本的上下文线索,将文本中的每个短语映射到其完整定义。这在医学、法律和技术文档中尤为重要,因为同一个缩写词在不同领域可能具有完全不同的含义。该领域的基础算法由 Schwartz 和 Hearst (2003) 针对生物医学文献提出,此后已被神经和基于 Transformer 的方法所扩展。

方法背后的直觉

充满缩写词的文档难以阅读,也更难进行计算分析——相同的三个字母在不同领域甚至不同段落中可能意味着不同的事物。缩写词扩展就像一位专业的读者,他发现一个缩写词后,会在文本中查找其定义,并在每次出现该缩写词时将其完整写出。该方法不单纯依赖固定的词典,而是利用上下文:它寻找作者定义术语的模式(如“心肌梗死 (MI)”),记录这种配对,然后在短语再次出现的地方替换为长形式。

历史学

Schwartz 和 Hearst (2003) 针对生物医学文献正式提出了文本中缩写词解析的问题,他们提出了一种轻量级的左上下文算法,该算法成为该领域的基线。他们的方法表明,科学论文中的大多数缩写词都通过明确的括号定义引入,并且简单的对齐规则可以实现高精度。随后的工作通过机器学习分类器、条件随机场以及最近的 Transformer 编码器扩展了该方法,这些编码器共同建模短形式及其上下文。Veyseh 等人于 2022 年发布的 MACRONYM 数据集表明,即使对于大型语言模型,当涉及领域特定或宏观经济术语时,缩写词解析仍然是一个开放的挑战。

何时使用

缩写词扩展适用于任何流程,其中未解析的短语会阻碍下游任务,例如信息抽取、搜索索引或文本分类。它在生物医学和临床文本中最为关键——缩写词歧义可能导致患者安全错误——但在法律、金融和科学语料库中也同样有用。应提供领域词典或缩写词库;如果没有上下文窗口和词典,该方法会退化为猜测。语料库必须包含至少一些定义模式(短形式在其长形式旁边引入),除非预构建的知识库完全覆盖该领域。

局限与注意事项

  • 性能取决于语料库是否包含明确的定义模式;从未以完整形式引入的定义不明确的缩写词无法仅从上下文中解析。
  • 缩写词歧义——同一个短形式在同一文档中具有多种含义——需要基于规则的系统难以处理的消歧信号。
  • 跨文档解析(同一个缩写词在一个文件中定义,在另一个文件中未经定义使用)需要维护的缩写词知识库。
  • 领域转移:在生物医学文本上训练的缩写词典可能会错误地扩展法律或工程文档中具有相同字母序列的缩写词。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 通过直接从上下文中提取定义,解析文档内部的缩写词,而无需完整的预构建词典。
  • 从简单的基于规则的算法 (Schwartz–Hearst) 扩展到神经网络模型,而无需改变整体流程结构。
  • 通过用可解释的完整术语替换不透明的短形式,减少下游自然语言处理任务(信息抽取、分类和搜索)中的歧义。
  • 在风险较高的领域(临床、法律)中尤其有价值,因为一个误读的缩写词可能完全改变文档的含义。

应用

  • 临床自然语言处理:在信息抽取或搜索之前,扩展电子健康记录中的药物名称、诊断代码和程序缩写。
  • 法律文本处理:解析法规缩写和监管首字母缩略词,以改进合同分析和合规性检查。
  • 科学文献挖掘:预处理生物医学或工程摘要,以便下游实体识别和关系抽取操作完整术语。
  • 搜索索引:扩展查询和文档中的缩写词,以提高领域特定检索系统的召回率。

使用方式

使用方式

1

该流程扫描文本以寻找候选短语——通常是两到十个大写字母、首字母缩略词或与缩写形式匹配的括号内标记序列。启发式方法会标记这些候选词,但尚未确定其扩展。

2

对于每个检测到的短语,会在其周围的上下文窗口中搜索匹配的长形式候选词。经典的 Schwartz–Hearst 算法将候选短语的首字母与短语的字母对齐,向左扫描大约是缩写词长度两倍的窗口。领域特定的缩写词典或术语库可以缩小或补充此搜索范围。

3

在多个候选长形式中,选择最合理的扩展。基于规则的系统使用对齐分数;监督模型使用标注的训练对;基于 Transformer 的系统对短形式及其上下文进行编码以选择正确的含义。当上下文模糊时——同一个缩写词用于不同的含义——会整合词义消歧信号。

4

对解析后的映射进行覆盖率和准确性审查:有多少比例的短语成功扩展,以及有多少扩展是正确的。错误通过人工或对照黄金标准标注进行检查,并标记领域特定的边缘情况(文档中没有可见定义的首字母缩略词)以供人工审查。

常见陷阱

  • 假设一个缩写词在所有文档中始终意味着相同的事物——同一个缩写词在不同领域甚至同一报告的不同部分可能以不同方式扩展。
  • 跳过验证步骤:即使是高精度算法也会对罕见或新颖的缩写词产生错误,并且未检测到的错误会传播到每个下游任务中。
  • 仅使用静态词典而没有上下文提取步骤——如果作者引入了词典中没有的新缩写词,它将完全被遗漏。
  • 将所有大写字母序列视为缩写词——有些是专有名词、基因符号或不应扩展的代码。

常见问题

如果文档中从未定义缩写词怎么办?

如果文本中不存在定义模式,流程必须回退到预构建的缩写词典或知识库。如果两者都不可用,则无法可靠地扩展短形式,应将其标记为未解析而不是猜测。

该方法如何处理同一个缩写词在不同地方具有不同含义的情况?

这是缩写词消歧的子问题。当出现多个定义时,依赖最近定义窗口的基于规则的系统处理不佳。基于 Transformer 的方法对每个出现位置的周围上下文进行编码,处理得更好,但当上下文稀疏或技术性强时,消歧准确性仍然会下降。

是否需要预构建的缩写词典?

不严格需要——Schwartz–Hearst 算法无需词典即可从文档内部上下文中提取定义对。然而,领域词典可以加速该过程,处理作者在文本中从未扩展的定义不明确的缩写词,并减少歧义。对于临床文本,UMLS 或 ADAM 等资源可发挥此作用。

该方法是否适用于跨语言?

是的,但模式匹配启发式方法和任何随附的词典都必须适应目标语言。大多数已发表的工作都针对英语;扩展到其他语言通常需要特定语言的规则和用于训练或评估的标注语料库。

相关方法

参考文献

  1. Schwartz, A.S. & Hearst, M.A. (2003). A Simple Algorithm for Identifying Abbreviation Definitions in Biomedical Text. Pacific Symposium on Biocomputing (PSB), 8, 451-462.

    打开出版物文献
    已复制。
  2. Veyseh, A.P.B. et al. (2022). MACRONYM: A Large-Scale Dataset for Macroeconomic Acronym Understanding. Findings of NAACL 2022.

    打开出版物文献
    已复制。