Skip to content
返回搜索结果

命名实体识别 (NER)

类型
NLP sequence-labelling task

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

命名实体识别(NER)是一项自然语言处理任务,可自动检测和标记文本中的实体——例如人物、组织、地点和日期。该任务由Nadeau和Sekine(2007)进行综述,并由Lample等人(2016)通过神经网络架构进一步发展,它将自由文本转换为下游工具可以使用的标记跨度。

方法背后的直觉

一篇文档在普通散文中提及姓名、地点和日期,但机器只能看到一串单词。NER的目标是找到指代现实世界实体的跨度,并为每个实体附加正确的类型标签。与其由人手动阅读和高亮显示姓名,不如让方法扫描文本,决定哪些单词构成一个实体,并将其标记为人物、组织、地点、日期等。

历史学

命名实体识别在Nadeau和Sekine(2007)的综述中被巩固为一项任务,该综述回顾了该领域的基于规则和基于特征的方法。Lample等人(2016)在NAACL的工作引入了NER的神经网络架构,使该领域朝着序列标注模型发展,这些模型学习上下文表示,而不是依赖手工构建的特征。

何时使用

当您拥有文本数据和支持该文本语言的语言模型,并首先应用预处理时,NER就适用。需要相当数量的文本;语料库非常小的情况下模型性能不佳,简单的基于规则的关键词提取是更安全的选择。如果根本没有文本数据,NER就无法运行,您应该分析结构化内容。

局限与注意事项

  • 在小型语料库上模型性能下降,简单的基于规则的关键词提取成为更好的选择。
  • 性能取决于语言模型是否支持文本的目标语言。
  • 需要预处理;没有干净的分词,实体边界的检测将不可靠。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 将非结构化文本转换为结构化的、带类型的实体跨度,供下游任务使用。
  • 跨越多种方法:针对小问题的基于规则的匹配,针对大问题的神经网络序列标注。
  • 在一次文本扫描中识别多个实体类别——人物、组织、地点、日期。

应用

  • 从新闻和报告中提取人物、组织和地点用于索引。
  • 识别临床或生物医学文本中的命名实体,用于结构化记录。
  • 从大型文档集合中挖掘公司、地点和日期的提及。
  • 将标记的实体输入下游信息提取和关系提取管道。

使用方式

使用方式

1

原始文本经过清理并分割成可分析的单元——句子被分割,单词被分词——以便能够一致地检测实体边界。所选的语言模型必须支持目标语言才能正常工作。

2

每个词元都被转换为模型可读的特征。根据方法不同,这可能意味着手工编写的规则和词典、经典的特征向量,或来自神经网络模型的上下文嵌入——每种都为标注器提供了识别实体所需的信号。

3

模型为每个词元跨度分配一个实体类型标签。基于规则的方法匹配模式和词典,机器学习方法使用训练过的序列标注器,而神经网络方法应用能够捕获上下文的架构。输出是一组文本跨度,并带有诸如人物、组织、地点和日期之类的类型标签。

4

使用精确率、召回率和F1分数对标记的跨度与标记数据进行评分,并在依赖模型之前检查不正确或遗漏的实体。这可以防止信任一个悄悄遗漏整个实体类的标注器。

常见陷阱

  • 在小型语料库(约100个文档以下)上运行NER,模型表现不佳——改用基于规则的关键词提取。
  • 应用不支持语料库语言的模型,这会降低识别效果。
  • 跳过预处理,导致嘈杂或分词不佳的文本破坏实体边界。
  • 仅凭准确率判断标注器,而忽略了整个实体类的遗漏;报告精确率、召回率和F1分数,并检查遗漏的实体。

常见问题

基于规则、机器学习或神经网络——我应该使用哪种方法?

基于规则的方法匹配模式和词典,适用于没有标记数据的小问题。机器学习序列标注器从标记的示例中学习并适应您的领域。神经网络方法使用上下文架构,通常在大型语料库上表现最佳,但计算成本更高。

如果我的语料库非常小会怎么样?

在小型语料库(大约100个文档以下)上,NER模型的性能会下降。在这种情况下,更倾向于使用更简单的基于规则的关键词提取方法,而不是完整的实体识别模型。

NER是否支持英语以外的语言?

是的,但所选的语言模型必须支持文本的目标语言。不支持语料库语言的模型是识别效果差的常见原因。

NER如何评估?

使用精确率、召回率和F1分数将标记的跨度与标记数据进行比较。检查遗漏和不正确的实体很重要,因为标注器可能在整体看起来准确的情况下悄悄地未能检测到整个实体类别。

相关方法

参考文献

  1. Nadeau, D. & Sekine, S. (2007). A survey of named entity recognition. Lingvisticae Investigationes.

    打开出版物文献
    已复制。
  2. Lample, G. et al. (2016). Neural Architectures for Named Entity Recognition. NAACL.

    打开 DOI 文献
    已复制。