它有什么作用?
信息抽取(Information Extraction, IE)是一项自然语言处理任务,它将非结构化文本转换为结构化信息(例如事件、关系和属性),从而使隐藏在自由格式文档中的事实成为机器可读的记录。该任务在 Cowie 和 Lehnert (1996) 的早期调查以及 Grishman (2012) 的后续工作中得到巩固。
方法背后的直觉
文档以自由格式的语言讲述故事,但数据库需要整齐的行和字段。信息抽取像分析师一样阅读文本,找出谁、什么、何时,然后将这些要点写入固定模式。该方法不是将事实困在散文中,而是提取实体及其之间的关系,并将它们作为结构化记录呈现出来,以便查询。
历史学
信息抽取在 Cowie 和 Lehnert (1996) 的调查中被确立为一项独立的 NLP 任务,他们巩固了从自由文本中提取结构化事实的目标,后来 Grishman (2012) 在《自然语言处理手册》中对此进行了回顾。该任务已从手工制作的模式规则发展到用于查找实体、关系和事件的统计模型和学习模型。
何时使用
当您拥有文本数据并需要将其转换为事件、关系或属性的结构化记录,并且可以定义一个特定领域的本体来描述要提取的内容时,信息抽取就适用。合理的文本量有帮助——该方法预计至少需要五十篇文档。没有文本数据,或者没有关于什么可以被视为事实的约定模式,IE 就无法运行。
局限与注意事项
- 在抽取开始之前需要一个清晰定义的特定领域本体。
- 需要足够量的文本数据;非常小的语料库信号太弱。
- 抽取质量在很大程度上取决于模式与语料库语言的匹配程度。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 将非结构化文本转换为结构化的、可查询的事件、关系和属性记录。
- 模式驱动:本体允许将相同的管道重新定向到不同的领域。
- 结合了基于规则的模式匹配和训练模型,因此可以适应可用的数据和资源。
应用
- 从大型文档集合中构建结构化知识库。
- 从新闻或报告档案中抽取事件及其参与者。
- 捕获健康、社会科学、经济学和商业领域的领域文本中的关系和属性。
- 从非结构化文档中挖掘的事实填充数据库。
使用方式
使用方式
首先定义一个特定领域的本体或模式:系统应查找的实体类型、关系、事件和属性。由于 IE 仅提取模式所描述的内容,因此此步骤决定了在给定领域中什么可以被视为值得捕获的事实。
原始文本被清理并分割成可分析的单元(句子和词元),以便抽取模式和模型在一致的输入上运行。没有这种标准化,下游匹配将不可靠。
在文本中定位实体、关系、事件和属性。这可以通过对语言结构的模式匹配规则、通过训练模型或两者的组合来完成,每种方法都能识别本体中定义的元素。
提取的元素被组装成符合模式的结构化记录——填充事件的槽位、链接关系的参与者或将属性附加到实体上。结果是从原始非结构化文本中提取的机器可读的结构化信息。
常见陷阱
- 跳过本体设计——没有定义的模式,系统就没有目标,会抽取不一致或无意义的记录。
- 将为某个领域构建的模式或模型应用于另一个领域会降低抽取准确性。
- 忽略预处理会导致嘈杂的词元和断裂的句子边界,从而破坏下游匹配。
- 在文本量太少(远少于五十篇文档)的情况下运行,会产生太少的示例,导致模式或模型无法可靠工作。
常见问题
信息抽取与命名实体识别有何不同?
命名实体识别仅定位和标记人名、地名、组织名等实体。信息抽取范围更广:它还识别这些实体之间的关系、它们参与的事件以及它们的属性,并将所有这些组装成遵循模式的结构化记录。
为什么在运行之前需要本体?
本体或模式确切地定义了在您的领域中什么可以被视为事实——要查找哪些实体类型、关系、事件和属性。信息抽取仅捕获模式所描述的内容,因此没有它,系统就没有目标,并且会产生不一致的输出。
我需要标记的训练数据吗?
这取决于方法。基于模式或规则的抽取作用于语言结构,可以在没有标记示例的情况下工作,而训练模型则从标注数据中学习。许多系统结合了两者,因此您需要的数据因您选择的方法而异。
我需要多少文本?
信息抽取需要合理的文本量——大约至少五十篇文档。如果文本量少得多,模式和模型就没有足够的示例来可靠地抽取。
相关方法
参考文献
Cowie, J. & Lehnert, W. (1996). Information Extraction. Communications of the ACM.
打开 DOI 文献已复制。Grishman, R. (2012). Information Extraction. In Handbook of Natural Language Processing.
ISBN:9781420085921已复制。