它有什么作用?
分块,也称为浅层解析,是Steven Abney于1991年提出的一项自然语言处理任务,它利用词性标签将文本划分为语法片段(如名词短语和动词短语)。它能快速提取有用的句法结构,而无需构建完整的句子解析树。
方法背后的直觉
完整的句法解析描述了每个词与其他所有词的关系,这成本高昂且通常超出应用程序的需求。分块采取了一种捷径:从已标记词性的词开始,将相邻的标签组合成扁平的、不重叠的短语。您会了解到“这只小狗”是一个名词短语,“正在吠叫”是一个动词短语,而无需解析完整的语法树,从而以较低的成本快速获得结构洞察。
历史学
分块由Steven Abney(1991)在其论文“Parsing by Chunks”中提出,该论文将分块作为完整句法分析的有效替代方案来构建部分解析。该任务后来由CoNLL-2000分块共享任务(Tjong Kim Sang & Buchholz, 2000)标准化和推广,该任务为该问题建立了通用的数据集和评估。
何时使用
当您拥有词性标记的文本并需要快速获得短语级结构而无需完整句法解析的成本时,请使用分块。它适用于文本的探索性和描述性分析,并且只需要少量数据(约十个单元)。必须满足两个条件:词性标记必须已完成,并且必须存在目标语言的分块语法或模型。
局限与注意事项
- 需要首先完成词性标记;标签中的错误会传播到块中。
- 需要一个与目标语言匹配的分块语法或模型。
- 仅生成扁平的、不重叠的短语——它不恢复完整的嵌套句法结构。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 快速提取有用的句法结构,而无需构建完整解析树的成本。
- 从词性标记开始,使用简单、透明且易于检查和调整的模式规则。
- 为下游任务(如信息提取)提供短语级构建块(名词短语和动词短语)。
应用
- 信息提取——将名词短语和动词短语分离为候选实体和关系。
- 通过显现名词短语边界,为命名实体识别进行预处理。
- 对大型文本语料库进行快速结构化分析,其中完整解析成本过高。
- 对语料库中语法短语模式进行探索性和描述性研究。
使用方式
使用方式
该方法从已进行词性标记的文本开始——每个词元都带有一个标签,如限定词、形容词、名词或动词。完成词性标记是先决条件,因为分块器处理的是这些标签而不是原始词语。
为目标语言指定分块语法,通常以词性标签的模式(例如,名词短语可以是一个可选的限定词、任意形容词,然后是一个名词)。为此必须提供该语言的规则集或训练模型。
将语法应用于标记序列,将匹配模式的相邻标签组合成扁平的、不重叠的块。与完整解析不同,块不是嵌套在完整的树中——解析保持浅层。
识别出的短语块——名词短语、动词短语等——被读出作为输出。这些浅层结构为信息提取或命名实体识别等下游任务提供输入。
常见陷阱
- 在未标记或标记不佳的文本上运行分块——必须先进行词性标记,并且标记错误会直接影响到块。
- 将为一种语言构建的分块语法重用于另一种语言;模式规则必须与目标语言匹配。
- 期望从浅层解析器中获得嵌套或完整的句法结构——块的设计就是扁平的,因此当需要深度结构时,请使用完整解析。
常见问题
分块与完整解析有何不同?
完整解析构建一个完整的句法树,显示每个词与其他所有词的关系。分块是一种浅层解析:它将相邻的词组合成扁平的、不重叠的短语(如名词短语和动词短语),而不将它们嵌套在完整的树中。这使其速度更快,并且通常足以满足只需要短语级结构的任务。
分块前是否需要词性标记?
是的。分块处理的是词性标记而不是原始词语,因此必须先完成标记。由于分块器依赖于这些标签,因此标记中的任何错误都会直接影响到块。
分块适用于任何语言吗?
它仅在目标语言存在分块语法或训练模型的地方有效。模式规则是语言特定的,因此为一种语言编写的语法不应应用于另一种语言。
分块产生什么?
它会生成扁平的、不重叠的短语块——通常是名词短语和动词短语——从标记序列中读出。这些浅层结构通常用作信息提取和命名实体识别的输入。
相关方法
参考文献
Abney, S. (1991). Parsing by Chunks. In Principle-Based Parsing. Kluwer Academic Publishers.
ISBN:978-0-7923-1173-4已复制。Tjong Kim Sang, E.F. & Buchholz, S. (2000). Introduction to the CoNLL-2000 Shared Task: Chunking. Proceedings of CoNLL-2000.
打开出版物文献已复制。