它有什么作用?
词性标注为文本中的每个单词分配一个语法类别标签——名词、动词、形容词等。这是一项基础的自然语言处理任务,由 Ratnaparkhi (1996) 正式化为统计模型,并被打包进 Stanford CoreNLP (Manning et al., 2014) 等广泛使用的工具包中,它作为句法分析和信息提取的预处理步骤。
方法背后的直觉
当你阅读一个句子时,你会本能地知道哪些词是名词,哪些是动词,而这种知识会影响你对句子的理解。机器没有这种本能,所以词性标注赋予它一个:对于文本中的每个词元,该方法会利用周围的词语作为上下文,选择最可能的语法类别。一旦每个词都带有标签,下游任务就可以推理句子结构,而不是将文本视为一个无差别的词袋。
历史学
词性标注由 Ratnaparkhi (1996) 奠定了坚实的统计基础,他的最大熵模型展示了如何利用上下文来概率性地分配标签。该任务后来被整合到 Stanford CoreNLP 工具包 (Manning et al., 2014) 等通用流水线中,使词性标注成为现代文本处理工作流中的常规第一阶段。
何时使用
当你有文本数据和一个针对该文本语言训练好的词性标注模型,并且文本已经过分词处理时,就可以使用词性标注。它适用于探索性和描述性工作,在这些工作中,你需要在解析或提取信息之前了解每个词的语法角色。语料库大小不重要(大约十个单元或更多);关键要求是语言匹配模型的可用性,而不是语料库的大小。
局限与注意事项
- 需要一个针对目标语言训练好的词性标注模型;没有该模型,该方法就无法可靠运行。
- 依赖于先前分词——糟糕的词元边界会传播为糟糕的标签。
- 标注错误会流向下游,限制了建立在标签之上的任何解析或提取工作的质量。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 基础的、低难度的步骤,能够实现句法分析、词组切分和信息提取。
- 适用于小型语料库——要求是针对该语言训练好的模型,而不是大型数据集。
- 利用周围的上下文来消除可能属于多个类别的词语的歧义。
应用
- 通过标记每个单词的语法角色来准备句法分析的文本。
- 为词组切分和浅层解析提供输入,这些步骤将标注过的词元分组为短语。
- 支持信息提取,其中语法类别有助于识别实体和关系。
- 对语料库中语言使用方式的探索性和描述性分析。
使用方式
使用方式
文本首先被分割成词元——将接收标签的单个单词和标点符号。分词必须在标注运行之前完成,因为标注器是逐个词元进行标注的,而它在这里看到的单元边界决定了什么将被标注。
针对目标语言训练好的词性标注模型会为每个词元分配最可能的语法类别——名词、动词、形容词等——并将周围的词元作为上下文来解决歧义。此步骤需要为文本语言训练的模型;没有模型,标签就无法可靠地生成。
生成的标签序列被传递给下游任务。词性标签是句法分析、词组切分和信息提取步骤所构建的基础输入,因此标注的质量直接限制了这些后续阶段的工作效果。
常见陷阱
- 将为一种语言训练的模型应用于另一种语言的文本会产生不可靠的标签。
- 跳过或错误处理上游的分词会悄无声息地降低每个标签的质量。
- 将标签视为事实真相而不检查错误,会让歧义错误传播到下游的解析和提取中。
常见问题
词性标注实际产生什么?
它为文本中的每个词元附加一个语法类别标签——例如名词、动词或形容词——因此输出是每个单词的标签。
我需要一个大型语料库来运行它吗?
不需要。大约十个单元或更多的小型语料库就足够了。真正的要求是有一个针对你的文本语言训练好的词性标注模型,并且文本已经过分词处理。
为什么分词必须先进行?
标注器是逐个词元进行标注的,所以它看到的词元定义了什么将被标注。如果分词错误,边界就错误,标签也会错误。
如果模型与我的语言不匹配会发生什么?
将为一种语言训练的模型应用于另一种语言会产生不可靠的标签。词性标注假定存在一个针对目标语言训练好的模型。