Skip to content
返回搜索结果

词形分析 — 词干提取与词形还原

提出者
M.F. Porter (Porter stemmer)
年份
1980
类型
Text-normalisation preprocessing task

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

词形分析将词语分解为其词干和词缀,以便将同一词语的不同表面形式视为一个。它涵盖两种互补的方法——基于规则的词干提取,如 Porter (1980) 和 Snowball 算法,以及考虑词典的词形还原——并且是土耳其语和阿拉伯语等黏着语的关键文本规范化步骤。

方法背后的直觉

读者知道 running、runs 和 ran 都指向动词 run,但对机器来说,这三个是互不相关的字符串。词形分析剥离词语的语法后缀,以恢复其底层形式,从而使一个词语的多种出现形式合并为一个标记。词干提取通过规则截断后缀;词形还原查找词语以返回其真实的词典形式。无论哪种方式,目标都是停止将一个概念计数为几个不同的词。

历史学

基于规则的词干提取由 Porter (1980) 的后缀剥离算法推广,该算法至今仍是参考点,后来演变为 Snowball 系列词干提取器。概率和基于模型的词形分析随之而来,Schmid (1994) 的决策树词性标注器说明了向指导现代词形还原的统计方法的发展。

何时使用

当您拥有分词化文本以及目标语言的词形规则或模型时,请使用词形分析作为规范化步骤。它对于土耳其语和阿拉伯语等黏着语尤其有价值,在这些语言中,单个词根会生成多种表面形式。它需要文本首先被分词化,并且需要目标语言的词形资源;没有这些,它就无法可靠运行。

局限与注意事项

  • 要求目标语言已存在词形规则或模型。
  • 在分析开始之前必须对文本进行分词化。
  • 基于规则的词干提取可能过度提取(合并不相关的词)或提取不足(遗漏有效的变体)。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 将词语的屈折变体合并为单一形式,缩小下游分析的词汇量。
  • 提供从快速的基于规则的词干提取(Porter、Snowball)到词典准确的词形还原的范围。
  • 对于土耳其语和阿拉伯语等黏着语尤其强大,在这些语言中,多种形式共享一个词根。

应用

  • 在索引、搜索或信息检索之前规范化文本。
  • 在文本分类或主题建模之前减小词汇量。
  • 预处理黏着语语料库(土耳其语、阿拉伯语),其中表面形式会成倍增加。
  • 为下游文本挖掘管道清理和标准化文本特征。

使用方式

使用方式

1

文本首先被分割成单独的词语标记。词形分析作用于词语,因此在提取任何词干或词元之前,语料库必须已经过分词化;这是该方法的一个明确前提。

2

检查每个标记是否符合目标语言的词形,以将词干与其词缀(前缀、后缀、屈折)分开。此步骤要求存在目标语言的词形规则或模型,这在屈折丰富的黏着语中最为重要。

3

将词语简化为规范形式。词干提取方法(Porter、Snowball)通过规则剥离后缀,生成一个不一定是真实词语的词干,而词形还原方法则返回实际的词典词元,并可选择性地由词语的词性指导。

4

将简化后的形式写回语料库,以便变体的表面形式映射到一个标记。这种规范化缩小了词汇量,并允许下游文本挖掘步骤将词语的屈折变体视为相同的特征。

常见陷阱

  • 词干提取可能生成非真实词语的词干;当需要真实的词元时,不要将词干视为词典形式。
  • 将英语词干提取器应用于其他语言的文本会产生无意义的结果——词形资源必须与语料库语言匹配。
  • 跳过分词化会将格式错误的标记馈送到分析器并破坏输出。
  • 过度提取将不同的词合并为一个词干,提取不足则将变体分开;根据下游任务的精确度要求,在词干提取和词形还原之间进行选择。

常见问题

词干提取和词形还原之间有什么区别?

词干提取通过规则剥离后缀(如 Porter 或 Snowball 算法)以产生不一定是真实词语的词干,并且速度很快。词形还原查找词语——通常使用其词性——以返回实际的词典词元,这更准确但开销更大。

为什么这对土耳其语和阿拉伯语等语言最重要?

这些是黏着语,单个词根可以附加许多词缀并生成大量表面形式。词形分析将这些形式折叠回词根,这对于此类语言的文本规范化至关重要。

我需要先对文本进行分词化吗?

是的。词形分析作用于单个词语,因此语料库必须已经过分词化。分词化是该方法的一个明确前提。

如果词形资源与语言不匹配会发生什么?

输出变得无意义。规则或模型必须为目标语言构建;例如,将英语词干提取器应用于非英语文本会产生不正确的词干。

相关方法

参考文献

  1. Porter, M.F. (1980). An Algorithm for Suffix Stripping. Program, 14(3), 130-137.

    打开 DOI 文献
    已复制。
  2. Schmid, H. (1994). Probabilistic Part-of-Speech Tagging Using Decision Trees. Proceedings of the International Conference on New Methods in Language Processing (NEMLAP).

    打开出版物文献
    已复制。