词形分析 — 词干提取与词形还原
- 提出者
- M.F. Porter (Porter stemmer)
- 年份
- 1980
- 类型
- Text-normalisation preprocessing task
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
词形分析将词语分解为其词干和词缀,以便将同一词语的不同表面形式视为一个。它涵盖两种互补的方法——基于规则的词干提取,如 Porter (1980) 和 Snowball 算法,以及考虑词典的词形还原——并且是土耳其语和阿拉伯语等黏着语的关键文本规范化步骤。
方法背后的直觉
读者知道 running、runs 和 ran 都指向动词 run,但对机器来说,这三个是互不相关的字符串。词形分析剥离词语的语法后缀,以恢复其底层形式,从而使一个词语的多种出现形式合并为一个标记。词干提取通过规则截断后缀;词形还原查找词语以返回其真实的词典形式。无论哪种方式,目标都是停止将一个概念计数为几个不同的词。
历史学
基于规则的词干提取由 Porter (1980) 的后缀剥离算法推广,该算法至今仍是参考点,后来演变为 Snowball 系列词干提取器。概率和基于模型的词形分析随之而来,Schmid (1994) 的决策树词性标注器说明了向指导现代词形还原的统计方法的发展。
何时使用
当您拥有分词化文本以及目标语言的词形规则或模型时,请使用词形分析作为规范化步骤。它对于土耳其语和阿拉伯语等黏着语尤其有价值,在这些语言中,单个词根会生成多种表面形式。它需要文本首先被分词化,并且需要目标语言的词形资源;没有这些,它就无法可靠运行。
局限与注意事项
- 要求目标语言已存在词形规则或模型。
- 在分析开始之前必须对文本进行分词化。
- 基于规则的词干提取可能过度提取(合并不相关的词)或提取不足(遗漏有效的变体)。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 将词语的屈折变体合并为单一形式,缩小下游分析的词汇量。
- 提供从快速的基于规则的词干提取(Porter、Snowball)到词典准确的词形还原的范围。
- 对于土耳其语和阿拉伯语等黏着语尤其强大,在这些语言中,多种形式共享一个词根。
应用
- 在索引、搜索或信息检索之前规范化文本。
- 在文本分类或主题建模之前减小词汇量。
- 预处理黏着语语料库(土耳其语、阿拉伯语),其中表面形式会成倍增加。
- 为下游文本挖掘管道清理和标准化文本特征。
使用方式
使用方式
文本首先被分割成单独的词语标记。词形分析作用于词语,因此在提取任何词干或词元之前,语料库必须已经过分词化;这是该方法的一个明确前提。
检查每个标记是否符合目标语言的词形,以将词干与其词缀(前缀、后缀、屈折)分开。此步骤要求存在目标语言的词形规则或模型,这在屈折丰富的黏着语中最为重要。
将词语简化为规范形式。词干提取方法(Porter、Snowball)通过规则剥离后缀,生成一个不一定是真实词语的词干,而词形还原方法则返回实际的词典词元,并可选择性地由词语的词性指导。
将简化后的形式写回语料库,以便变体的表面形式映射到一个标记。这种规范化缩小了词汇量,并允许下游文本挖掘步骤将词语的屈折变体视为相同的特征。
常见陷阱
- 词干提取可能生成非真实词语的词干;当需要真实的词元时,不要将词干视为词典形式。
- 将英语词干提取器应用于其他语言的文本会产生无意义的结果——词形资源必须与语料库语言匹配。
- 跳过分词化会将格式错误的标记馈送到分析器并破坏输出。
- 过度提取将不同的词合并为一个词干,提取不足则将变体分开;根据下游任务的精确度要求,在词干提取和词形还原之间进行选择。
常见问题
词干提取和词形还原之间有什么区别?
词干提取通过规则剥离后缀(如 Porter 或 Snowball 算法)以产生不一定是真实词语的词干,并且速度很快。词形还原查找词语——通常使用其词性——以返回实际的词典词元,这更准确但开销更大。
为什么这对土耳其语和阿拉伯语等语言最重要?
这些是黏着语,单个词根可以附加许多词缀并生成大量表面形式。词形分析将这些形式折叠回词根,这对于此类语言的文本规范化至关重要。
我需要先对文本进行分词化吗?
是的。词形分析作用于单个词语,因此语料库必须已经过分词化。分词化是该方法的一个明确前提。
如果词形资源与语言不匹配会发生什么?
输出变得无意义。规则或模型必须为目标语言构建;例如,将英语词干提取器应用于非英语文本会产生不正确的词干。