词频分析 — 词语与 N-gram 计数
- 提出者
- George K. Zipf (frequency-distribution foundation)
- 年份
- 1949
- 类型
- Descriptive text-mining analysis
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
词频分析是一种描述性文本挖掘方法,它统计语料库中词语、N-gram 和短语的出现频率,以揭示内容模式和主要主题。它基于乔治·K·齐夫 (George K. Zipf, 1949) 形式化的词频分布洞见,即少数词语出现频率很高,而大多数词语出现频率很低。它是量化文本分析最基本、最广泛使用的入门方法之一。
方法背后的直觉
当你阅读大量文本时,反复出现的词语会告诉你文本的主题。词频分析将这种直觉显性化并使其可复现:不进行粗略浏览,而是统计每个词元、每个二词或三词序列以及每个重复出现的短语,然后按出现频率排序。结果是一个频率表,可以一目了然地呈现语料库的主要词汇和主题,无需主观阅读。
历史学
词频分析建立在齐夫 (Zipf, 1949) 的观察之上,在其著作《人类行为与最小努力原则》(Human Behavior and the Principle of Least Effort) 中指出,词语频率遵循一种特征性分布,即少数词语出现频率很高,而大多数词语出现频率很低。曼宁和舒茨 (Manning and Schütze, 1999) 在其著作《统计自然语言处理基础》(Foundations of Statistical Natural Language Processing) 中,将频率计数确立为统计自然语言处理 (NLP) 的基础工具,在此基础上构建了 TF-IDF 和主题建模等更丰富的方法。
何时使用
当你拥有文本数据并希望对其主要词汇、N-gram 或短语进行描述性或探索性初步了解时,可以使用词频分析。它适用于横断面和纵向语料库,并且只需要适量的文本(约 10 篇文档或更多)。应首先进行适当的预处理——分词、停用词移除和词形还原,并牢记语料库的大小和语言多样性会影响频率的可靠性。
局限与注意事项
- 语料库的大小和语言多样性会影响频率的可靠性。
- 原始计数捕捉表面词汇,但无法捕捉上下文、意义或情感。
- 结果很大程度上取决于预处理选择,如停用词列表和词形还原。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 简单、透明且易于解释——它是量化文本分析最基本的入门方法。
- 直接从原始计数中揭示内容模式和主要主题,无需标注的训练数据。
- 可处理词语、N-gram 和短语,因此可以适应不同的意义单元。
应用
- 识别文档集合的主要词汇和主题。
- 探索调查回复或访谈记录中的 N-gram 和短语模式。
- 分析社交、健康、教育、工程和商业语料库的内容。
- 作为更高级文本挖掘方法之前的描述性初步步骤。
使用方式
使用方式
在进行任何计数之前,原始文本需要进行预处理:将其分词为词语,移除停用词(如 'the' 或 'and' 等高频功能词),并将剩余词元还原为其基本形式(词形还原)。一致的预处理使得最终的计数具有可比性且有意义,而不是被语法填充词所主导。
跨语料库统计每个感兴趣的单元。单独的词元计数用于词频,相邻的词元序列计数用于 N-gram 频率(二元组、三元组),重复出现的复合词表达式则作为短语计数。此阶段的输出是每个不同术语的原始计数。
计数后的术语按频率从高到低排序,通常报告为最常见列表。这种排序视图显示了其特征性分布——少数高频术语构成头部,大量低频术语构成长尾,这与齐夫定律一致。
通过分析排序后的频率来解读内容模式和主要主题。语料库的大小和语言多样性会影响计数的可靠性,因此解释时需要考虑语料库的规模和低频词的长尾,而不是过度解读任何单一计数。
常见陷阱
- 跳过预处理会让高频功能词和词形变化的变体主导表格,并掩盖真实内容。
- 从过小或过于狭窄的语料库中读取频率会得到不稳定的计数,无法泛化。
- 过度解读长尾——低频术语(齐夫定律的长尾)提供的频率信号很小,容易被误认为是噪声或有意义的内容。
- 在未进行归一化的情况下比较不同大小语料库的原始计数会导致误导性结论。
常见问题
词频分析实际计数什么?
它统计单个词语、相邻词语序列(如二元组和三元组的 N-gram)以及重复出现的短语在语料库中出现的次数,然后进行排序。输出是一个频率表,可以呈现主要术语和主题。
为什么我需要先预处理文本?
如果没有分词、停用词移除和词形还原,高频功能词和同一词语的不同屈折形式会主导计数,并隐藏真实内容。一致的预处理可以使频率具有可比性且有意义。
什么是齐夫定律,它为什么在这里很重要?
齐夫定律描述了通常的模式:少数词语出现频率很高,而大多数词语出现频率很低,形成一个长尾。它解释了排序频率列表的形状,并警告不要过度解读低频词的长尾。
我需要多少文本?
大约十篇文档或更多的适量语料库是可行的,但语料库的大小和语言多样性会影响频率的可靠性——更大、更具代表性的语料库可以提供更稳定的计数。
相关方法
参考文献
Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.
打开出版物文献已复制。Manning, C. D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.
ISBN:9780262133609已复制。