Skip to content
返回搜索结果

TF-IDF — 词频-逆文档频率

提出者
Salton & Buckley
年份
1988
类型
Text vectorization / term-weighting scheme

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

TF-IDF,由 Salton 和 Buckley (1988) 提出,是一种词语加权方案,它根据每个词在文档中出现的频率以及在整个语料库中的稀有程度来对其进行评分。它将原始文本转换为加权的文档向量,为在某一文档中频繁出现但在其他文档中很少见的词语赋予高权重。

方法背后的直觉

并非所有频繁出现的词都具有信息量——像“the”这样的词出现在所有地方,几乎无法说明文档的主题。TF-IDF 捕捉了这样一个理念:当一个词语在特定文档中频繁出现但在其余文档中很少见时,它的重要性最高。通过将一个词语在局部出现的频率与其在全局的区分度相乘,该方案突出了真正表征每个文档的词语,并降低了通用词语的权重。

历史学

TF-IDF 源于 Salton 和 Buckley (1988) 的信息检索工作,他们系统地比较了自动文本检索的词语加权方法,并将词频与逆文档频率的结合确立为一种有效的文档表示方案。它成为文本向量化的基础基准,并作为一种透明的特征表示方法被广泛使用。

何时使用

当您拥有一个文本语料库并需要将文档转换为数值特征以进行检索、分类或相似性比较时,请使用 TF-IDF。它依赖于词袋模型假设,并需要事先进行文本预处理。语料库应足够大——文档少于约 100 篇时,IDF 权重会变得不稳定,简单的词频分析更为可靠。如果完全没有文本数据,则无法计算 TF-IDF。

局限与注意事项

  • 基于词袋模型假设,忽略词语顺序和上下文。
  • 在非常小的语料库上,IDF 权重变得不稳定且无意义。
  • 需要仔细的文本预处理;有噪声的词语会降低权重。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 简单、快速且可解释——每个权重都可以直接追溯到局部频率和全局稀有度。
  • 将原始文本转换为可被搜索、分类和聚类方法使用的数值文档向量。
  • 降低普遍存在的、无信息量词语的权重,同时突出区分文档的词语。

应用

  • 将文档表示为文本分类的特征向量。
  • 在搜索应用中对文档进行排名和检索。
  • 识别表征文档的最具区分度的关键词。
  • 构建文档聚类和相似性比较的输入。

使用方式

使用方式

1

文本语料库被清理并分词为词语——文本被标准化并分割成将被加权的词语单元。由于 TF-IDF 基于词袋模型假设,跨所有文档的一致预处理是使所得计数可比的关键。

2

对于每个文档,词频 (TF) 计算每个词语在该文档中出现的次数。在一个文档中出现多次的词语会获得更高的局部权重,反映了它在文档内容中的中心度。

3

在整个语料库中,逆文档频率 (IDF) 衡量每个词语的稀有程度——出现在许多文档中的词语获得较低的 IDF,而仅出现在少数文档中的词语获得较高的 IDF。这抑制了普遍存在的、无信息量的词语,并奖励了区分度高的词语。

4

TF 和 IDF 成分被合并为每个词语的单一权重,每个文档变成这些加权分数的向量。所得的文档-词语向量是下游任务(搜索、分类、聚类)所使用的表示。

常见陷阱

  • 在少于约 100 篇文档的语料库上运行 TF-IDF — IDF 权重变得无意义,因此应回退到简单的词频分析。
  • 跨文档跳过或不一致的预处理,这使得词语计数不可比。
  • 尝试在没有文本数据时应用 TF-IDF — 分类编码与内容分析是合适的途径。
  • 期望 TF-IDF 捕捉意义或上下文:它对孤立的词语进行加权,无法模拟词语顺序或语义。

常见问题

TF 和 IDF 各自衡量什么?

词频 (TF) 衡量一个词语在单个文档中出现的频率,捕捉其局部中心度。逆文档频率 (IDF) 衡量该词语在整个语料库中的稀有程度,降低了出现在许多文档中的词语的权重。将它们相乘会给在某个文档中频繁出现但在其他文档中不常见的词语赋予高权重。

我的语料库需要多大?

TF-IDF 需要一个相对较大的集合——大约 100 个或更多的文档。在此之下,IDF 权重变得不稳定并失去意义,更简单的词频分析是更可靠的选择。

TF-IDF 是否理解意义或上下文?

否。TF-IDF 基于词袋模型假设:它根据频率和稀有度对单个词语进行加权,并忽略词语顺序、语法和语义。对于上下文或语义相似性,Word2Vec 等嵌入方法更为合适。

它需要什么预处理?

在加权之前,必须对语料库进行一致的清理和分词——标准化文本并将其分割成可比较的词语单元。跳过此步骤会留下有噪声的词语,从而降低权重。

相关方法

参考文献

  1. Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.

    打开 DOI 文献
    已复制。