Skip to content
返回搜索结果

搭配分析 — 词语关联

提出者
Church & Hanks
年份
1990
类型
Statistical text-mining technique

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

搭配分析是一种统计文本挖掘技术,它利用关联度量而非偶然共现来识别频繁共同出现的词对或表达。该技术由Church和Hanks(1990)引入词典编纂学,用于术语提取和语言分析,以揭示语料库中具有意义的多词单元。

方法背后的直觉

有些词语天生就属于一起——“浓茶”(strong tea)听起来很自然,而“强力茶”(powerful tea)则不然,尽管意思相似。搭配分析超越了原始频率,它探究哪些词对共同出现的频率远高于偶然预测的频率。通过对共现进行统计评分,它能从文本中提取出有意义的短语和固定表达,而不仅仅是列出常用词。

历史学

搭配分析作为一种统计技术由Church和Hanks(1990)确立,他们引入了词语关联规范和互信息用于词典编纂学,展示了共现统计如何揭示有意义的词对。该方法在Manning和Schütze(1999)的更广泛的统计自然语言处理领域中得到了巩固。

何时使用

当您拥有一个规模合理的文本语料库(大约50个或更多文档),并且希望找到有意义的多词单元而非单词频率时,搭配分析是合适的。它适用于术语提取和语言分析中的探索性和描述性工作。它假定有足够的文本来获得稳定的共现统计数据,并且停用词已预先清理;如果文本量很少,关联分数将变得不可靠。

局限与注意事项

  • 需要足够大的语料库才能使共现统计数据稳定。
  • 结果严重依赖于预处理——残留的停用词会扭曲关联。
  • PMI等度量可能会过度奖励偶然共现几次的稀有词对。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 揭示了单词频率计数所遗漏的有意义的多词表达和固定短语。
  • 统计关联度量将真正的词语关联与偶然邻近区分开来。
  • 概念简单,易于应用于术语提取和语言分析。

应用

  • 术语提取——识别语料库中特定领域的多词术语。
  • 词典编纂和词典构建,揭示词语的典型关联。
  • 对文本中词语组合方式的语言学和语篇分析。
  • 为下游文本挖掘和信息提取任务准备候选短语。

使用方式

使用方式

1

语料库经过分词和清洗,停用词被移除,以避免高频功能词掩盖有意义的关联。一致的预处理是保持共现计数可比性以及结果搭配可解释性的关键。

2

形成候选词对(通常是二元词),并在整个语料库中收集它们的共现计数,同时收集每个词的单独频率。这些计数是所有关联度量的原始材料。

3

每个候选词对都通过统计关联度量(例如点互信息 (PMI))进行评分,该度量比较词语共同出现的频率与它们偶然共现的预期频率。高分表示真正的关联,而非偶然的邻近。

4

候选搭配按其关联分数进行排序,并选择最强的词对(例如,按PMI排名前N的词对)。结果是一个有意义的词对和多词表达的排名列表,用于术语提取或语言分析。

常见陷阱

  • 跳过停用词移除会导致高频功能词占据主导地位并掩盖真正的搭配。
  • 在过少的文本上运行分析会导致不稳定的、不可靠的关联分数。
  • PMI会夸大非常稀有词对的分数,因此在排序前应应用最小共现计数。
  • 在没有关联测试的情况下将高频词对视为搭配,会将常见性误认为是意义关联。

常见问题

什么是搭配?

搭配是指共同出现的频率高于偶然预测的词对或词序——一种习惯性的词语关联,例如“浓茶”(strong tea)或“做决定”(make a decision)。搭配分析通过统计评分共现来找到这些搭配,而不是从频率列表中读取它们。

搭配分析与频率分析有何不同?

频率分析计算词语或n-gram出现的频率。搭配分析更进一步:它使用关联度量来询问两个词共同出现的频率是否高于预期,从而揭示有意义的配对,而不仅仅是常见的配对。

什么是PMI,为什么要使用它?

点互信息(PMI)比较两个词共同出现的频率与它们独立共现的预期频率。高PMI表示强关联。由于PMI可能会过度奖励稀有词对,因此在排序前通常会应用最小共现计数。

我需要多少文本?

该技术需要一个规模合理的语料库——大约50个或更多文档——以使共现计数稳定。如果文本量过少,关联分数会波动,提取的搭配将变得不可靠。

相关方法

参考文献

  1. Church, K.W. & Hanks, P. (1990). Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics, 16(1), 22-29.

    打开出版物文献
    已复制。
  2. Manning, C.D. & Schütze, H. (1999). Foundations of Statistical Natural Language Processing. MIT Press.

    ISBN:9780262133609
    已复制。