Skip to content
返回搜索结果

词汇丰富度 — 衡量词汇丰富性

类型
Text quantification / lexical richness measurement

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

词汇丰富度分析量化文本词汇的多样性——即作者用词的丰富程度——使用诸如类型-标记比(TTR)、MTLD、vocd-D和Yule's K等度量。MTLD和vocd-D度量由McCarthy和Jarvis(2010)验证,其研究建立在Tweedie和Baayen(1998)关于词汇丰富度度量稳定性的早期工作之上。

方法背后的直觉

如果你计算文本中使用了多少个不同的词与包含的总词数之比,你就能大致了解其词汇丰富度:一个反复使用少数几个词的文本,其多样性不如一个使用许多不同词的文本。关键在于,这个简单的比率会随着文本长度的增加而减小,因此该方法使用对长度不敏感的度量,并在比较文本之前使文本长度均等化。

历史学

词汇丰富度的量化在风格计量学和语料库语言学中有着悠久的历史。Tweedie和Baayen(1998)研究了各种词汇丰富度度量作为文本长度函数的稳定性,揭示了对长度敏感的比例的局限性。McCarthy和Jarvis(2010)随后验证了更复杂的方法——MTLD、vocd-D和HD-D——确立了对长度鲁棒的度量作为多样性评估的标准。

何时使用

当你拥有标记化的文本并希望描述或比较其词汇丰富度时——跨作者、文档或群体——可以使用词汇丰富度。它适用于描述性和比较性目标,并且只需要适量的文本(最少约十个标记),但为了公平比较,所比较的文本必须处于相等的长度地位,并匹配语言和体裁。

局限与注意事项

  • 文本长度会影响TTR的计算;在比较不同大小的文本时,原始TTR是不可靠的。
  • 比较分析需要均等化的文本长度(标准片段或稀释法)才有效。
  • 语言和体裁会改变多样性分数,因此未经控制的比较可能具有误导性。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 将文本的词汇丰富度转化为一个可比较的数字,使用经过充分验证的度量(TTR、MTLD、vocd-D、Yule's K)。
  • MTLD和vocd-D在设计上比原始类型-标记比对文本长度更具鲁棒性。
  • 应用入门级,对描述性分析和跨作者或群体的比较都有用。

应用

  • 在风格计量学和作者身份研究中,分析作者的词汇丰富度。
  • 在人文学科中,比较作家、文档或体裁之间的词汇多样性。
  • 在语言学习和教育研究中,评估词汇发展。
  • 在社会科学和商业文本语料库中,表征词语使用集中度。

使用方式

使用方式

1

文本被分割成标记(词)。计算不同词类型与总标记数之比是每个多样性度量赖以建立的基础,因此,在打算比较的文本之间进行一致的标记化是第一个要求。

2

计算一个或多个词汇丰富度度量。类型-标记比(TTR)是用不同词类型的数量除以总标记数;MTLD和vocd-D以对文本长度不敏感的方式估计多样性;Yule's K则描述了重复词的集中程度。这些度量从不同角度描述了词汇的丰富程度。

3

由于TTR随着文本长度的增长而减小,原始分数在不同大小的文本之间不可直接比较。MTLD和vocd-D在设计上对长度不敏感,但为了进行任何比较,文本应处于同等地位——例如,通过使用标准大小的片段或稀释法来均等化长度——以便差异反映词汇,而不是文档长度。

4

对文本、作者或群体进行标准化分数比较。由于语言和体裁也会改变多样性,因此将这些因素保持不变或进行控制,以便比较能够孤立词汇丰富度的信号,而不是混淆因素。

常见陷阱

  • 比较不同长度文本的原始TTR——较长文本不可避免地显示出较低的TTR,因此比较反映的是长度,而不是词汇;使用MTLD或vocd-D,或先均等化长度。
  • 在比较中未能均等化文本长度(无标准片段或稀释法)会使多样性差异难以解释。
  • 在比较文本时忽略语言和体裁差异,会将词汇丰富度的信号与风格因素混淆。

常见问题

为什么不直接使用类型-标记比(TTR)?

TTR直观但会随着文本增长而缩小,因为每个文本最终都会重复使用常用词。这使得原始TTR在比较不同长度的文本时不可靠。MTLD和vocd-D的设计比文本长度敏感度低得多,这就是为什么它们在比较中更受青睐。

我需要多少文本?

该方法可以在适量的文本上运行——最少约十个标记——但更多的文本会产生更稳定的估计。对于比较而言,最重要的是文本被置于相等的长度地位,而不是任何单个文本都很长。

我可以直接比较两篇不同文本的多样性吗?

只有在将它们置于同等地位之后。使用标准大小的片段或稀释法均等化它们的长度,并控制语言和体裁,因为这三个因素都会独立于词汇丰富度而改变多样性分数。

我应该报告哪个度量?

MTLD和vocd-D是经过验证的、对长度鲁棒的选择,通常更受青睐。Yule's K描述了重复词的集中程度,当文本长度匹配时,TTR仍然可以作为简单的描述性指标。报告多个度量可以提供更全面的图景。

相关方法

参考文献

  1. McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.

    打开 DOI 文献
    已复制。
  2. Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.

    打开 DOI 文献
    已复制。