它有什么作用?
词汇丰富度分析量化文本词汇的多样性——即作者用词的丰富程度——使用诸如类型-标记比(TTR)、MTLD、vocd-D和Yule's K等度量。MTLD和vocd-D度量由McCarthy和Jarvis(2010)验证,其研究建立在Tweedie和Baayen(1998)关于词汇丰富度度量稳定性的早期工作之上。
方法背后的直觉
如果你计算文本中使用了多少个不同的词与包含的总词数之比,你就能大致了解其词汇丰富度:一个反复使用少数几个词的文本,其多样性不如一个使用许多不同词的文本。关键在于,这个简单的比率会随着文本长度的增加而减小,因此该方法使用对长度不敏感的度量,并在比较文本之前使文本长度均等化。
历史学
词汇丰富度的量化在风格计量学和语料库语言学中有着悠久的历史。Tweedie和Baayen(1998)研究了各种词汇丰富度度量作为文本长度函数的稳定性,揭示了对长度敏感的比例的局限性。McCarthy和Jarvis(2010)随后验证了更复杂的方法——MTLD、vocd-D和HD-D——确立了对长度鲁棒的度量作为多样性评估的标准。
何时使用
当你拥有标记化的文本并希望描述或比较其词汇丰富度时——跨作者、文档或群体——可以使用词汇丰富度。它适用于描述性和比较性目标,并且只需要适量的文本(最少约十个标记),但为了公平比较,所比较的文本必须处于相等的长度地位,并匹配语言和体裁。
局限与注意事项
- 文本长度会影响TTR的计算;在比较不同大小的文本时,原始TTR是不可靠的。
- 比较分析需要均等化的文本长度(标准片段或稀释法)才有效。
- 语言和体裁会改变多样性分数,因此未经控制的比较可能具有误导性。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 将文本的词汇丰富度转化为一个可比较的数字,使用经过充分验证的度量(TTR、MTLD、vocd-D、Yule's K)。
- MTLD和vocd-D在设计上比原始类型-标记比对文本长度更具鲁棒性。
- 应用入门级,对描述性分析和跨作者或群体的比较都有用。
应用
- 在风格计量学和作者身份研究中,分析作者的词汇丰富度。
- 在人文学科中,比较作家、文档或体裁之间的词汇多样性。
- 在语言学习和教育研究中,评估词汇发展。
- 在社会科学和商业文本语料库中,表征词语使用集中度。
使用方式
使用方式
文本被分割成标记(词)。计算不同词类型与总标记数之比是每个多样性度量赖以建立的基础,因此,在打算比较的文本之间进行一致的标记化是第一个要求。
计算一个或多个词汇丰富度度量。类型-标记比(TTR)是用不同词类型的数量除以总标记数;MTLD和vocd-D以对文本长度不敏感的方式估计多样性;Yule's K则描述了重复词的集中程度。这些度量从不同角度描述了词汇的丰富程度。
由于TTR随着文本长度的增长而减小,原始分数在不同大小的文本之间不可直接比较。MTLD和vocd-D在设计上对长度不敏感,但为了进行任何比较,文本应处于同等地位——例如,通过使用标准大小的片段或稀释法来均等化长度——以便差异反映词汇,而不是文档长度。
对文本、作者或群体进行标准化分数比较。由于语言和体裁也会改变多样性,因此将这些因素保持不变或进行控制,以便比较能够孤立词汇丰富度的信号,而不是混淆因素。
常见陷阱
- 比较不同长度文本的原始TTR——较长文本不可避免地显示出较低的TTR,因此比较反映的是长度,而不是词汇;使用MTLD或vocd-D,或先均等化长度。
- 在比较中未能均等化文本长度(无标准片段或稀释法)会使多样性差异难以解释。
- 在比较文本时忽略语言和体裁差异,会将词汇丰富度的信号与风格因素混淆。
常见问题
为什么不直接使用类型-标记比(TTR)?
TTR直观但会随着文本增长而缩小,因为每个文本最终都会重复使用常用词。这使得原始TTR在比较不同长度的文本时不可靠。MTLD和vocd-D的设计比文本长度敏感度低得多,这就是为什么它们在比较中更受青睐。
我需要多少文本?
该方法可以在适量的文本上运行——最少约十个标记——但更多的文本会产生更稳定的估计。对于比较而言,最重要的是文本被置于相等的长度地位,而不是任何单个文本都很长。
我可以直接比较两篇不同文本的多样性吗?
只有在将它们置于同等地位之后。使用标准大小的片段或稀释法均等化它们的长度,并控制语言和体裁,因为这三个因素都会独立于词汇丰富度而改变多样性分数。
我应该报告哪个度量?
MTLD和vocd-D是经过验证的、对长度鲁棒的选择,通常更受青睐。Yule's K描述了重复词的集中程度,当文本长度匹配时,TTR仍然可以作为简单的描述性指标。报告多个度量可以提供更全面的图景。
相关方法
参考文献
McCarthy, P. M. & Jarvis, S. (2010). MTLD, vocd-D, and HD-D: A validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42(2), 381-392.
打开 DOI 文献已复制。Tweedie, F. J. & Baayen, R. H. (1998). How Variable May a Constant Be? Measures of Lexical Richness in Perspective. Computers and the Humanities, 32(5), 323-352.
打开 DOI 文献已复制。