Skip to content
返回搜索结果

语料库语言学

提出者
John Sinclair
年份
1980
类型
Empirical process pipeline
类别
Empirical Linguistics

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

语料库语言学是基于计算机处理的大型、代表性文本集合(语料库)对语言进行的研究。该方法由约翰·辛克莱等人开创,利用统计分析、检索和计算工具来检查实际语言使用的模式。语料库语言学极大地改变了我们对英语及其他语言的理解,揭示了以前隐藏的频率模式、搭配偏好和语域变异。它服务于理论语言学、应用语言教学和自然语言处理。

方法背后的直觉

语言语料库就像一个精心挑选和组织起来的、包含实际口语和书面语的大型图书馆。语料库语言学家不依赖于虚构的句子或孤立的观察,而是让计算机查找一个词或短语的所有实例,计算频率,测量哪些词倾向于一起出现,并比较不同类型文本(报纸与小说、正式与非正式讲话)之间的模式。数百万词汇中出现的模式常常会颠覆理论假设,或以定量严谨的方式证实预测。

历史学

约翰·辛克莱在20世纪60年代至80年代开创了语料库语言学,建立了英语使用调查项目,后来又建立了COBUILD项目。数字存储和计算能力使20世纪90年代至21世纪初的指数级增长成为可能。英国国家语料库、美国当代语料库和谷歌图书Ngram数据集等主要语料库改变了该领域。如今,语料库方法已成为语言学、应用语言研究和自然语言处理的标准。

何时使用

利用语料库语言学研究实际语言使用模式,用经验数据检验理论假设,理解语域和方言间的变异,或为自然语言处理应用开发语言资源。语料库对于研究高频现象、方言变异、语言变化和词汇语义学至关重要。它们是对实验和内省方法的补充。

局限与注意事项

  • 语料库是有限的样本;低频现象可能没有得到充分代表,语料库中的缺失并不证明某种形式不可能存在。
  • 标注(词性标注、句法分析)会引入误差,并向下游传播。手动标注成本高昂;自动标注不完美。
  • 结果反映了语料库的构成(例如,书面语料库可能无法同等代表口语);选择中的偏差会影响发现。
  • 频率模式不直接揭示能力;高频率可能反映了话语惯例等表现因素,而非语法结构。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 为基于实际使用的语言模式提供经验证据,减少对内省和虚构句子的依赖。
  • 能够对大型、多样化数据集的频率、搭配和变异进行定量分析。
  • 通过使用标准化、可比的语料库,促进跨语言和跨语域的比较。
  • 支持发现(例如,语义偏好、语域标记)不借助数据难以预测的模式。

应用

  • 研究英语短语动词(例如,“put up with”,“run into”)的频率和使用模式,以开发按频率分级的教学材料。
  • 分析搭配模式,通过确保输出符合自然的词语共现偏好来改进机器翻译。
  • 通过比较历时语料库(例如,谷歌图书Ngram查看器)中的词频和搭配,研究语言随时间的变化。
  • 通过构建小型、专门的语料库并对其进行分析以创建词典和语法,来记录濒危语言。
  • 研究英语语域变异(学术、新闻、对话),以理解词汇和句法在不同社会语境中的差异。

使用方式

使用方式

1

以数字形式汇编一个大型、代表性的文本集合(通常数百万词),确保跨越不同体裁、语域和说话者/作者的多样性。

2

分词(拆分成词语),添加词性标注,并可选择性地添加句法或语义标注(分析、命名实体识别)。

3

使用检索软件提取目标词语或短语的所有出现情况,计算频率,计算搭配,并生成频率列表和分布。

4

应用统计方法(频率分析、卡方检验、搭配度量)来识别模式,测量关联强度,并模拟语言变异。

5

得出关于语言结构、使用模式、方言和语域变异的结论,并根据经验证据验证理论预测。

常见陷阱

  • 假设语料库频率直接反映语法可接受性。缺失的模式可能因语用标记而非语法错误;低频率可能反映话语语境,而非语言上的不可能。
  • 忽略标注错误,将自动标记的数据视为黄金标准。手动验证标注,特别是对于关键分析。
  • 从一个语料库过度推广到整个语言。语料库的构成很重要;英国国家语料库的结果可能无法推广到其他地区的口语英语。
  • 在搭配模式中混淆相关性与因果关系。两个词可能因为主题(例如,“雪”和“冬天”)而频繁共现,而非语义或语法依赖。

常见问题

语料库需要多大?

这取决于您的研究问题。对于高频现象(常用词、基本句型),数万词就足够了。对于稀有现象或详细的变异,可能需要数百万词。一个经验法则是:对于基本的统计分析,您应该至少有30-50个目标现象的出现次数。然而,即使是小型专业语料库(数千词)在濒危语言记录方面也很有价值。

什么是检索?

检索是指目标词语或短语的所有出现情况的列表,通常显示在上下文中(通常是两侧各一行或两行)。目标词语居中以便于扫描。检索揭示了搭配(经常出现在目标词附近的词)、语域变异和句法模式。现代语料库软件可以生成带有频率计数和排序选项的检索。

如何衡量搭配强度?

几种度量标准量化搭配强度(关联性)。互信息(MI)衡量与随机共现的偏差;对数似然比(LLR)是一种统计检验;T分数和Delta-P以不同方式衡量关联性。没有单一的度量标准是普遍最好的;不同的度量标准适合不同的研究问题。将原始频率与度量标准一起检查,以避免低频搭配因偶然性显示出高关联性的伪影。

语料库证据能证明一个句子是非语法的吗?

不能。语料库中的缺失表明它在该特定集合中不频繁或不存在,而不是它在语言中不可能存在。句子可能因为语用或话语限制而稀少,而非语法问题。将语料库证据与可接受性判断、实验数据和理论推理结合起来,以得出关于语法性的结论。

相关方法

参考文献

  1. Sinclair, J. M. (1991). Corpus, Concordance, Collocation. Oxford: Oxford University Press.

    打开出版物文献
    已复制。
  2. McEnery, T., & Hardie, A. (2012). Corpus Linguistics: Method, Theory and Practice. Cambridge: Cambridge University Press.

    打开 DOI 文献
    已复制。
  3. Biber, D., Conrad, S., & Reppen, R. (2006). Corpus Linguistics: Investigating Language Structure and Use. Cambridge: Cambridge University Press.

    打开出版物文献
    已复制。