比较定量内容分析
- 提出者
- Bernard Berelson (quantitative content analysis); Kimberly Neuendorf (codebook systematization); Hallin & Mancini (comparative media application)
- 年份
- 1952 (Berelson); comparative extensions prominent from 1980s onward
- 类型
- Quantitative observational research design
- 类别
- Survey / observational design
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
比较定量内容分析是一种系统化、可重复的方法,用于统计和分类传播内容(如新闻报道、社交媒体帖子或政策文件)的特征,并将其应用于两个或更多群体、时间段、媒体或国家之间。通过对每个比较情境应用标准化的编码本,它揭示了主题、框架、行动者或情感的呈现方式在异同上的模式,并允许对这些差异进行统计检验。
方法背后的直觉
假设您想了解三个不同国家报纸对气候变化的报道方式是相似还是各有侧重。您可以开发一个编码方案,将可观察的内容特征(例如引用了哪些来源、出现了哪些框架、分配了多少版面)转化为数字。然后,将相同的方案应用于每个国家的样本,并对由此产生的频率表进行统计比较。这就是核心逻辑:将内容转化为计数,然后比较不同情境下的计数。比较层面将单一情境的内容分析提升为可泛化、对比性的发现。
历史学
定量内容分析由Bernard Berelson在其1952年的基础性著作中系统化,该著作确立了该方法的定义特征:客观性、系统性和量化。Harold Lasswell及其同事在1940年代将其应用于战时宣传分析,赋予该方法早期的机构合法性。比较维度随着传播研究者在1980年代和1990年代开始进行跨国研究而发展起来,尤其是在比较新闻学和媒体系统研究中(例如,Hallin和Mancini,2004)。Kimberly Neuendorf 2002年的手册成为包括比较设计在内的应用内容分析的标准方法学参考。
何时使用
当您的研究问题明确涉及对比内容在不同群体、媒体、国家或时间点之间的差异,并且该内容可以通过可观察、可编码的特征来表示时,请使用比较定量内容分析。它适用于手动编码可行的大中型语料库,或者自动化编码(例如,基于词典或监督机器学习)可以根据人类判断进行验证的情况。当研究问题涉及潜在意义、修辞细微差别或解释深度时,请勿使用它——定性或批判性话语分析更适合这些目的。当比较情境在结构上差异过大以至于无法实现代码的概念等效时,请避免使用它;将单一编码本强加于不可通约的情境会产生误导性比较。
局限与注意事项
- 仅限于显性的、可观察的内容特征;潜在意义、语调模糊性和语境敏感的讽刺很难通过编码方案捕捉。
- 跨语言和文化的概念等效性难以实现,且很少能完全验证。
- 编码本开发耗时,即使编码可靠,操作化不当也会损害整个研究。
- 研究结果描述的是内容语料库中出现的内容,而不是生产者为何做出这些选择或受众如何解读内容。
- 大型比较语料库需要大量的编码员培训和监督,增加了资源需求。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 由于编码本、样本和编码规则都经过充分记录,因此能产生透明、可重复的发现。
- 当抽样严谨时,支持从抽样内容到特定语料库的统计泛化。
- 能够对比较情境之间的差异进行直接的统计检验,而非印象式的主张。
- 可扩展性强:一旦开发出编码本,即可应用于非常大的语料库,包括借助自动化编码辅助。
- 对于同时追踪多个情境随时间变化的纵向比较设计尤其强大。
- 编码员间信度检查提供了一种内置的质量控制机制,这是定性方法通常缺乏的。
应用
- 比较移民、气候变化或恐怖主义在各国新闻媒体中的框架。
- 追踪政治广告在不同选举制度或竞选期间的差异。
- 分析娱乐媒体中性别或少数族裔在不同国家或几十年间的代表性。
- 比较不同平台或语言社区中关于公共卫生危机的社交媒体讨论。
- 考察政策文件在不同学校系统中如何以不同方式构建教育改革。
- 对组织传播进行基准测试——比较不同行业或地区的企业社会责任报告。
使用方式
使用方式
确定分析单元——将被编码的离散内容元素(例如,一篇报纸文章、一条社交媒体帖子、一个句子或一个段落)——并明确比较维度:将对比哪些国家、媒体、时间点或群体。这种框架决定了哪些比较是有意义的,以及必须控制哪些混淆因素。
开发一个编码本,将每个感兴趣的变量操作化为相互排斥、穷尽的类别。每个类别必须定义得足够精确,以确保两位独立的编码员阅读同一单元时会分配相同的代码。对于比较研究,编码本在所有情境中必须概念等效——这在跨语言工作时可能需要翻译和回译。
为每个比较情境抽取一个抽样框,并应用一致的抽样策略(例如,构建周、随机抽样、特定时期的全面普查),以使来自每个情境的内容在数量和代表性上具有可比性。记录抽样决策,以便研究可以重复。
将编码本应用于抽样内容,通常每个情境至少使用两名独立编码员。每位编码员处理单元并为每个变量赋值。编码员应接受编码本培训,并在可能的情况下对研究假设保持盲态。
使用适当的统计量计算每个变量的编码员间信度——分类变量使用Cohen's kappa (κ) 或Krippendorff's alpha (α),区间水平变量使用组内相关系数 (ICC)。可接受的阈值因变量类型而异,但κ 或 α ≥ 0.70 是广泛引用的最低标准。未能通过信度检查的变量必须在分析前进行修订或删除。
按比较情境汇总编码数据,并运行推断性统计以检验差异:分类变量使用卡方检验或对数线性模型,连续测量使用t检验或方差分析,并使用效应量统计量来传达实际意义。在进行跨情境比较之前,分别报告每个情境的发现,以保持透明度。
常见陷阱
- 将编码员间信度视为最后一步而非迭代过程——信度应在编码员培训和编码本修订期间进行检查,而不仅仅是在所有编码完成后。
- 使用结构上不可比较的比较情境——如果媒体系统、法律环境或文体惯例差异过大,导致相同的代码意味着不同的事物,则数值比较具有误导性。
- 编码本过载——添加超出研究问题所需变量会增加编码员负担,降低信度,并且很少增加解释价值。
- 混淆可靠代码与有效测量——两位编码员始终分配相同的代码并不能保证该代码捕捉到了研究者意图;有效性必须从理论上进行论证。
- 忽略效应量——大型语料库中统计显著的差异在实质上可能微不足道;始终报告效应量统计量以及p值。
常见问题
比较定量内容分析与标准定量内容分析有何不同?
标准定量内容分析描述单一、特定语料库中的内容。比较变体明确设计用于对比两个或更多情境——国家、时间段、媒体或群体——使用专门为这些情境间的概念等效性而构建的编码本。增加比较维度需要额外的设计步骤,涉及等效性、抽样对等性以及用于组间对比的适当推断性统计。
我应该报告哪个编码员间信度阈值?
对于分类变量,Krippendorff's alpha (α) 或Cohen's kappa (κ) 最广泛引用的最低阈值是0.70,对于核心变量,0.80或更高更受青睐。对于区间水平变量,组内相关系数 (ICC) 更为适用。信度应按变量计算,而不是作为一个单一的总体分数;弱变量必须在分析进行之前进行修订或删除。
我可以使用自动化编码进行比较内容分析吗?
可以,但要谨慎。基于词典的方法(例如,LIWC, VADER)或监督机器学习分类器可以处理大型语料库,但它们必须针对比较中的每种语言和情境进行人工编码验证。不能假定在英语数据上训练的分类器可以可靠地迁移到法语或阿拉伯语内容。请针对每个情境单独进行验证,并在研究结果中报告验证统计数据。
我的样本需要多大?
没有普遍的最低要求,但每个比较单元格应包含足够的单元,以足够的功效检测预期的效应量。对于组间卡方检验,一个实用的起点是每个单元格至少30-50个编码单元,如果某些类别的预期频率很小,则需要更多。一旦您根据现有文献估计了效应量,功效分析软件(例如,G*Power)可以指导样本量规划。
如果我的比较情境使用不同的语言怎么办?
编码本说明应针对每种语言进行翻译和回译,并且每个情境应使用母语编码员。在全面编码开始之前,通过对每个情境的一小部分内容进行编码本预测试来检验概念等效性。如果某个变量无法在不同语言之间实现等效——例如,一种语言中存在而另一种语言中不存在的语法框架标记——请考虑将其从跨情境比较中删除,或将比较限制在等效性成立的情境中。
相关方法
参考文献
Berelson, B. (1952). Content Analysis in Communication Research. Free Press.
打开出版物文献已复制。Neuendorf, K. A. (2002). The Content Analysis Guidebook. Sage.
ISBN:978-0761919773已复制。