Skip to content
返回搜索结果

比较调查研究——多群体调查设计

提出者
Rooted in survey methodology traditions (Gallup, Likert, Lazarsfeld mid-20th century); comparative extension codified in social science research methods literature
年份
Mid-20th century onward
类型
Quantitative non-experimental research design
类别
Survey / observational design

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

比较调查研究是一种定量的非实验性设计,它系统地从两个或多个明确定义的群体、总体或情境中收集结构化调查数据,以识别、描述和分析它们之间的相似性和差异。它通过将比较作为明确的组织逻辑来扩展基本的调查研究:其目标不是描述单一总体,而是检测态度、行为或结果如何在由国籍、文化、职业、人口统计类别或时间段定义的群体之间发生变化。

方法背后的直觉

将比较调查研究设想为在不同情境下并行进行相同的问卷研究——例如,在三个不同的国家实施相同的教师满意度调查工具,或调查来自四个学位课程的学生关于他们的学习习惯。该设计的优势在于保持测量工具不变而改变群体,从而可以将反应中的差异归因于真实的群体间差异,而不是调查实施方式的差异。研究者不操纵任何东西;他们观察并比较群体间已有的情况。

历史学

比较调查研究源于两个传统的融合:20世纪30年代至50年代由George Gallup、Rensis Likert和Paul Lazarsfeld等人发展的系统调查方法,以及20世纪70年代至80年代由Emile Durkheim等人倡导并由Arend Lijphart等人完善的社会科学比较方法。诸如世界价值观调查(1981年启动)和国际社会调查项目(1984年启动)等跨国调查项目将大规模比较调查数据收集制度化,并确立了翻译、抽样和等价性检验的标准,这些标准现在支撑着该领域。

何时使用

当你的研究问题明确询问两个或多个自然存在的群体在测量的态度、信念、行为或结果方面有何不同时——例如,比较不同部门之间的工作满意度,或不同年龄队列之间的数字素养。该设计要求感兴趣的构念能够被标准化调查工具捕捉,并且能够从每个群体中抽取等价的样本。当你需要建立因果方向时(倾向于实验性或准实验性设计),当群体差异过大以至于无法在它们之间实现相同的工具等价性时,当需要定性深度而非数值比较时,或者当只有一个群体可用时,不要使用此设计。

局限与注意事项

  • 非实验性设计无法建立因果顺序——观察到的差异可能反映了未测量的混淆因素,而不是分组变量本身。
  • 群体间的测量不等价性(例如,对李克特量表锚点的不同文化解释)即使在使用相同的项目时,也可能使比较产生误导。
  • 诸如社会期望和赞同等应答偏差可能在群体间系统性地变化,从而扭曲比较。
  • 横断面变体捕捉单一快照,无法追踪群体差异是稳定的还是随时间变化的。

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 使群体间差异明确化和可量化,为政策和实践产生直接可操作的发现。
  • 标准化工具能够实现跨研究的复制和证据积累。
  • 可以通过在线或邮寄方式施测,高效地对大样本进行。
  • 跨学科和群体类型灵活——适用于教育、健康、组织和跨文化研究。
  • 描述性和推断性结果能够清晰地向非专业受众传达。

应用

  • 比较不同学校类型、年级水平或国家/地区学生的学术参与度或福祉。
  • 测量和对比不同部门、行业或国家/地区员工的工作满意度、倦怠或组织承诺。
  • 评估不同人口统计亚群体之间的健康相关态度或自我报告行为(例如,体育活动、饮食习惯)。
  • 评估不同地区、政治派别或收入群体对政策问题(气候变化、移民、医疗保健)的公众舆论。
  • 比较不同年龄队列或专业群体之间的数字素养、技术接受度或媒体消费模式。
  • 在质量改进研究中,跨部门、诊所或机构对服务质量的认知进行标杆比较。

使用方式

使用方式

1

研究者根据理论上有意义的标准——例如国家、性别、职业角色、年龄队列或组织类型——来识别两个或多个比较群体。在抽样之前建立清晰的群体成员资格操作性定义,以便所有参与者都能被明确地分配到一个群体中。所选比较的理由必须基于研究问题。

2

构建或改编一个单一的标准化调查工具,使其在所有比较群体中都同样适用和可解释。当群体在语言或文化上存在差异时,会采用正反翻译和文化适应程序,以确保测量等价性。强烈建议在每个群体内进行试点测试,以在全面数据收集前检测项目层面的误解。

3

从每个群体的概率样本或目的样本中收集数据,理想情况下跨群体使用相同的施测模式(在线、纸质、访谈辅助)以最小化模式效应。应答率按群体单独监控;低应答率或不均等的应答率会威胁可比性,并且必须透明地报告。

4

分别计算每个群体的描述性统计量(均值、比例、频率),然后进行比较。应用适合变量类型和群体结构的推断检验——连续结果使用独立样本 t 检验或 ANOVA,分类结果使用卡方检验,当控制协变量时使用多变量技术(MANOVA、带群体虚拟变量的多重回归)。当测量等价性不确定时,在实质性比较进行之前,使用验证性因子分析或项目反应理论模型来正式检验它。

5

在理论框架以及研究的抽样和测量决策的背景下解释观察到的群体间差异。效应量(Cohen's d、eta-squared、优势比)与显著性检验一起报告,以传达实际重要性。研究者区分统计学上显著的差异和实质上有意义的差异,并承认任何检测到的差异的其他可能解释。

常见陷阱

  • 假设等价性而未进行检验——在不同语言或文化中使用相同的问卷而未进行正式的等价性检验(例如,带有不变性约束的验证性因子分析)会增加差异反映测量伪影而非真实群体差异的风险。
  • 未调整的样本量不均——群体样本量严重不平衡会降低检测真实差异的统计功效,并可能偏倚效应量估计;规划抽样以实现大致相等的群体n或应用适当的加权。
  • 将统计显著性视为实质重要性——对于大型合并样本,微小的差异可能达到 p < 0.05;始终将显著性检验与效应量配对,并解释其实际意义。
  • 事后定义群体——根据与结果同时测量的变量分割样本(例如,预测变量的中位数分割)会引入偏差;群体成员资格应在数据收集前在概念和操作上进行定义。

常见问题

比较调查研究与普通调查研究有何不同?

普通调查研究描述单一总体——它描述该总体所想、所做或所经历的。比较调查研究将群体间差异作为主要研究问题。对两个或多个不同的群体实施相同的调查工具,分析重点在于对比他们的反应,而不是总结整个样本。

我需要多少个群体,每个样本量应该多大?

您至少需要两个比较群体;比较三个到五个群体的研究很常见。每个群体应足够大以支持计划的推断检验——粗略地说,参数检验每组至少需要30个,功效分析应指导最终目标。非常不均等的群体大小(例如,200 vs. 20)会降低统计功效并使解释复杂化。

什么是测量等价性,我是否总是需要检验它?

测量等价性(也称为测量不变性)意味着调查项目在不同群体中以相同的方式测量相同的潜在构念。当群体讲不同语言或来自不同文化时,不能假定这一点——必须进行检验,通常使用带有构型、度量和标度不变性模型的验证性因子分析。对于高度相似的群体(例如,相同的语言、相同的文化、同一组织内的不同部门),正式检验仍然是好的做法,但风险较低。

我可以使用此设计来做出因果声明吗?

不可以。比较调查研究是观察性的:群体成员资格不是被操纵的,并且观察到的任何差异的许多替代解释都无法排除。要支持因果声明,您需要一个具有随机分配或可辩护的自然实验的实验性或准实验性设计。比较调查结果最好被表述为关联或差异的证据,而不是因果关系。

如果某些群体的应答率不同,我该如何处理无应答?

群体间不均等的应答率会威胁样本的可比性。按群体单独报告应答率。如果无应答率很高或存在差异,请调查无应答者是否与应答者系统性地不同(使用可用的辅助数据进行无应答偏差分析)。事后分层加权可以部分纠正已知的群体统计不平衡,但无法解决未知的应答偏差。

相关方法

参考文献

  1. Fowler, F. J. (2014). Survey Research Methods (5th ed.). Sage Publications.

    ISBN:978-1452259000
    已复制。
  2. Babbie, E. (2016). The Practice of Social Research (14th ed.). Cengage Learning.

    ISBN:978-1305104945
    已复制。