Сравнительные опросные исследования — Многогрупповой дизайн опроса
- Автор метода
- Rooted in survey methodology traditions (Gallup, Likert, Lazarsfeld mid-20th century); comparative extension codified in social science research methods literature
- Год
- Mid-20th century onward
- Тип
- Quantitative non-experimental research design
- Семейство
- Survey / observational design
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Сравнительное опросное исследование — это количественный неэкспериментальный дизайн, который систематически собирает структурированные опросные данные от двух или более четко определенных групп, популяций или контекстов с целью выявления, описания и анализа сходств и различий между ними.
Он расширяет базовое опросное исследование, делая сравнение явной организующей логикой: вместо характеристики одной популяции, цель состоит в том, чтобы обнаружить, как установки, поведение или результаты различаются между группами, определенными по национальности, культуре, профессии, демографической категории или периоду времени.
Интуиция метода
Сравнительное опросное исследование можно рассматривать как параллельное проведение одного и того же опросного исследования в разных контекстах — например, применение идентичного инструмента оценки удовлетворенности учителей в трех разных странах или опрос студентов из четырех программ обучения об их учебных привычках. Сила дизайна заключается в постоянстве измерительного инструмента при изменении группы, так что различия в ответах могут быть приписаны подлинным межгрупповым вариациям, а не различиям в проведении опроса. Исследователь ничего не манипулирует; он наблюдает и сравнивает то, что уже существует между группами.
История
Сравнительные опросные исследования возникли из слияния двух традиций: систематической методологии опросов, разработанной такими деятелями, как Джордж Гэллап, Ренсис Лайкерт и Пол Лазарсфельд в 1930-х–1950-х годах, и сравнительного метода в социальных науках, отстаиваемого учеными, включая Эмиля Дюркгейма и позже усовершенствованного Арендом Липхардтом в 1970-х–1980-х годах. Кросс-национальные опросные программы, такие как World Values Survey (запущена в 1981 г.) и International Social Survey Programme (запущена в 1984 г.), институционализировали крупномасштабный сбор сравнительных опросных данных и установили стандарты для перевода, выборки и проверки эквивалентности, которые теперь лежат в основе этой области.
Когда применять
Используйте сравнительные опросные исследования, когда ваш исследовательский вопрос явно ставит задачу сравнения двух или более естественно существующих групп по измеряемым установкам, убеждениям, поведению или результатам — например, сравнение удовлетворенности работой между отделами или цифровой грамотности между возрастными когортами. Дизайн требует, чтобы интересующий конструкт мог быть охвачен стандартизированным опросным инструментом и чтобы из каждой группы могли быть взяты эквивалентные выборки. Не используйте этот дизайн, когда вам нужно установить причинно-следственную связь (предпочтите экспериментальный или квазиэкспериментальный дизайн), когда группы настолько различны, что один и тот же инструмент не может быть сделан эквивалентным между ними, когда требуется качественная глубина, а не численное сравнение, или когда доступна только одна группа.
Ограничения и замечания
- Неэкспериментальный дизайн не может установить причинно-следственную связь — наблюдаемые различия могут отражать неучтенные конфаундеры, а не саму групповую переменную.
- Неэквивалентность измерений между группами (например, различные культурные интерпретации лайкертовских шкал) может сделать сравнения вводящими в заблуждение, даже если используются одни и те же пункты.
- Систематические ошибки ответа, такие как социальная желательность и аквиescence, могут систематически варьироваться между группами, искажая сравнения.
- Кросс-секционные варианты фиксируют один снимок и не могут отслеживать, являются ли групповые различия стабильными или меняющимися во времени.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Делает межгрупповые различия явными и количественно измеримыми, производя непосредственно применимые результаты для политики и практики.
- Стандартизированные инструменты позволяют воспроизводить и накапливать доказательства в различных исследованиях.
- Может проводиться эффективно на больших выборках с использованием онлайн- или почтовой рассылки.
- Гибкость в различных дисциплинах и типах групп — применимо в образовании, здравоохранении, организационных и межкультурных исследованиях.
- Описательные и инференциальные результаты ясно сообщаются неспециализированной аудитории.
Применение
- Сравнение академической вовлеченности или благополучия студентов в различных типах школ, классах или странах.
- Измерение и сопоставление удовлетворенности работой сотрудников, выгорания или организационной приверженности между отделами, секторами или странами.
- Оценка установок, связанных со здоровьем, или самоотчетов о поведении (например, физическая активность, пищевые привычки) между демографическими подгруппами.
- Оценка общественного мнения по вопросам политики (изменение климата, иммиграция, здравоохранение) между регионами, политическими предпочтениями или группами доходов.
- Сравнение цифровой грамотности, принятия технологий или моделей потребления медиа между возрастными когортами или профессиональными группами.
- Бенчмаркинг восприятия качества обслуживания между филиалами, клиниками или учреждениями в исследованиях по улучшению качества.
Как это работает
Как это работает
Исследователь определяет две или более сравниваемых группы на основе теоретически значимого критерия — такого как страна, пол, профессиональная роль, возрастная когорта или тип организации. Четкие операциональные определения членства в группе устанавливаются до выборки, чтобы все участники могли быть однозначно отнесены к одной группе. Обоснование выбранного сравнения должно основываться на исследовательском вопросе.
Создается или адаптируется единый стандартизированный опросный инструмент, который одинаково применим и интерпретируем для всех сравниваемых групп. Когда группы различаются по языку или культуре, применяются процедуры прямого и обратного перевода и культурной адаптации для обеспечения эквивалентности измерений. Пилотное тестирование в каждой группе настоятельно рекомендуется для выявления недопонимания на уровне пунктов до полного сбора данных.
Данные собираются из вероятностных или целенаправленных выборок, извлеченных из каждой группы, в идеале с использованием одного и того же режима проведения (онлайн, бумажный, интервью) для всех групп, чтобы минимизировать эффекты режима. Уровень отклика отслеживается отдельно для каждой группы; низкий или неравный уровень отклика угрожает сопоставимости и должен быть прозрачно сообщен.
Описательные статистики (средние, пропорции, частоты) вычисляются отдельно для каждой группы, а затем сравниваются. Применяются инференциальные тесты, соответствующие типам переменных и структуре группы — t-тесты для независимых выборок или ANOVA для непрерывных исходов, хи-квадрат для категориальных исходов и многомерные методы (MANOVA, множественная регрессия с фиктивными переменными группы) при контроле ковариат. Когда эквивалентность измерений неопределенна, конструктная факторная модель или модели теории отклика пункта используются для ее формальной проверки перед проведением существенных сравнений.
Наблюдаемые межгрупповые различия интерпретируются в контексте теоретической основы и решений по выборке и измерению, принятых в исследовании. Размеры эффекта (d Коэна, эта-квадрат, отношения шансов) сообщаются наряду с тестами значимости для передачи практической важности. Исследователь различает статистически значимые и существенно значимые различия и признает альтернативные объяснения любых обнаруженных различий.
Частые ошибки
- Предположение об эквивалентности без ее проверки — использование одной и той же анкеты на разных языках или в разных культурах без формальной проверки эквивалентности (например, конструктной факторной модели с ограничениями инвариантности) увеличивает риск того, что различия отражают артефакты измерения, а не реальные групповые различия.
- Неравные размеры выборки без корректировки — большие дисбалансы в размерах выборок групп снижают статистическую мощность для обнаружения реальных различий и могут исказить оценки размера эффекта; планируйте выборку для достижения примерно равных размеров групп или применяйте соответствующее взвешивание.
- Принятие статистической значимости за существенную важность — при больших объединенных выборках тривиально малые различия могут достигать p < 0,05; всегда сочетайте тесты значимости с размерами эффекта и интерпретируйте их практическое значение.
- Определение групп постфактум — разделение выборки по переменной, измеренной одновременно с исходом (например, медианное разделение по предиктору), вносит смещение; членство в группе должно быть определено концептуально и операционально до сбора данных.
Часто задаваемые вопросы
Чем сравнительное опросное исследование отличается от обычного опросного исследования?
Обычное опросное исследование характеризует одну популяцию — оно описывает, что думает, делает или испытывает эта популяция. Сравнительное опросное исследование делает межгрупповые различия основным исследовательским вопросом. Один и тот же опросный инструмент применяется к двум или более различным группам, и анализ сосредоточен на сопоставлении их ответов, а не на обобщении всей выборки в целом.
Сколько групп мне нужно и насколько большой должна быть каждая выборка?
Вам нужно как минимум две сравниваемые группы; распространены исследования, сравнивающие от трех до пяти групп. Каждая группа должна быть достаточно большой, чтобы поддерживать запланированные инференциальные тесты — грубо говоря, минимум 30 человек в группе необходимо для параметрических тестов, а анализ мощности должен определять окончательную цель. Очень неравные размеры групп (например, 200 против 20) снижают статистическую мощность и усложняют интерпретацию.
Что такое эквивалентность измерений и всегда ли ее нужно проверять?
Эквивалентность измерений (также называемая инвариантностью измерений) означает, что пункты опроса измеряют один и тот же лежащий в основе конструкт одинаковым образом между группами. Когда группы говорят на разных языках или происходят из разных культур, это нельзя предполагать — это должно быть проверено, как правило, с использованием конструктной факторной модели с моделями конфигурационной, метрической и скалярной инвариантности. Для групп, которые очень похожи (например, один язык, одна культура, разные отделы в одной организации), формальная проверка по-прежнему является хорошей практикой, но риск ниже.
Могу ли я использовать этот дизайн для причинно-следственных утверждений?
Нет. Сравнительное опросное исследование является наблюдательным: членство в группе не манипулируется, и многие альтернативные объяснения любых наблюдаемых различий не могут быть исключены. Для поддержки причинно-следственных утверждений вам нужен экспериментальный или квазиэкспериментальный дизайн со случайным распределением или обоснованный естественный эксперимент. Результаты сравнительных опросов лучше всего представлять как свидетельства ассоциации или различия, а не причинности.
Как мне справиться с неответом, если некоторые группы отвечают с разной скоростью?
Неравный уровень отклика между группами угрожает сопоставимости выборок. Сообщайте уровень отклика отдельно для каждой группы. Если уровень неответа высок или дифференциален, выясните, отличаются ли неответившие систематически от ответивших (анализ смещения неответа с использованием доступных вспомогательных данных). Взвешивание по пост-стратификации может частично скорректировать известные демографические дисбалансы, но не может исправить неизвестные смещения ответа.
Похожие методы
Источники
Fowler, F. J. (2014). Survey Research Methods (5th ed.). Sage Publications.
ISBN: 978-1452259000Скопировано.Babbie, E. (2016). The Practice of Social Research (14th ed.). Cengage Learning.
ISBN: 978-1305104945Скопировано.