Опросные исследования — Разработка опросного исследования
- Автор метода
- Francis Galton, Charles Booth, and early social statisticians; systematised by Paul Lazarsfeld and colleagues at Columbia in the 1940s
- Год
- Late 19th century; methodologically systematised 1940s–1960s
- Тип
- Quantitative (and mixed) non-experimental design
- Семейство
- Survey / observational design
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Опросное исследование — это количественный (а иногда и смешанный) метод, при котором исследователь собирает стандартизированные данные самоотчетов от выборки, взятой из определенной популяции, используя анкету или структурированное интервью.
Это доминирующая неэкспериментальная стратегия для описания характеристик популяции, оценки распространенности, картирования распределения установок и проверки бивариантных или мультивариантных связей в социальных, поведенческих науках и науках о здоровье.
Интуиция метода
Представьте опрос как стандартизированный измерительный инструмент, применяемый одновременно ко многим людям. Вместо глубокого наблюдения за каждым участником, исследователь задает один и тот же набор вопросов каждому респонденту. Полученный набор данных представляет собой прямоугольник: строки — это люди, столбцы — это переменные. Магия опросного исследования заключается в агрегировании — даже когда индивидуальные ответы зашумлены, закономерности, выявленные среди сотен респондентов, могут раскрыть истины на уровне популяции с поддающейся количественной оценке достоверностью. Ключевой компромисс — это широта против глубины: опросы охватывают множество переменных у многих людей, но не могут исследовать опыт одного человека с той полнотой, которую дало бы интервью.
История
Систематические социальные опросы появились в конце XIX века с картами бедности Лондона Чарльза Бута (1889–1903) и аналогичными работами Сибома Раунтри. Современный вероятностный опрос был сформирован развитием теории случайной выборки — знаковым событием стала статья Ежи Неймана 1934 года о стратифицированной выборке — и индустриализацией опросов общественного мнения через Гэллапа, Ропера и Кросли в 1930-х годах. Пол Лазарсфельд и его коллеги из Колумбийского университета формализовали методологию опросов для социальных наук в 1940-х годах. Флойд Фаулер, Дон Диллман и Роберт Гроувс впоследствии создали канонические методологические справочники, определяющие современную передовую практику.
Когда применять
Опросные исследования уместны, когда цель состоит в описании характеристик или взаимосвязей между переменными в определенной популяции — особенно когда прямое наблюдение или эксперимент непрактичны. Это предпочтительный метод для измерения установок, оценки потребностей, оценки программ и эпидемиологических исследований распространенности. Используйте его, когда переменными нельзя манипулировать и когда возможно стандартизированное измерение многих участников. Не используйте опросные исследования, когда исследовательский вопрос требует глубокого понимания субъективного смысла (используйте феноменологию или нарративное исследование), когда требуется причинно-следственный вывод из манипулируемых условий (используйте экспериментальные или квазиэкспериментальные планы), или когда интересующая популяция слишком мала или недоступна для получения приемлемого уровня отклика.
Ограничения и замечания
- Кросс-секционные дизайны (наиболее распространенная форма) не могут установить временную предшествующую связь или исключить смешивающие факторы, что ограничивает причинно-следственные выводы.
- Данные самоотчетов уязвимы для общей дисперсии метода, предвзятости социальной желательности и эффектов согласия с ответом.
- Систематическая ошибка неответа является постоянной угрозой — респонденты, заполнившие опрос, могут систематически отличаться от нереспондентов.
- Формулировка пункта, формат шкалы ответов и порядок вопросов могут существенно влиять на ответы таким образом, что это трудно обнаружить.
- Глубина информации на респондента ограничена; сложные конструкты могут быть плохо отражены небольшим набором пунктов.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Позволяет описывать и анализировать большие, географически рассредоточенные популяции при относительно низкой стоимости на респондента.
- Стандартизированные инструменты максимизируют сопоставимость между респондентами и воспроизводимость между исследованиями.
- Вероятностная выборка поддерживает статистическое обобщение на определенную популяцию с количественно оцененной неопределенностью.
- Гибкий способ администрирования (онлайн, почта, телефон, личное общение) позволяет адаптироваться к целевой популяции.
- Создает структурированные наборы данных, пригодные для широкого спектра инференциальных статистических процедур.
- Может измерять большое количество переменных одновременно, что позволяет проводить многомерный анализ сложных взаимосвязей.
Применение
- Национальные исследования здоровья, оценивающие распространенность заболеваний, поведение, связанное с риском для здоровья, и использование медицинских услуг среди взрослого населения.
- Опросы вовлеченности сотрудников и организационного климата, используемые для мониторинга отношения на рабочем месте и руководства кадровой политикой.
- Опросы по оценке образования, измеряющие опыт обучения студентов, самоэффективность и удовлетворенность в высшем образовании.
- Опросы общественного мнения, измеряющие политические установки, намерения голосовать и предпочтения в политике перед выборами.
- Опросы по оценке программ, собирающие данные об удовлетворенности участников и самоотчетные данные о результатах для социальных интервенций.
- Маркетинговые исследования, опросники, картирующие потребительские предпочтения, восприятие бренда и покупательское поведение.
Как это работает
Как это работает
Исследователь определяет исследовательские вопросы и интересующие конструкты — что опрос должен измерять и для какой популяции. Цели определяют, является ли дизайн чисто описательным (оценка распространенности), реляционным (проверка связей) или прогностическим (моделирование результатов). Четкие цели предотвращают раздувание инструментария и сохраняют сфокусированность анализа.
Отдельные пункты (вопросы) разрабатываются и уточняются для операционализации каждого конструкта. Формулировка пункта, тип шкалы ответов (шкала Лайкерта, семантический дифференциал, дихотомическая, открытая), порядок и логика пропусков — все это решения, принимаемые на данном этапе. Пилотное тестирование с небольшой удобной выборкой используется для выявления неоднозначных формулировок и оценки времени заполнения до окончательной доработки инструмента.
Выбирается стратегия выборки для привлечения респондентов из целевой популяции. Вероятностные планы (простая случайная, стратифицированная, кластерная, систематическая) позволяют статистически обобщать данные на популяцию; невероятностные планы (удобная, целенаправленная, «снежный ком») этого не позволяют, но приемлемы для разведочных или подтверждающих работ, где репрезентативность не является целью. Необходимый объем выборки оценивается на основе ожидаемых размеров эффекта, желаемой мощности и допустимой погрешности.
Инструмент применяется выбранным способом — онлайн (платформы для веб-опросов), почтой, по телефону или в ходе личного интервью. Выбор способа влияет на уровень отклика, предвзятость социальной желательности и доступ к субпопуляциям. Для повышения уровня отклика рассылаются напоминания, и в течение всего полевого этапа отслеживается уровень отклика.
Заполненные ответы очищаются (обработка пропущенных данных, значений вне диапазона и «прямых линий»), а затем анализируются. Описательная статистика суммирует распределения пунктов и шкал. Для ответа на исследовательские вопросы выбираются инференциальные анализы — t-тесты, ANOVA, хи-квадрат, регрессия, моделирование структурными уравнениями. Веса опроса применяются, когда использовался вероятностный дизайн и уровни отклика различались по стратам.
Результаты интерпретируются в связи с исследовательскими вопросами и помещаются в контекст предшествующей литературы. Отчеты включают детали выборки, уровень отклика, индексы надежности инструмента (например, альфа Кронбаха для многопунктных шкал), размеры эффекта и доверительные интервалы. Прозрачно обсуждаются ограничения, касающиеся систематической ошибки неответа, общей дисперсии метода и обобщаемости.
Частые ошибки
- Раздувание инструментария — включение каждого потенциально интересного пункта увеличивает время заполнения, повышает процент отсева и создает набор данных, слишком большой для связного анализа; приоритизируйте пункты, которые непосредственно отвечают на исследовательские вопросы.
- Пренебрежение пилотным тестированием — пункты, которые кажутся ясными исследователю, часто неправильно понимаются респондентами; небольшой пилот (n = 5–10) выявляет большинство проблем с формулировками до массового проведения.
- Отношение к удобной выборке как к репрезентативной — результаты из невероятностной выборки могут быть обобщены только с большой осторожностью; явно указывайте ограничения выборки и избегайте заявлений о распространенности на уровне популяции.
- Игнорирование систематической ошибки неответа — низкий уровень отклика не автоматически делает исследование недействительным, но анализ, сравнивающий ранних и поздних респондентов (или респондентов и известных нереспондентов), необходим для оценки угрозы.
- Опущение доказательств надежности и валидности для многопунктных шкал — сообщение альфы Кронбаха и, при необходимости, результатов конфирматорного факторного анализа ожидается в рецензируемых публикациях.
Часто задаваемые вопросы
Насколько большой должна быть моя выборка для опроса?
Требуемый объем выборки зависит от ожидаемого размера эффекта, желаемой статистической мощности (обычно 0.80), уровня значимости (обычно 0.05) и сложности планируемых анализов. Для простого сравнения двух групп, выявляющего средний эффект (d = 0.50) с мощностью 80%, вам потребуется примерно 64 человека на группу. Модели структурных уравнений обычно требуют не менее 200 полных случаев. Используйте априорный анализ мощности (например, G*Power), а не эмпирические правила, и добавьте 20–30% для учета ожидаемых неполных ответов.
Является ли низкий уровень отклика фатальным недостатком?
Низкий уровень отклика — это угроза, но не автоматически фатальный недостаток. Важно, отличаются ли респонденты систематически от нереспондентов по переменным, имеющим отношение к исследованию. Проведите анализ систематической ошибки неответа — сравните ранних и поздних респондентов по ключевым демографическим показателям или сравните профиль вашей выборки с известными популяционными эталонами — и сообщите о полученных результатах. Признайте сохраняющуюся неопределенность относительно обобщаемости, даже если анализ обнадеживает.
Что такое общая дисперсия метода и как мне с ней бороться?
Общая дисперсия метода (CMV) — это ложная ковариация между переменными, вызванная тем, что они были измерены одним и тем же инструментом в одно и то же время, что завышает наблюдаемые корреляции. Процедурные меры включают временное разделение измерения предиктора и результата, использование различных форматов ответов для разных конструктов и включение маркерной переменной. Статистические проверки, такие как однофакторный тест Хармана или подход с не измеренным латентным фактором, могут обнаружить, но не полностью исправить CMV.
Когда мне следует выбрать онлайн-опрос вместо почтового или телефонного опроса?
Онлайн-опросы экономически эффективны, быстры и подходят, когда целевая популяция имеет надежный доступ к Интернету — большинство взрослых трудоспособного возраста в развитых странах. Почтовые опросы остаются ценными для пожилых людей или тех, у кого нет доступа к Интернету, ценой более медленного оборота и более высокой стоимости на ответ. Телефонные опросы имеют снижающийся уровень отклика, но позволяют использовать сложную логику ветвления и охватывать популяции без Интернета. Смешанные режимы (предлагающие несколько каналов ответа) обычно достигают более высоких уровней отклика, чем любой отдельный режим.
Может ли опрос установить причинно-следственную связь?
Один кросс-секционный опрос не может установить причинно-следственную связь, поскольку ему не хватает временного порядка и случайного распределения. Продольные панельные исследования, которые измеряют одних и тех же респондентов в несколько моментов времени, могут установить временную предшествующую связь, что является необходимым (но не достаточным) условием для причинно-следственной связи. Кросс-лаговые панельные модели и кросс-лаговые панельные модели со случайным перехватом могут контролировать стабильные индивидуальные различия, усиливая причинно-следственные выводы, но неизмеренные смешивающие факторы остаются угрозой. Для недвусмысленных причинно-следственных утверждений требуются экспериментальные или квазиэкспериментальные планы.
Похожие методы
Источники
Fowler, F. J. (2014). Survey Research Methods (5th ed.). Sage Publications.
ISBN: 978-1452259000Скопировано.Dillman, D. A., Smyth, J. D., & Christian, L. M. (2014). Internet, Phone, Mail, and Mixed-Mode Surveys: The Tailored Design Method (4th ed.). Wiley.
ISBN: 978-1118456149Скопировано.