Дизайн "ex post facto" — исследование "по факту"
- Автор метода
- Formalized by Fred N. Kerlinger; foundational treatment by Donald T. Campbell and Julian C. Stanley
- Год
- 1960s (systematic codification); concept used in social science from early 20th century
- Тип
- Non-experimental quantitative research design
- Семейство
- Survey / observational design
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Дизайн "ex post facto" представляет собой неэкспериментальный количественный подход к исследованию, при котором исследователь изучает явление после того, как оно уже произошло, анализируя существующие различия между группами для изучения потенциальных причинно-следственных или ассоциативных связей.
Поскольку независимая переменная не может быть манипулирована — она произошла в прошлом — дизайн полагается на тщательный отбор групп, ретроспективный сбор данных и статистический контроль для приближения к причинно-следственному выводу без экспериментального вмешательства.
Интуиция метода
Предположим, вы хотите изучить, как привычки чтения в детстве влияют на грамотность взрослых. Вы не можете случайным образом распределить детей по условиям чтения в прошлом. Вместо этого вы определяете взрослых, которые много читали в детстве, и тех, кто этого не делал, а затем сравниваете их текущие показатели грамотности. Это логика "ex post facto": вы наблюдаете исход, который уже произошел, и работаете в обратном направлении, чтобы изучить его предполагаемые предшествующие факторы. Дизайн эффективен для изучения явлений, которые не могут быть вызваны экспериментально — таких как воздействие болезни, история образования или жизненные события — но невозможность рандомизации означает, что причинно-следственные утверждения всегда должны интерпретироваться с осторожностью.
История
Термин "ex post facto" (лат. "из после свершившегося") был применен к методологии исследований в социальных науках наиболее влиятельно Фредом Н. Керлингером в его учебнике 1964 года "Основы исследований поведения", где он определил его как систематическое эмпирическое исследование, в котором ученый не имеет прямого контроля над независимыми переменными, поскольку их проявления уже произошли. Монография Дональда Т. Кэмпбелла и Джулиана К. Стэнли 1963 года по экспериментальным и квазиэкспериментальным дизайнам предоставила основу для оценки угроз внутренней валидности, которые продолжают направлять интерпретацию результатов "ex post facto". Дизайн давно занимает центральное место в эпидемиологии и образовательных исследованиях, где экспериментальная манипуляция ключевыми переменными невозможна.
Когда применять
Используйте дизайн "ex post facto", когда независимая переменная уже произошла и не может быть этически или практически манипулирована — например, прошлое травма, воздействие болезни, уровень образования или демографические характеристики. Это подходящий дизайн, когда истинный экспериментальный контроль невозможен, но требуется количественное сравнение групп. Он подходит для ретроспективных вопросов в образовании, здравоохранении, социологии и психологии. Не используйте его, когда рандомизированное контролируемое исследование или квазиэкспериментальный дизайн осуществимы, поскольку эти дизайны предоставляют более сильные причинные доказательства. Избегайте его, когда источник ретроспективных данных низкого качества или когда группы не могут быть определены с достаточной точностью, поскольку эти условия серьезно ограничивают интерпретацию.
Ограничения и замечания
- Отсутствие рандомизации означает, что смешивающие переменные не могут быть полностью исключены, что делает причинные выводы предварительными.
- Исследователь не может контролировать независимую переменную, поэтому группы могут различаться по неизмеренным характеристикам, объясняющим исход.
- Ретроспективные данные уязвимы для систематической ошибки воспоминаний, отсутствующих записей и непоследовательности измерений во времени.
- Направление причинности может быть неоднозначным — предполагаемая причина и следствие могут быть обратными, или оба могут быть вызваны третьей переменной.
- Статистические контроли (ANCOVA, сопоставление) уменьшают, но не устраняют смешивание; ни один постфактумный метод не заменяет истинную рандомизацию.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Позволяет изучать переменные, которыми нельзя этически или практически манипулировать, включая прошлый опыт, воздействие на здоровье и демографические факторы.
- Использует существующие или архивные данные, что делает его экономически эффективным и осуществимым для изучения редких событий или больших популяций.
- Сохраняет экологическую валидность — независимая переменная отражает реальные условия, а не искусственные лабораторные настройки.
- Генерирует гипотезы и оценки ассоциаций, которые могут информировать дизайн будущих проспективных или экспериментальных исследований.
- Подходит для выявления факторов риска и защитных условий в эпидемиологии, образовании и исследованиях социальной политики.
Применение
- Сравнение академической успеваемости между студентами, посещавшими дошкольные учреждения, и теми, кто этого не делал, с использованием данных школьных реестров.
- Изучение того, связана ли история детских невзгод с исходами психического здоровья взрослых в клинической популяции.
- Исследование различий в сердечно-сосудистом здоровье между многолетними курильщиками и никогда не курившими в рамках обследования общественного здравоохранения.
- Анализ того, демонстрируют ли учителя, прошедшие определенную программу предварительной подготовки, отличающееся поведение в управлении классом по сравнению с теми, кто этого не делал.
- Изучение того, предсказывает ли участие во внеклассных мероприятиях в средней школе показатели удержания студентов в университете.
- Исследование профессиональных последствий для здоровья среди работников, подвергшихся воздействию химического вещества на рабочем месте до изменений в регулировании, и тех, кто не подвергался.
Как это работает
Как это работает
Исследователь определяет интересующий исход (зависимую переменную) и предполагаемое предшествующее условие или характеристику (независимую переменную), которое уже произошло в реальном мире. Исследовательский вопрос обычно формулируется так: отличаются ли группы, различающиеся по прошлой характеристике, систематически по текущему исходу?
Участники распределяются по группам на основе их естественного статуса по независимой переменной — например, курильщики против некурящих, или выпускники университетов против выпускников средних школ. Это группирование является ретроспективным: исследователь выбирает или классифицирует участников после того, как определяющий опыт произошел. Сопоставление по ключевым демографическим переменным может улучшить сопоставимость групп.
Собираются данные как по независимой переменной (часто оцениваемой с помощью записей, самоотчетов или архивных документов), так и по зависимой переменной (измеренной на момент исследования). Распространенными источниками являются существующие базы данных, институциональные записи, реестры когорт и ретроспективные опросы. Качество ретроспективных данных является критически важным методологическим вопросом.
Поскольку рандомизация отсутствует, исследователь должен выявить и статистически контролировать правдоподобные смешивающие переменные. Методы включают ковариационный анализ (ANCOVA), множественную регрессию, сопоставление по показателю склонности и стратифицированный анализ. Ни одна статистическая процедура полностью не воспроизводит случайное распределение, но явный контроль смешивающих факторов улучшает интерпретируемость.
Различия между группами по исходу тестируются с использованием соответствующих инференциальных статистик — t-критерий для независимых выборок, ANOVA, хи-квадрат или регрессионные модели в зависимости от уровня измерения переменных. Размеры эффекта (d Коэна, эта-квадрат, отношения шансов) должны сообщаться наряду со значениями значимости.
Результаты интерпретируются с явным признанием неэкспериментального характера дизайна. Прямые причинно-следственные утверждения требуют дополнительного обоснования — временное предшествование независимой переменной, биологическая или теоретическая правдоподобность и исключение альтернативных объяснений. Исследователь четко различает ассоциацию и причинность.
Частые ошибки
- Утверждение о причинности на основе ассоциации — результаты "ex post facto" устанавливают, что группы различаются, а не то, что одно условие вызвало другое; используйте формулировки типа "ассоциировано с" или "предсказывается" вместо "вызвано".
- Игнорирование систематической ошибки отбора — группы, определяемые ретроспективно, часто различаются по множеству характеристик; неучет и неконтроль этих различий приводит к ложным выводам.
- Плохое ретроспективное измерение — полагание на память участников о событиях, произошедших много лет назад, вносит систематическую ошибку; по возможности подтверждайте архивными или объективными записями.
- Пренебрежение размером эффекта — статистически значимое различие между группами в большой выборке может быть незначительным в практическом смысле; всегда сообщайте и интерпретируйте размер эффекта наряду с p-значениями.
- Рассмотрение дизайна как эквивалентного квазиэксперименту — без проспективного сбора данных и четко определенного условия сравнения, установленного до исхода, дизайны "ex post facto" имеют более слабую причинную логику, чем квазиэкспериментальные дизайны.
Часто задаваемые вопросы
Является ли дизайн "ex post facto" тем же, что и причинно-сравнительное исследование?
Термины часто используются взаимозаменяемо в литературе по образованию и социальным наукам. Оба включают сравнение существующих групп по интересующему исходу. Некоторые методологи рассматривают причинно-сравнительное исследование как более широкую категорию, включающую исследования "ex post facto", в то время как другие используют эти термины как синонимы. Ключевой общей чертой является то, что независимая переменная уже произошла и не может быть манипулирована исследователем.
Могут ли результаты "ex post facto" установить причинность?
Сами по себе нет. Для поддержки причинной интерпретации должны быть выполнены три условия: временное предшествование (предполагаемая причина предшествовала следствию), ковариация (группы действительно различаются по исходу) и исключение правдоподобных альтернатив (учитываются смешивающие переменные). Дизайны "ex post facto" могут удовлетворять первым двум условиям, если качество ретроспективных данных высокое, но третье условие всегда ограничено без рандомизации.
Чем дизайн "ex post facto" отличается от ретроспективного когортного исследования?
В ретроспективном когортном исследовании исследователи определяют определенную когорту, подвергшуюся воздействию условия в прошлом, и отслеживают ее до исхода, используя исторические записи. Дизайн "ex post facto" схож по логике, но чаще используется в образовательных и социальных науках, часто без формальной когортной структуры. Различие в основном дисциплинарное; соображения валидности в значительной степени одинаковы.
Какие статистические методы обычно используются?
Сравнение групп использует t-критерии, ANOVA или хи-квадрат в зависимости от уровня измерения. При контроле ковариат часто используются ANCOVA или множественная регрессия. Сопоставление по показателю склонности становится все более популярным для уменьшения систематической ошибки отбора. Логистическая регрессия используется, когда исход бинарный. Все анализы должны сообщать доверительные интервалы и размеры эффекта.
Когда следует выбрать продольный дизайн вместо этого?
Если вы можете измерить участников до возникновения независимой переменной, а затем снова после нее, предпочтительнее проспективный продольный дизайн, поскольку он более убедительно устанавливает временное предшествование и уменьшает ошибку ретроспективного измерения. Дизайн "ex post facto" подходит, когда проспективное измерение невозможно — потому что событие произошло до начала исследования, или потому что оно слишком редкое или чувствительное для проспективного изучения.
Похожие методы
Источники
Kerlinger, F. N. (1964). Foundations of Behavioral Research. Holt, Rinehart and Winston.
Открыть ссылку на публикациюСкопировано.Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
ISBN: 978-0395307878Скопировано.