Skip to content
Назад к результатам поиска

Экспериментальный дизайн с предтестом и посттестом

Автор метода
Donald T. Campbell and Julian C. Stanley
Год
1963 (formalized in Campbell & Stanley)
Тип
Experimental / quasi-experimental research design
Семейство
Experimental design

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Дизайн с предтестом и посттестом предполагает измерение участников по переменной исхода до и после вмешательства, как правило, с помощью случайного распределения по экспериментальной и контрольной группам.

Разница между показателями до и после вмешательства изолирует эффект воздействия от исходных вариаций, что делает этот дизайн одной из наиболее широко используемых структур в экспериментальных и квазиэкспериментальных исследованиях в области образования, психологии, медицины и социальных наук.

Интуиция метода

Представьте, что вы хотите узнать, улучшает ли шестинедельная программа обучения чтению показатели грамотности. Простое измерение показателей после программы ненадежно — показатели могли вырасти сами по себе из-за взросления или сезонных эффектов. Дизайн с предтестом и посттестом добавляет измерение до начала программы: теперь вы сравниваете, насколько изменилась каждая группа, а не где они оказались в итоге. При наличии контрольной группы любое изменение, общее для обеих групп (например, естественный рост), взаимно уничтожается, оставляя оценку уникального вклада программы. Добавление случайного распределения повышает этот дизайн до истинного эксперимента с сильным причинным обоснованием.

История

Дизайн с предтестом и посттестом получил систематическую методологическую проработку в монографии Дональда Кэмпбелла и Джулиана Стэнли 1963 года «Экспериментальные и квазиэкспериментальные дизайны для исследований» (Experimental and Quasi-Experimental Designs for Research), которая ввела обозначение (O1 X O2) и каталогизировала угрозы внутренней валидности. Кэмпбелл и Стэнли различали истинный дизайн с предтестом и посттестом и контрольной группой (с рандомизацией) от квазиэкспериментального дизайна с предтестом и посттестом в одной группе, выявляя уязвимость последнего к угрозам истории, созревания и тестирования. Шэдиш, Кук и Кэмпбелл обновили и расширили эту структуру в 2002 году, укрепив место этого дизайна как краеугольного камня методологии прикладных исследований.

Когда применять

Используйте дизайн с предтестом и посттестом, когда вам необходимо оценить изменения во времени, вызванные вмешательством, и когда исходные индивидуальные различия, вероятно, внесут шум. Он подходит, когда случайное распределение осуществимо (истинный эксперимент) или когда предтестовые оценки необходимы для контроля существующих групповых различий в квазиэкспериментальных условиях. Не используйте его, когда достаточно однократного посттестового измерения (например, дисперсия исхода между людьми незначительна), когда само предтестирование может повлиять на участников в отношении вмешательства (угроза тестирования — рассмотрите вместо этого дизайн Соломона с четырьмя группами) или когда сбор данных возможен только в один момент времени по логистическим причинам.

Ограничения и замечания

  • Предтестирование может повлиять на участников в отношении содержания вмешательства или гипотезы исследователя, завышая или занижая посттестовые оценки (угроза тестирования).
  • Отсев/смертность между предтестом и посттестом может исказить результаты, если отсев связан с условием вмешательства или исходными оценками.
  • Без рандомизации сохраняется смещение отбора: существующие различия между группами могут быть не полностью учтены только предтестовой оценкой.
  • Регрессия к среднему: группы, отобранные на основе экстремальных предтестовых оценок, будут иметь тенденцию приближаться к среднему значению в посттесте независимо от вмешательства.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Контролирует существующие индивидуальные различия, увеличивая статистическую мощность по сравнению с дизайном только с посттестом.
  • Позволяет напрямую измерять изменения, что часто является содержательно значимой величиной (например, прирост знаний, снижение симптомов).
  • Широко понятен в различных дисциплинах и совместим со многими аналитическими структурами (ANCOVA, ANOVA, многоуровневое моделирование).
  • В сочетании с рандомизацией обеспечивает сильные причинные доказательства эффекта вмешательства.
  • Предтестовые и посттестовые оценки позволяют выявлять дифференциальные изменения между подгруппами (анализ модерации).

Применение

  • Оценка образовательных вмешательств — измерение прироста знаний до и после внедрения учебной программы, программы наставничества или образовательных технологий.
  • Клинические исследования и исследования в области здравоохранения — оценка снижения симптомов, улучшения функций или поведенческих изменений после медицинского или психологического лечения.
  • Исследования организационного обучения — измерение изменений в знаниях, навыках или отношении сотрудников до и после программы обучения.
  • Оценка государственной политики — оценка влияния изменения политики или социальной программы на такие показатели, как занятость, здоровье или успеваемость.
  • Спортивная наука и наука о физических упражнениях — отслеживание показателей физической подготовки, производительности или психологических показателей в ходе структурированного тренировочного вмешательства.

Как это работает

Как это работает

1

Все участники проходят измерение переменной исхода (предтест, O1) до введения какого-либо вмешательства. Эта исходная точка служит трем целям: она подтверждает эквивалентность групп в начале (особенно в сочетании с рандомизацией), позволяет вычислить оценки изменений и увеличивает статистическую мощность за счет контроля индивидуальных различий.

2

Участники случайным образом распределяются по экспериментальной группе или контрольной (или сравнительной) группе. Случайное распределение отличает истинный эксперимент с предтестом и посттестом от квазиэкспериментального варианта. Без рандомизации существующие различия между группами ставят под сомнение причинно-следственные выводы, и дизайн становится квазиэкспериментальным.

3

Экспериментальная группа получает вмешательство, в то время как контрольная группа получает либо отсутствие вмешательства, плацебо, либо стандартное лечение. Продолжительность и точность проведения вмешательства должны быть стандартизированы и документированы для обеспечения внутренней валидности.

4

После периода вмешательства все участники снова проходят то же измерение исхода (посттест, O2). Интервал между предтестом и посттестом должен быть достаточным для того, чтобы вмешательство оказало эффект, но не настолько большим, чтобы исторические события или отсев серьезно исказили результаты.

5

Основной анализ вычисляет изменение от предтеста к посттесту для каждой группы и проверяет, является ли изменение в экспериментальной группе статистически значимо большим, чем изменение в контрольной группе. Распространенные аналитические подходы включают дисперсионный анализ с ковариатами (ANCOVA) с предтестом в качестве ковариаты, t-критерий Стьюдента для парных выборок в каждой группе или смешанные модели ANOVA с повторными измерениями.

Частые ошибки

  • Анализ посттестовых оценок без корректировки на предтест — это отбрасывает информацию, которую предоставляет предтест, и снижает мощность; используйте ANCOVA с предтестом в качестве ковариаты вместо простого сравнения посттестов.
  • Использование предтестового инструмента, который не является той же мерой, что и посттест, что делает оценки изменений неинтерпретируемыми; обе волны должны использовать идентичные или строго параллельные формы меры исхода.
  • Игнорирование угрозы тестирования в чувствительных контекстах (например, опросы отношения, тесты знаний с прозрачными пунктами) — если предтестирование правдоподобно изменяет участников, рассмотрите дизайн Соломона с четырьмя группами.
  • Рассмотрение дизайна с предтестом и посттестом как автоматически причинного без рандомизации — в квазиэкспериментальных версиях неизмеренные конфаундеры все еще могут объяснить наблюдаемую разницу в изменениях.
  • Применение необработанных оценок прироста (O2 - O1) в качестве зависимой переменной в регрессии — этот подход имеет известные психометрические проблемы; предпочтительнее ANCOVA или остаточные оценки прироста.

Часто задаваемые вопросы

Следует ли использовать ANCOVA или парный t-критерий для анализа данных с предтестом и посттестом?

ANCOVA с предтестом в качестве ковариаты, как правило, предпочтительнее для межгрупповых сравнений, поскольку она исключает дисперсию предтеста из термина ошибки, увеличивая мощность, и корректирует любые остаточные исходные дисбалансы. Парный t-критерий в одной группе подходит для проверки до-после в одной группе, но не может изолировать эффект вмешательства от созревания или истории. Избегайте использования необработанных оценок прироста (пост минус пред) в качестве зависимой переменной в ANCOVA — вводите предтест и посттест как отдельные переменные.

Что такое угроза тестирования и когда она имеет значение?

Угроза тестирования возникает, когда сам акт прохождения предтеста изменяет участников — например, информируя их о том, какие исходы ценятся, репетируя тестовые задания или снижая тревожность в посттесте. Она наиболее важна, когда инструмент измерения исхода является тестом знаний с прозрачным содержанием, или когда участники, вероятно, будут размышлять над своими ответами на предтест или обсуждать их перед посттестом. Если это серьезная проблема, добавьте две группы без предтеста, используя дизайн Соломона с четырьмя группами.

Является ли дизайн с предтестом и посттестом квазиэкспериментальным или экспериментальным?

Он может быть как тем, так и другим. При случайном распределении по экспериментальной и контрольной группам это истинный эксперимент (классический дизайн с предтестом и посттестом и контрольной группой Кэмпбелла и Стэнли). Без рандомизации — например, когда сравниваются целые классы или существующие группы — это квазиэкспериментальный дизайн, и он сталкивается с более серьезными угрозами внутренней валидности, включая смещение отбора.

Каким должен быть интервал между предтестом и посттестом?

Интервал должен быть достаточным для того, чтобы вмешательство привело к ожидаемому эффекту, но не настолько большим, чтобы эффекты истории, отсев или изменения развития, не связанные с вмешательством, затрудняли интерпретацию оценок изменений. Универсального правила нет; подходящий интервал определяется теорией изменений, лежащей в основе вмешательства, и предыдущими данными о времени проявления эффекта.

Могу ли я добавить больше временных точек к дизайну с предтестом и посттестом?

Да — добавление одного или нескольких последующих измерений создает дизайн с повторными измерениями или лонгитюдный дизайн, который может показать, сохраняются ли эффекты вмешательства, ослабевают или усиливаются со временем. Это расширение иногда называют дизайном с предтестом, посттестом и последующим измерением. Аналитические подходы включают смешанную ANOVA или моделирование кривых роста.

Похожие методы

Источники

  1. Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.

    Открыть ссылку на публикацию
    Скопировано.
  2. Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.

    ISBN: 978-0395615560
    Скопировано.