Экспериментальный дизайн с предтестом и посттестом
- Автор метода
- Donald T. Campbell and Julian C. Stanley
- Год
- 1963 (formalized in Campbell & Stanley)
- Тип
- Experimental / quasi-experimental research design
- Семейство
- Experimental design
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Дизайн с предтестом и посттестом предполагает измерение участников по переменной исхода до и после вмешательства, как правило, с помощью случайного распределения по экспериментальной и контрольной группам.
Разница между показателями до и после вмешательства изолирует эффект воздействия от исходных вариаций, что делает этот дизайн одной из наиболее широко используемых структур в экспериментальных и квазиэкспериментальных исследованиях в области образования, психологии, медицины и социальных наук.
Интуиция метода
Представьте, что вы хотите узнать, улучшает ли шестинедельная программа обучения чтению показатели грамотности. Простое измерение показателей после программы ненадежно — показатели могли вырасти сами по себе из-за взросления или сезонных эффектов. Дизайн с предтестом и посттестом добавляет измерение до начала программы: теперь вы сравниваете, насколько изменилась каждая группа, а не где они оказались в итоге. При наличии контрольной группы любое изменение, общее для обеих групп (например, естественный рост), взаимно уничтожается, оставляя оценку уникального вклада программы. Добавление случайного распределения повышает этот дизайн до истинного эксперимента с сильным причинным обоснованием.
История
Дизайн с предтестом и посттестом получил систематическую методологическую проработку в монографии Дональда Кэмпбелла и Джулиана Стэнли 1963 года «Экспериментальные и квазиэкспериментальные дизайны для исследований» (Experimental and Quasi-Experimental Designs for Research), которая ввела обозначение (O1 X O2) и каталогизировала угрозы внутренней валидности. Кэмпбелл и Стэнли различали истинный дизайн с предтестом и посттестом и контрольной группой (с рандомизацией) от квазиэкспериментального дизайна с предтестом и посттестом в одной группе, выявляя уязвимость последнего к угрозам истории, созревания и тестирования. Шэдиш, Кук и Кэмпбелл обновили и расширили эту структуру в 2002 году, укрепив место этого дизайна как краеугольного камня методологии прикладных исследований.
Когда применять
Используйте дизайн с предтестом и посттестом, когда вам необходимо оценить изменения во времени, вызванные вмешательством, и когда исходные индивидуальные различия, вероятно, внесут шум. Он подходит, когда случайное распределение осуществимо (истинный эксперимент) или когда предтестовые оценки необходимы для контроля существующих групповых различий в квазиэкспериментальных условиях. Не используйте его, когда достаточно однократного посттестового измерения (например, дисперсия исхода между людьми незначительна), когда само предтестирование может повлиять на участников в отношении вмешательства (угроза тестирования — рассмотрите вместо этого дизайн Соломона с четырьмя группами) или когда сбор данных возможен только в один момент времени по логистическим причинам.
Ограничения и замечания
- Предтестирование может повлиять на участников в отношении содержания вмешательства или гипотезы исследователя, завышая или занижая посттестовые оценки (угроза тестирования).
- Отсев/смертность между предтестом и посттестом может исказить результаты, если отсев связан с условием вмешательства или исходными оценками.
- Без рандомизации сохраняется смещение отбора: существующие различия между группами могут быть не полностью учтены только предтестовой оценкой.
- Регрессия к среднему: группы, отобранные на основе экстремальных предтестовых оценок, будут иметь тенденцию приближаться к среднему значению в посттесте независимо от вмешательства.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Контролирует существующие индивидуальные различия, увеличивая статистическую мощность по сравнению с дизайном только с посттестом.
- Позволяет напрямую измерять изменения, что часто является содержательно значимой величиной (например, прирост знаний, снижение симптомов).
- Широко понятен в различных дисциплинах и совместим со многими аналитическими структурами (ANCOVA, ANOVA, многоуровневое моделирование).
- В сочетании с рандомизацией обеспечивает сильные причинные доказательства эффекта вмешательства.
- Предтестовые и посттестовые оценки позволяют выявлять дифференциальные изменения между подгруппами (анализ модерации).
Применение
- Оценка образовательных вмешательств — измерение прироста знаний до и после внедрения учебной программы, программы наставничества или образовательных технологий.
- Клинические исследования и исследования в области здравоохранения — оценка снижения симптомов, улучшения функций или поведенческих изменений после медицинского или психологического лечения.
- Исследования организационного обучения — измерение изменений в знаниях, навыках или отношении сотрудников до и после программы обучения.
- Оценка государственной политики — оценка влияния изменения политики или социальной программы на такие показатели, как занятость, здоровье или успеваемость.
- Спортивная наука и наука о физических упражнениях — отслеживание показателей физической подготовки, производительности или психологических показателей в ходе структурированного тренировочного вмешательства.
Как это работает
Как это работает
Все участники проходят измерение переменной исхода (предтест, O1) до введения какого-либо вмешательства. Эта исходная точка служит трем целям: она подтверждает эквивалентность групп в начале (особенно в сочетании с рандомизацией), позволяет вычислить оценки изменений и увеличивает статистическую мощность за счет контроля индивидуальных различий.
Участники случайным образом распределяются по экспериментальной группе или контрольной (или сравнительной) группе. Случайное распределение отличает истинный эксперимент с предтестом и посттестом от квазиэкспериментального варианта. Без рандомизации существующие различия между группами ставят под сомнение причинно-следственные выводы, и дизайн становится квазиэкспериментальным.
Экспериментальная группа получает вмешательство, в то время как контрольная группа получает либо отсутствие вмешательства, плацебо, либо стандартное лечение. Продолжительность и точность проведения вмешательства должны быть стандартизированы и документированы для обеспечения внутренней валидности.
После периода вмешательства все участники снова проходят то же измерение исхода (посттест, O2). Интервал между предтестом и посттестом должен быть достаточным для того, чтобы вмешательство оказало эффект, но не настолько большим, чтобы исторические события или отсев серьезно исказили результаты.
Основной анализ вычисляет изменение от предтеста к посттесту для каждой группы и проверяет, является ли изменение в экспериментальной группе статистически значимо большим, чем изменение в контрольной группе. Распространенные аналитические подходы включают дисперсионный анализ с ковариатами (ANCOVA) с предтестом в качестве ковариаты, t-критерий Стьюдента для парных выборок в каждой группе или смешанные модели ANOVA с повторными измерениями.
Частые ошибки
- Анализ посттестовых оценок без корректировки на предтест — это отбрасывает информацию, которую предоставляет предтест, и снижает мощность; используйте ANCOVA с предтестом в качестве ковариаты вместо простого сравнения посттестов.
- Использование предтестового инструмента, который не является той же мерой, что и посттест, что делает оценки изменений неинтерпретируемыми; обе волны должны использовать идентичные или строго параллельные формы меры исхода.
- Игнорирование угрозы тестирования в чувствительных контекстах (например, опросы отношения, тесты знаний с прозрачными пунктами) — если предтестирование правдоподобно изменяет участников, рассмотрите дизайн Соломона с четырьмя группами.
- Рассмотрение дизайна с предтестом и посттестом как автоматически причинного без рандомизации — в квазиэкспериментальных версиях неизмеренные конфаундеры все еще могут объяснить наблюдаемую разницу в изменениях.
- Применение необработанных оценок прироста (O2 - O1) в качестве зависимой переменной в регрессии — этот подход имеет известные психометрические проблемы; предпочтительнее ANCOVA или остаточные оценки прироста.
Часто задаваемые вопросы
Следует ли использовать ANCOVA или парный t-критерий для анализа данных с предтестом и посттестом?
ANCOVA с предтестом в качестве ковариаты, как правило, предпочтительнее для межгрупповых сравнений, поскольку она исключает дисперсию предтеста из термина ошибки, увеличивая мощность, и корректирует любые остаточные исходные дисбалансы. Парный t-критерий в одной группе подходит для проверки до-после в одной группе, но не может изолировать эффект вмешательства от созревания или истории. Избегайте использования необработанных оценок прироста (пост минус пред) в качестве зависимой переменной в ANCOVA — вводите предтест и посттест как отдельные переменные.
Что такое угроза тестирования и когда она имеет значение?
Угроза тестирования возникает, когда сам акт прохождения предтеста изменяет участников — например, информируя их о том, какие исходы ценятся, репетируя тестовые задания или снижая тревожность в посттесте. Она наиболее важна, когда инструмент измерения исхода является тестом знаний с прозрачным содержанием, или когда участники, вероятно, будут размышлять над своими ответами на предтест или обсуждать их перед посттестом. Если это серьезная проблема, добавьте две группы без предтеста, используя дизайн Соломона с четырьмя группами.
Является ли дизайн с предтестом и посттестом квазиэкспериментальным или экспериментальным?
Он может быть как тем, так и другим. При случайном распределении по экспериментальной и контрольной группам это истинный эксперимент (классический дизайн с предтестом и посттестом и контрольной группой Кэмпбелла и Стэнли). Без рандомизации — например, когда сравниваются целые классы или существующие группы — это квазиэкспериментальный дизайн, и он сталкивается с более серьезными угрозами внутренней валидности, включая смещение отбора.
Каким должен быть интервал между предтестом и посттестом?
Интервал должен быть достаточным для того, чтобы вмешательство привело к ожидаемому эффекту, но не настолько большим, чтобы эффекты истории, отсев или изменения развития, не связанные с вмешательством, затрудняли интерпретацию оценок изменений. Универсального правила нет; подходящий интервал определяется теорией изменений, лежащей в основе вмешательства, и предыдущими данными о времени проявления эффекта.
Могу ли я добавить больше временных точек к дизайну с предтестом и посттестом?
Да — добавление одного или нескольких последующих измерений создает дизайн с повторными измерениями или лонгитюдный дизайн, который может показать, сохраняются ли эффекты вмешательства, ослабевают или усиливаются со временем. Это расширение иногда называют дизайном с предтестом, посттестом и последующим измерением. Аналитические подходы включают смешанную ANOVA или моделирование кривых роста.
Похожие методы
Источники
Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
Открыть ссылку на публикациюСкопировано.Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin.
ISBN: 978-0395615560Скопировано.