План Соломона для четырех групп — контроль сенсибилизации предтестированием
- Автор метода
- Richard L. Solomon
- Год
- 1949
- Тип
- True experimental design
- Семейство
- Experimental design
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
План Соломона для четырех групп расширяет классический план с контрольной группой с предтестированием и посттестированием, добавляя две группы, которые не проходят предтестирование, что позволяет исследователям определить, изменяет ли само предтестирование реакции участников на воздействие.
Предложенный Ричардом Л. Соломоном в 1949 году, он остается золотым стандартом для выделения независимого эффекта предтестирования и получения несмещенных оценок эффективности воздействия.
Интуиция метода
Предположим, вы тестируете новую программу осознанности. Вы проводите базовое анкетирование по уровню стресса для половины участников до начала программы. Может ли само заполнение этой анкеты повысить самосознание людей и, следовательно, привести к видимому улучшению при последующем наблюдении — даже без программы? План Соломона напрямую отвечает на этот вопрос, проводя эксперимент одновременно в четырех группах: две группы проходят предтестирование, а две — нет, и в каждой паре одна группа получает воздействие. Сравнивая все четыре средних значения посттестирования, вы можете четко отделить эффект воздействия от эффекта предтестирования.
История
Ричард Л. Соломон представил этот план в статье в Psychological Bulletin 1949 года как явное расширение классического плана Кэмпбелла с контрольной группой с предтестированием и посттестированием, мотивированный исследованиями в области обучения и изменения установок, где он наблюдал, что базовое тестирование изменяло последующие реакции участников. Дональд Кэмпбелл и Джулиан Стэнли кодифицировали его наряду с другими экспериментальными планами в своей знаковой монографии 1963 года, закрепив его место в каноне методов исследования. Несмотря на свою логическую элегантность, этот план редко использовался на практике из-за требований к размеру выборки, однако он остается хрестоматийным примером того, как изолировать реактивность измерения в экспериментальных исследованиях.
Когда применять
Используйте план Соломона для четырех групп, когда вы подозреваете, что прохождение предтестирования может изменить реакцию участников на вмешательство — это часто встречается в исследованиях изменения установок, образовательных исследованиях, вмешательствах в поведение, связанное со здоровьем, и в любой области, где ответы на базовые вопросы могут повысить осведомленность или подготовить реакции. Он наиболее ценен, когда сенсибилизация теоретически правдоподобна, а стоимость удвоения выборки приемлема. Избегайте его, когда исследовательский бюджет позволяет лишь небольшую общую выборку (каждая из четырех групп должна быть достаточно большой, чтобы независимо обнаруживать эффекты), когда интересующее явление невосприимчиво к реактивности измерения, или когда данные предтестирования необходимы для отслеживания на индивидуальном уровне — в этих случаях стандартный план предтестирование-посттестирование с ANCOVA более практичен.
Ограничения и замечания
- Требует примерно вдвое большего объема выборки, чем стандартный план предтестирование-посттестирование, что делает его дорогим и логистически сложным.
- Статистический анализ сложен по сравнению с простыми сравнениями до и после; ANCOVA на подмножестве с данными предтестирования требует тщательной обработки пропущенных ковариат для Групп 3 и 4.
- Не контролирует эффекты истории или созревания сверх того, что обеспечивает рандомизация; эти угрозы в равной степени применимы ко всем четырем группам.
- Редко используется на практике, поскольку предположение о сенсибилизации часто не проверяется, а не мотивируется теоретически, и стоимость выборки высока.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Однозначно идентифицирует и количественно оценивает эффект сенсибилизации предтестированием (тестирования), который в более простых планах смешивается с эффектом воздействия.
- Дает наиболее внутренне валидную оценку эффективности воздействия, объединяя данные как из групп с предтестированием, так и из групп без предтестирования.
- Поддерживает полный двухфакторный ANOVA 2 × 2, давая основные эффекты для воздействия и предтестирования, а также их взаимодействие.
- Случайное распределение по всем четырем группам поддерживает причинно-следственный вывод как для эффектов воздействия, так и для эффектов предтестирования одновременно.
- Обеспечивает встроенную репликацию: эффект воздействия может быть оценен дважды (из Групп 1 против 2 и из Групп 3 против 4), и две оценки должны сходиться, если допущения плана выполняются.
Применение
- Образовательные вмешательства, где тест знаний до курса сам по себе может стимулировать обучение до начала программы.
- Эксперименты по изменению установок и убеждению, где прохождение предварительного измерения сенсибилизирует участников к сообщению.
- Программы по изменению поведения, связанного со здоровьем (например, отказ от курения, изменение диеты), где базовые анкеты повышают осведомленность о целевом поведении.
- Психологические исследования обучения, изучающие приобретение навыков, где эффекты практики от предтестирования теоретически правдоподобны.
- Исследования организационного обучения и развития, где предварительная оценка может подсказать сотрудникам цели программы.
Как это работает
Как это работает
Участники случайным образом распределяются в четыре группы примерно равного размера: (1) предтестирование + воздействие + посттестирование, (2) предтестирование + контроль + посттестирование, (3) без предтестирования + воздействие + посттестирование и (4) без предтестирования + контроль + посттестирование. Случайное распределение является обязательным; без него план теряет свою причинно-следственную интерпретацию.
Группы 1 и 2 проходят предтестирование до начала любого вмешательства. Группы 3 и 4 не проходят предтестирование. Данные предтестирования для Групп 1 и 2 служат как базовой ковариатой, так и основой для оценки эффекта сенсибилизации предтестированием.
Группы 1 и 3 получают экспериментальное воздействие; Группы 2 и 4 служат контрольными и не получают воздействия или получают эквивалентное плацебо. Все остальные аспекты условий исследования остаются постоянными для всех четырех групп.
Все четыре группы проходят одинаковое измерение результата в одной и той же точке времени после периода вмешательства. Посттестирование идентично для всех групп, так что любые различия в средних значениях объясняются эффектами воздействия и/или предтестирования, а не различиями в измерениях.
Средние значения посттестирования сравниваются между всеми четырьмя группами с использованием двухфакторного дисперсионного анализа (ANOVA) 2 × 2 (воздействие × предтестирование в качестве факторов) или, эквивалентно, с помощью ANCOVA, используя предтестирование в качестве ковариаты для Групп 1 и 2. Значимое взаимодействие «Воздействие × Предтестирование» указывает на сенсибилизацию. Основные эффекты и эффекты взаимодействия вместе дают оценки чистого эффекта воздействия, свободного от загрязнения предтестированием.
Частые ошибки
- Рассмотрение четырех групп как двух отдельных двухгрупповых экспериментов вместо совместного анализа всех средних значений посттестирования — это приводит к потере мощности и упускает эффект взаимодействия, который является основным вкладом плана.
- Неспособность убедиться, что случайное распределение привело к сбалансированным группам; даже при рандомизации важно проверять эквивалентность базовых показателей по всем четырем группам (для двух групп с предтестированием) и демографическую эквивалентность для всех четырех.
- Включение предтестирования, которое настолько похоже на содержание вмешательства, что представляет собой частичное воздействие, а не просто измерение — это завышает кажущийся эффект сенсибилизации и искажает оценки.
- Недостаточная мощность отдельных групп: поскольку общая выборка делится на четыре ячейки, каждая ячейка должна быть достаточно большой, чтобы способствовать обнаружению эффектов взаимодействия; малый n на ячейку является распространенной и серьезной ошибкой.
Часто задаваемые вопросы
Как обрабатывать пропущенные баллы предтестирования для Групп 3 и 4 в анализе?
Рекомендуемый подход — двухфакторный ANOVA 2 × 2 для четырех средних значений посттестирования, рассматривая условие воздействия и наличие предтестирования как два фактора. Это использует все данные, не требуя баллов предтестирования для всех групп. Альтернативно, для Групп 1 и 2 вы можете провести ANCOVA с предтестированием в качестве ковариаты и сравнить скорректированный ANCOVA эффект воздействия с нескорректированным из Групп 3 и 4. Две оценки должны быть близки, если сенсибилизация отсутствует.
Насколько большой должна быть каждая группа?
Каждая из четырех ячеек должна иметь достаточную мощность для обнаружения ожидаемого размера эффекта для ключевого сравнения. Поскольку взаимодействие (Воздействие × Предтестирование) обычно является наиболее интересным тестом, а эффекты взаимодействия требуют больших выборок, чем основные эффекты, планируйте не менее 30–50 участников на ячейку в большинстве контекстов социальных наук или используйте априорный анализ мощности с ожидаемым размером эффекта и мощностью 0,80.
Что, если член взаимодействия не значим?
Незначимое взаимодействие «Воздействие × Предтестирование» является полезным результатом: оно указывает на то, что предтестирование не сенсибилизировало участников, и более простой план с контрольной группой с предтестированием и посттестированием был бы адекватным. В этом случае объедините основной эффект воздействия по обоим условиям предтестирования для вашего основного вывода.
Используется ли план Соломона в клинических испытаниях?
Редко. Клинические испытания обычно отдают приоритет ослеплению и не всегда могут этично или практически отказаться от базовых оценок. Этот план чаще встречается в социальных, образовательных и психологических исследованиях, где угроза сенсибилизации более выражена, а отказ от предтестирования не вызывает этических проблем.
Что отличает план Соломона от двухфакторного эксперимента 2 × 2?
Структурно это двухфакторный план 2 × 2 (воздействие × предтестирование), но фактор «предтестирование» не является манипулируемой переменной воздействия — это особенность плана, чье присутствие или отсутствие назначается для контроля мешающего фактора. Поэтому план Соломона лучше понимать как метод очистки причинно-следственного вывода об основном воздействии, чем как факторное исследование двух независимых факторов.
Похожие методы
Источники
Solomon, R. L. (1949). An extension of control group design. Psychological Bulletin, 46(2), 137–150.
Открыть ссылку DOIСкопировано.Campbell, D. T., & Stanley, J. C. (1963). Experimental and Quasi-Experimental Designs for Research. Rand McNally.
ISBN: 978-0395307878Скопировано.