Skip to content
Назад к результатам поиска

Исследование с проверкой гипотез — Конфирмативный количественный дизайн

Автор метода
Karl Pearson, Ronald A. Fisher, Jerzy Neyman, Egon Pearson
Год
Early 20th century (Fisher 1925; Neyman–Pearson 1933)
Тип
Quantitative confirmatory research design
Семейство
Survey / observational design

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Исследование с проверкой гипотез — это количественный дизайн, в котором исследователь выводит одно или несколько явных, фальсифицируемых предложений из теории, переводит их в нулевую гипотезу (H0) и альтернативную гипотезу (H1), собирает эмпирические данные, а затем применяет инференциальный статистический тест для принятия решения о том, достаточно ли доказательств для отклонения H0.

Этот подход является доминирующей парадигмой для конфирмативной науки в социальных, поведенческих, медицинских и естественных науках.

Интуиция метода

Представьте себе зал суда: H0 — это презумпция невиновности, а статистический тест — это суд. Вы собираете доказательства (данные), применяете строгую норму принятия решений (уровень значимости альфа) и либо отвергаете невиновность, либо не можете ее отвергнуть — вы никогда не доказываете вину вне всяких сомнений, только за пределами установленного порога сомнения. Прелесть в дисциплине: приверженность как гипотезе, так и правилу принятия решений до получения данных защищает от очень человеческой тенденции находить закономерности, которых на самом деле никогда не было.

История

Формальный аппарат статистической проверки нулевых гипотез возник из двух параллельных традиций в начале двадцатого века. Рональд А. Фишер ввел p-значения и проверку значимости в «Статистических методах для исследовательской работы» (1925) как инструмент индуктивного вывода из данных. Ежи Нейман и Эгон Пирсон (1933) предложили дополняющую структуру заранее заданных уровней альфа, двух конкурирующих гипотез и контроля ошибок I и II типа. Хотя эти две структуры логически различны, к середине века гибрид стал стандартной практикой в поведенческой науке, кодифицированной Керлингером (1973, 1986) и подкрепленной работой Коэна по статистической мощности (1969, 1988).

Когда применять

Используйте исследование с проверкой гипотез, когда у вас есть конкретное, выведенное из теории предсказание о взаимосвязи, различии или эффекте, и вам нужна обоснованная, воспроизводимая процедура принятия решений. Это правильный дизайн, когда исследовательские вопросы носят конфирмативный характер («Снижает ли вмешательство X результат Y?»), а не исследовательский. Он требует числовых данных и выборки, достаточно большой для достижения адекватной статистической мощности (обычно не менее 80%). НЕ используйте его, когда (а) у вас нет предварительной теории, а цель — открытие — используйте исследовательские или описательные дизайны вместо этого; (б) выборка слишком мала для обнаружения правдоподобных размеров эффекта, что приводит к недостаточно мощным тестам, которые дают больше шума, чем сигнала; или (в) вы корректируете гипотезы после просмотра данных (HARKing), что полностью подрывает конфирмативную логику.

Ограничения и замечания

  • Статистическая значимость (p < альфа) не равна практической или клинической значимости — тривиальный эффект может быть высоко значимым при достаточно большой выборке.
  • Бинарное решение «отклонить/не отклонить» отбрасывает непрерывные доказательства; пограничные результаты (p = 0,049 против p = 0,051) рассматриваются как категорически различные.
  • Недостаточно мощные исследования дают высокие показатели ошибок II типа (ложноотрицательные результаты) и, парадоксально, завышенные оценки размера эффекта при получении значимых результатов.
  • Множественное тестирование без коррекции увеличивает ошибку I типа (ложноположительные результаты); это часто упускается из виду на практике.
  • Логика предполагает, что гипотезы были зафиксированы до сбора данных — нарушения (HARKing, p-хакинг, опциональная остановка) распространены и подрывают выводы.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Предоставляет прозрачное, заранее заданное правило принятия решений, которое защищает от постфактумной рационализации случайных результатов.
  • Напрямую проверяет теоретические предсказания, что делает его краеугольным камнем кумулятивной, воспроизводимой науки.
  • Количественно оценивает неопределенность с помощью p-значений, доверительных интервалов и размеров эффекта, облегчая сравнение между исследованиями.
  • Хорошо поддерживается метааналитическим синтезом — исследования с проверкой гипотез могут быть объединены из разных лабораторий и репликаций.
  • Широко понимается и принимается журналами, спонсорами и политиками практически во всех количественных дисциплинах.

Применение

  • Проверка того, улучшает ли новый метод обучения успеваемость учащихся по сравнению с контрольной группой в педагогических исследованиях.
  • Оценка того, значительно ли клиническое вмешательство снижает тяжесть симптомов по сравнению с группой плацебо.
  • Изучение того, предсказывают ли пол, социально-экономический статус или другие групповые переменные различия в психологических результатах.
  • Проверка моделей структурных уравнений или коэффициентов регрессии, выведенных из теоретических основ в организационном поведении.
  • Оценка того, значительно ли маркетинговое воздействие (цена, формулировка сообщения) изменяет потребительский выбор в экспериментальной экономике.
  • Сравнение до- и послевмешательских показателей в лонгитюдных оценках программ с использованием парных или повторных измерений.

Как это работает

Как это работает

1

Исследователь выводит одну или несколько проверяемых гипотез из существующей теории или предыдущих результатов. Каждая гипотеза формулируется как нулевая гипотеза (H0, стандартное утверждение об «отсутствии эффекта») и альтернативная гипотеза (H1, прогнозируемый эффект или взаимосвязь). Обе должны быть сформулированы точно и до сбора данных, чтобы сохранить конфирмативную логику.

2

Выбирается дизайн исследования, который может предоставить достоверные доказательства за или против H0 — опрос, эксперимент, квазиэксперимент или наблюдение. Важно, что исследователь проводит априорный анализ мощности (используя размер эффекта, альфа и желаемую мощность) для определения минимального размера выборки, необходимого для обнаружения гипотезируемого эффекта с достаточной вероятностью.

3

Данные собираются в соответствии с заранее определенным дизайном. Инструменты измерения должны демонстрировать надежность и валидность. Выборка должна быть случайной или достаточно репрезентативной, чтобы поддержать инференциальный переход от выборочных статистик к параметрам генеральной совокупности.

4

К данным применяется соответствующий инференциальный тест (t-тест, ANOVA, хи-квадрат, регрессия и т. д.). Тест выдает p-значение — вероятность получения результатов, по крайней мере, столь же экстремальных, как полученные, при условии, что H0 верна. Заранее заданный уровень альфа (обычно 0,05) служит порогом принятия решений.

Формула
H_0: \mu_1 = \mu_2 \quad \text{vs} \quad H_1: \mu_1 \neq \mu_2
5

Если p < альфа, H0 отклоняется в пользу H1, и результат объявляется статистически значимым; также сообщаются размер эффекта и доверительные интервалы для передачи практической величины. Если p >= альфа, исследователь не может отклонить H0 — это не подтверждает H0, но оставляет ее в качестве действующего стандарта. Результаты интерпретируются в свете исходной теоретической основы.

Формула
p < \alpha \Rightarrow \text{reject } H_0

Частые ошибки

  • HARKing (формулирование гипотез после получения результатов) — представление постфактумной гипотезы как сформулированной априори превращает исследовательские результаты в ложные подтверждения. Предварительная регистрация является стандартным средством исправления.
  • Игнорирование мощности: проведение исследования без анализа мощности, а затем интерпретация незначимого результата как «отсутствие эффекта» является распространенной и серьезной ошибкой. Незначимое p-значение из недостаточно мощного исследования неинформативно.
  • Смешение p-значения с размером эффекта: всегда сообщайте о Cohen's d, eta-squared, r или эквиваленте вместе с p-значениями, чтобы читатели могли судить о практической важности.
  • Альфа-фишинг (p-хакинг): тестирование множества исходов, подгрупп или спецификаций моделей и сообщение только о значимых. Применяйте коррекцию Бонферрони, Бенджамини-Хохберга или предварительно регистрируйте все анализы.
  • Рассмотрение невозможности отклонить H0 как доказательства истинности H0: используйте тесты на эквивалентность (TOST) или байесовские методы, если ваша цель — продемонстрировать отсутствие эффекта.

Часто задаваемые вопросы

В чем разница между исследованием с проверкой гипотез и конфирмативным исследованием?

Исследование с проверкой гипотез — это конкретный механизм — формальная статистическая процедура (H0 против H1, p-значение, альфа). Конфирмативное исследование — это более широкая философия дизайна, согласно которой предсказания, выведенные из теории, должны быть проверены на новых данных, прежде чем будут приняты. Все исследования с проверкой гипотез носят конфирмативный характер по духу, но конфирмативные исследования также могут включать сравнение моделей или байесовское обновление без классической структуры NHST.

Как выбрать правильный уровень значимости (альфа)?

Альфа = 0,05 является общепринятым стандартом в большинстве социальных и поведенческих наук, но это социальная конвенция, а не универсальная истина. Используйте альфа = 0,01, когда ложноположительные результаты особенно затратны (например, при рекомендации дорогостоящего вмешательства). Используйте альфа = 0,10 в исследовательско-конфирмативных дизайнах, где ложноотрицательные результаты вызывают большее беспокойство. Всегда обосновывайте свой выбор в разделе методов и всегда сообщайте точные p-значения вместе с решением о пороге.

Мой результат не является значимым. Могу ли я заключить, что эффекта нет?

Нет. Незначимый результат означает только то, что данные не предоставляют достаточных доказательств для отклонения H0 на выбранном уровне альфа — это не подтверждает H0. Чтобы сделать утвердительное заявление об «отсутствии значимого эффекта», вам нужен формальный тест на эквивалентность (например, два односторонних теста, TOST) или байесовский анализ, который количественно оценивает доказательства в пользу H0 по сравнению с H1.

Что такое предварительная регистрация и почему она важна?

Предварительная регистрация означает публичную запись ваших гипотез, дизайна, размера выборки и плана анализа до сбора данных (через OSF, AsPredicted или аналогичный реестр). Она проводит четкую границу между конфирмативными и исследовательскими анализами, делая невозможным ретроспективное представление исследовательского результата как основанного на гипотезе. Журналы все чаще требуют или поощряют предварительную регистрацию как показатель качества.

Следует ли сообщать размеры эффекта вместе с p-значениями?

Да — это теперь считается обязательным согласно Руководству по публикации APA (7-е издание) и большинству крупных журналов. Статистическая значимость показывает, отличим ли эффект от нуля с учетом размера вашей выборки; размер эффекта (Cohen's d, r, eta-squared, отношение шансов) показывает, насколько велик или значим эффект на самом деле. Значимое p-значение с крошечным размером эффекта часто указывает на тривиально малую реальную значимость.

Похожие методы

Источники

  1. Kerlinger, F. N., & Lee, H. B. (1986). Foundations of Behavioral Research (3rd ed.). Holt, Rinehart and Winston.

    ISBN: 978-0030417603
    Скопировано.
  2. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum Associates.

    ISBN: 978-0805802832
    Скопировано.