Skip to content
Назад к результатам поиска

Стандарты статистической отчетности: Прозрачное представление результатов анализа

Автор метода
Statistical and methodological literature; emphasized by Cumming (2013), ICMJE, and replication crisis discussions
Год
2005
Тип
Guideline
Семейство
results-reporting

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Прозрачное представление статистических результатов — включая размеры эффекта, доверительные интервалы, p-значения и предположения — имеет решающее значение для научной добросовестности и воспроизводимости.

Многие опубликованные исследования сообщают p-значения в изоляции без размеров эффекта или доверительных интервалов, что делает невозможным для читателей оценить величину полученных данных. Стандарты статистической отчетности, подчеркиваемые Cumming (2013), Американской статистической ассоциацией и ICMJE, требуют указания размеров эффекта, доверительных интервалов и обсуждения неопределенности. Это позволяет читателям судить, являются ли полученные данные практически значимыми (а не только статистически значимыми), и сравнивать размеры эффекта между исследованиями в мета-анализах. Плохая статистическая отчетность приводит к растрате ресурсов на исследования и препятствует надлежащему синтезу доказательств.

Интуиция метода

P-значения широко неверно истолковываются: p<0.05 НЕ означает, что результат «важен» или что нулевая гипотеза «ложна». Это просто означает, что наблюдаемые данные встречались бы менее чем в 5% случаев, если бы нулевая гипотеза была верна. Тривиальный эффект (например, разница в 0,1%) может иметь p<0,001 при большом размере выборки; наоборот, большой клинически значимый эффект (например, снижение симптомов на 50%) может не достичь p<0,05 при малом размере выборки. Размеры эффекта и доверительные интервалы решают эту проблему: они количественно определяют величину эффекта и диапазон правдоподобных значений. 95% доверительный интервал [2,1, 2,3] означает, что мы на 95% уверены, что истинный эффект находится между 2,1 и 2,3; если доверительный интервал включает ноль или значение нулевого эффекта, результат не является статистически значимым. Эта дополнительная информация — отсутствующая в одних только p-значениях — позволяет читателям осмысленно интерпретировать полученные данные.

История

Стандарты статистической отчетности развивались на основе многолетней критики злоупотребления p-значениями в науке. В 1992 году журнал Epidemiology потребовал предоставления доверительных интервалов наряду с p-значениями; другие журналы последовали этому примеру. Влиятельная статья Cumming (2013) «Новая статистика» обосновала превосходство размеров эффекта и доверительных интервалов над порогами p-значений. В 2019 году Американская статистическая ассоциация опубликовала руководство, предостерегающее от использования p<0,05 в качестве универсального порога «значимости». Крупные журналы (JAMA, Lancet и т. д.) теперь требуют указания размеров эффекта. Рекомендации ICMJE (обновленные в 2023 г.) подчеркивают необходимость сообщения о размерах эффекта и неопределенности. Этот сдвиг отражает уроки, извлеченные из кризиса репликации: многие опубликованные результаты с p<0,05 не удалось воспроизвести, поскольку размеры эффекта были малы, что скрывалось одними лишь p-значениями.

Когда применять

Прозрачно сообщайте статистику во всех эмпирических исследованиях: наблюдательных исследованиях, экспериментах, опросах, клинических испытаниях, мета-анализах. Это относится к первичным анализам и анализам чувствительности/подгрупп. Для описательных исследований без проверки гипотез (например, описательные опросы) четко сообщайте описательную статистику, диапазоны и пропорции. Для качественных исследований статистическая отчетность неприменима, но прозрачно опишите выборку и метод анализа. Для модельных или симуляционных исследований сообщайте размеры эффекта и доверительные интервалы вокруг ключевых исходов.

Ограничения и замечания

  • Требует места: всесторонняя статистическая отчетность (размер эффекта, ДИ, p-значение, предположения) занимает больше места, чем одно лишь «p<0,001»; ограничения журнала могут вытеснить другой контент.
  • Сложность: читателям, незнакомым с размерами эффекта, может быть трудно интерпретировать всестороннюю отчетность; требуется обучение.
  • Неоднозначность интерпретации: «значимый» размер эффекта зависит от контекста (d=0,2 — малый в одних областях, большой в других); универсального стандарта нет.
  • Множественные сравнения увеличивают ложные срабатывания: даже с коррекциями множество тестов гипотез увеличивает ошибку I рода; всесторонняя отчетность не решает эту проблему, а лишь документирует ее.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Позволяет интерпретировать величину: читатели видят не просто «значимую разницу», а «разница составляет d=0,47» (средний эффект), что крайне важно для оценки практической значимости.
  • Облегчает мета-анализ: размеры эффекта позволяют объединять исследования; одних только p-значений недостаточно для мета-анализа.
  • Уменьшает смещение, связанное с p-хакингом: когда сообщаются размеры эффекта, читатели могут видеть, когда эффекты тривиальны, несмотря на p<0,05, что снижает стимул к использованию исследовательских степеней свободы.
  • Улучшает воспроизводимость: доверительные интервалы и проверка предположений позволяют читателям оценить чувствительность и достоверность полученных данных.
  • Поддерживает пост-хок анализ мощности: сообщаемые размеры эффекта позволяют рассчитать статистическую мощность, выявляя, привели ли исследования с недостаточной мощностью к нулевым результатам.

Применение

  • Написание научной статьи: планируйте статистическую отчетность до анализа; сообщайте размеры эффекта и ДИ наряду с p-значениями; организуйте результаты по гипотезам.
  • Проведение мета-анализа: размеры эффекта, извлеченные из первичных исследований, позволяют объединять данные; статьи, сообщающие только p-значения, труднее включить.
  • Рецензирование рукописи: проверьте полноту статистической отчетности; запрашивайте размеры эффекта и ДИ, если они отсутствуют.
  • Подготовка заявки на грант: анализ статистической мощности (который использует размеры эффекта) является стандартным для рассмотрения грантов NIH и других организаций; продемонстрируйте знакомство с отчетностью по размерам эффекта.

Как это работает

Как это работает

1

Представляйте статистику в следующем порядке и формате: (1) Описательная статистика: среднее ± стандартное отклонение (или медиана и межквартильный размах для скошенных данных) для каждой группы. Пример: «Группа лечения (M=45,2, SD=8,3) против контрольной группы (M=42,1, SD=7,9)». (2) Название и результат статистического теста: Укажите тест (t-тест, хи-квадрат, ANOVA и т. д.), тестовую статистику, степени свободы, p-значение и размер эффекта. Пример: «t(98)=2,34, p=.021, d=0,47». (3) Доверительный интервал: Укажите 95% ДИ для разницы или размера эффекта. Пример: «95% ДИ [0,52, 3,21]». (4) Размер эффекта: Укажите соответствующий размер эффекта для вашего теста. Для непрерывных исходов: d Коэна (стандартизированная разница средних), r Пирсона (корреляция) или эта-квадрат (η²) (доля объясненной дисперсии). Для бинарных исходов: относительный риск, отношение шансов, число, необходимое для лечения. Для сравнения средних: укажите абсолютную разницу с единицами измерения. (5) Проверенные предположения: укажите, были ли выполнены предположения (например, «Нормальность оценивалась с помощью теста Шапиро-Уилка, W=0,98, p=.45, что указывает на приблизительную нормальность данных»). (6) Поправки на множественные сравнения: при проведении нескольких тестов укажите использованный метод коррекции (Бонферрони, частота ложных открытий и т. д.) и скорректированный порог p-значения. Пример: «Скорректированное по Бонферрони α=0,05/3=0,017». (7) Пропущенные данные: опишите, как обрабатывались пропущенные данные (удаление, метод импутации). Организуйте результаты по гипотезе или исследовательскому вопросу; сгруппируйте связанные статистические данные. Используйте таблицы для подробных числовых результатов.

2

Качественная статистическая отчетность соответствует следующим критериям: (1) Полнота: сообщаются p-значения, размеры эффекта и доверительные интервалы; никаких «голых» p-значений. (2) Точность: значения верны и соответствуют анализу, описанному в разделе «Методы». (3) Прозрачность: статистический метод указан явно (например, «парный t-тест», а не просто «t-тест»); рассматриваются предположения. (4) Размер эффекта: выбран соответствующий размер эффекта для теста (d для сравнения двух групп, r для корреляций и т. д.). (5) Точность: значения представлены с соответствующим количеством значащих цифр (p-значения с точностью до 2–3 десятичных знаков, например, p=.021, а не p<.05). (6) Последовательность: схожие результаты форматируются идентично; серия t-тестов сообщает t, df, p и d. (7) Ясность: результаты представлены в тексте или таблицах в порядке исследовательских вопросов, изложенных во введении. Читатели должны иметь возможность проверить результаты, просмотрев таблицы и сопоставив их с текстом.

3

Рецензенты и редакторы проверяют статистическую отчетность на прозрачность и соответствие стандартам области. Отсутствие размеров эффекта, необоснованные заявления о «значимости» или неверно представленная статистика приводят к запросам на пересмотр. Смещение публикации уменьшается, когда сообщаются размеры эффекта и доверительные интервалы: рецензенты и читатели могут оценить истинную величину полученных данных, а не только то, является ли p<0,05. В мета-анализах объединяются размеры эффекта из всех исследований; исследования, сообщающие только p-значения без размеров эффекта, должны быть исключены или оценены постфактум на основе других статистических данных, что вносит погрешность. Для авторов прозрачная статистическая отчетность повышает воспроизводимость, обеспечивает надлежащий синтез и демонстрирует строгость.

Частые ошибки

  • Сообщение p-значений без размеров эффекта: «p=.021» сообщает читателям, что результат «значим», но не говорит, является ли эффект тривиальным (например, d=0,1) или большим (d=1,5). Всегда сообщайте размер эффекта.
  • Смешение статистической и практической значимости: p=.001 указывает на сильные доказательства против нулевой гипотезы, но если эффект клинически незначим (например, разница в артериальном давлении 0,1 мм рт. ст.), он не является практически значимым. Обсуждайте оба аспекта.
  • Выборочное представление p-значений: сообщение только p-значения, которое <0,05, при сокрытии незначимых результатов (p-хакинг). Предварительно регистрируйте гипотезы и сообщайте обо всех тестах, значимых или нет.
  • Сообщение о «тенденции к значимости» для p=.10 или «приближении к значимости» для p=.06: это неформальные и вводящие в заблуждение выражения. Либо результат соответствует вашему порогу, либо нет; честно обсуждайте незначимые результаты.
  • Неверное представление доверительных интервалов: 95% ДИ — это НЕ диапазон, который содержит 95% данных; это диапазон, в котором мы на 95% уверены, что он содержит истинный параметр. Объясняйте правильно, чтобы избежать путаницы.
  • Пропуск исходных описательных статистик: читатели не могут оценить сопоставимость групп или репрезентативность выборок, если демографические данные или исходные данные не сообщаются.

Часто задаваемые вопросы

Какой размер эффекта следует сообщать?

Выберите размер эффекта, соответствующий вашему статистическому тесту: Для t-тестов (сравнение двух групп): d Коэна (стандартизированная разница средних) или сырая разница с единицами измерения. Для ANOVA: эта-квадрат (η²) или частичный эта-квадрат (η²p). Для корреляции: r Пирсона или R-квадрат (R²). Для бинарных исходов (например, успех лечения): отношение шансов (OR), относительный риск (RR) или абсолютная разница рисков. Для парных данных: d Коэна или g Хеджеса (аналогично d, используется в мета-анализах). Если вы не уверены, обратитесь к стандартам вашей области или руководствам по отчетности (EQUATOR Network).

Достаточно ли сообщать только p-значение?

Нет. Одно лишь p-значение недостаточно, поскольку оно не сообщает о величине эффекта. p=.001 может отражать тривиальный эффект (при большом размере выборки) или огромный эффект (при малом размере выборки). Всегда сообщайте размер эффекта и 95% ДИ. Комбинация p-значения + размер эффекта + ДИ дает читателям полную картину.

Что делать, если у меня много тестов и несколько p-значений «близки к значимым» (например, p=.06)?

Сообщайте их честно. p=.06 не является статистически значимым при α=0,05; оно не становится значимым, если назвать его «тенденцией». Обсудите, что означает незначимый результат в контексте (недостаточная мощность? истинный нулевой эффект?). Если вы провели несколько тестов, сообщите, как вы контролировали ошибку I рода (Бонферрони, FDR и т. д.). Предварительно зарегистрируйте гипотезы, чтобы различать подтверждающие и исследовательские анализы.

Сколько десятичных знаков следует использовать для p-значений?

Два-три десятичных знака являются стандартом (например, p=.021, p<.001). Не сообщайте p=.050000. Точные p-значения предпочтительнее неравенств (p=.021 вместо p<.05), когда точное значение доступно из вашего статистического программного обеспечения. Используйте «p<.001» только в том случае, если программное обеспечение округляет меньшие значения или если тест односторонний с очень низким порогом.

Следует ли сообщать 95% ДИ или другие уровни доверия?

Используйте 95% ДИ, если в вашей области нет другой конвенции (в некоторой старой медицинской литературе использовались 90% или 99%). 95% ДИ является стандартом, поскольку он соответствует α=0,05. Если вы сообщаете 90% ДИ, явно укажите «ДИ90%», чтобы избежать путаницы. Не смешивайте уровни доверия в одной статье.

Похожие методы

Источники

  1. Cumming, G. (2013). The new statistics: Why and how. Psychological Science, 25(1), 7–29.

    Открыть ссылку DOI
    Скопировано.
  2. Fidler, F., Thomason, N., Cumming, G., Finch, S., & Leeman, J. (2005). Editors can lead researchers to confidence intervals, but can't make them think: Statistical reform lessons from medicine. Psychological Science, 15(2), 119–126.

    Открыть ссылку DOI
    Скопировано.
  3. International Committee of Medical Journal Editors (2023). Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals.

    Открыть ссылку на публикацию
    Скопировано.