Skip to content
Назад к результатам поиска

Непараметрические статистические тесты

Автор метода
Henry Mann and Donald Whitney
Год
1947
Тип
Method
Семейство
distribution-free-methods

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Непараметрические (свободные от распределения) тесты — это статистические методы проверки гипотез, которые не предполагают, что данные следуют определенному вероятностному распределению (например, нормальному), что делает их устойчивыми к отклонениям от нормальности, выбросам и порядковым данным.

Тест Манна-Уитни (1947) и тест Крускала-Уоллиса (1952) расширяют проверку гипотез за пределы ограничений параметрических предположений. Непараметрические тесты, необходимые в биологии, медицине, психологии и любой области, где данные являются ненормальными, сильно смещенными или измеренными по порядковым шкалам (ранжирование, рейтинги), обеспечивают достоверные выводы, когда параметрические предположения не выполняются.

Интуиция метода

Параметрические тесты (t-тест, ANOVA) предполагают нормальные распределения и равные дисперсии; нарушения этих предположений могут привести к некорректным p-значениям и доверительным интервалам. Непараметрические тесты избегают предположений о распределении путем ранжирования наблюдений: вместо анализа сырых значений они преобразуют данные в ранги (1-й наименьший, 2-й наименьший, ..., наибольший) и проверяют, различаются ли распределения рангов между группами. Поскольку ранги являются целыми числами и сохраняют порядок, они устойчивы к выбросам, ненормальности и гетероскедастичности. Компромисс: непараметрические тесты теряют мощность в идеальных условиях (нормальные данные с равными дисперсиями), но приобретают устойчивость и достоверность в реалистичных условиях. Современная практика: широко используйте непараметрические тесты; они устойчивы и часто почти так же мощны, как параметрические альтернативы.

История

Генри Манн и Дональд Уитни разработали тест U в 1947 году для сравнения двух выборок. Уильям Крускал и Аллен Уоллис расширили подход на множественные выборки в 1952 году. Фрэнк Уилкоксон независимо разработал ранговые тесты для парных выборок (тест знаковых рангов, 1945). Чарльз Спирмен ранее ввел ранговую корреляцию (1904). Эти методы оставались в тени до тех пор, пока современная вычислительная техника не сделала ручные расчеты устаревшими. Нынешнее возрождение обусловлено: (1) признанием того, что многие наборы данных не являются нормальными, (2) повсеместным распространением порядковых данных (опросы, рейтинги), (3) философией робастной статистики, подчеркивающей защиту от нарушения предположений.

Когда применять

Используйте непараметрические тесты, когда предположения параметрических тестов нарушены, а преобразование (логарифмическое, квадратный корень) не может нормализовать данные, или когда данные по своей природе являются порядковыми. Психология: анализ ответов по шкале Лайкерта (порядковые, часто ненормальные); многие исследования используют шкалы с < 10 категориями, где нормальность маловероятна. Медицина: сравнение значений биомаркеров между группами лечения, когда измерения сильно смещены (например, у некоторых пациентов нулевые значения, у других — высокие). Биология: оценка ранговых мер (ранжирование обилия видов, ранжирование в турнирах). Также используйте непараметрические методы по умолчанию на ранних этапах разведочного анализа, когда распределение данных неизвестно; если результаты совпадают с параметрическими тестами, параметрический подход, вероятно, безопасен для подтверждающего анализа.

Ограничения и замечания

  • Потеря мощности в идеальных условиях: когда данные действительно нормально распределены с равными дисперсиями, непараметрические тесты теряют 5–15% мощности по сравнению с t-тестами (асимптотическая относительная эффективность ~0.95).
  • Меньшая разработанность для сложных дизайнов: существует меньше непараметрических эквивалентов для факторной ANOVA, MANOVA или сложной корректировки ковариат; многоуровневые непараметрические методы менее стандартизированы.
  • Размер эффекта менее стандартизирован: в отличие от параметрических тестов с хорошо установленными мерами размера эффекта (d Коэна), непараметрические размеры эффекта (r, рангово-бисериальная корреляция) реже встречаются на практике.
  • Сложность пост-хок тестирования: попарные сравнения после Крускала-Уоллиса менее стандартизированы; штрафы за множественное тестирование могут снизить мощность.
  • Ограниченность тестами положения или ассоциации: непараметрические методы в основном проверяют, различаются ли распределения; не могут оценивать параметры или проверять конкретные гипотезы о структуре среднего.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Устойчивость к ненормальности и выбросам: достоверные p-значения даже при сильной ненормальности данных или наличии экстремальных значений, которые не могут быть удалены.
  • Работа с порядковыми данными: возможность анализа шкал Лайкерта, ранжирований или других упорядоченных категорий; параметрические тесты предполагают непрерывные данные, что технически делает их неприменимыми для порядковых.
  • Простота вычислений: ранговые статистики интуитивно понятны и просты в вычислениях; могут быть рассчитаны вручную для малых выборок.
  • Свобода от распределения: отсутствие предположений о каком-либо конкретном вероятностном распределении делает их универсально применимыми к различным типам данных.
  • Хорошая статистическая мощность при нарушении параметрических предположений: когда параметрические предположения ложны, непараметрические тесты мощнее параметрических тестов, которые дают недостоверные p-значения.

Применение

  • Психологические исследования: сравнение ответов по шкале Лайкерта (удовлетворенность работой, тяжесть депрессии) между группами лечения; рейтинги обычно порядковые и ненормальные.
  • Клиническая медицина: анализ уровней биомаркеров (часто смещенных с пределами обнаружения) до и после лечения; сравнение рейтингов тяжести симптомов.
  • Профессиональное здоровье: ранжирование воздействия опасностей на рабочих местах или сравнение порядковых рейтингов безопасности; практические альтернативы параметрическим методам.
  • Образовательная оценка: сравнение результатов тестов или ранжирований между школами или методами обучения; учитывает распределения результатов, которые не являются нормальными.
  • Контроль качества: ранжирование степени дефектов или сравнение порядковых показателей качества между партиями продукции без предположения о нормальности.

Как это работает

Как это работает

1

Применяйте непараметрические тесты, когда: (1) данные исхода не являются нормальными (проверьте Q-Q графики, тест Шапиро-Уилка), (2) данные являются порядковыми (ранги, рейтинги, шкалы с ограниченным числом значений), (3) размеры выборки малы (< 30), где нормальность не может быть подтверждена, (4) присутствуют выбросы, которые не могут быть обоснованы или удалены, (5) дисперсии неравны (гетероскедастичность). Сбор данных такой же, как и для параметрических тестов; специальный дизайн выборки не требуется. Ключевое требование: наблюдения должны быть независимыми (без повторных измерений без корректировки); данные должны быть ранжируемыми (можно определить относительный порядок). Работает с непрерывными, порядковыми или бинарными данными.

2

Для двух независимых групп используйте тест Манна-Уитни (непараметрическая альтернатива независимому t-тесту): (1) Ранжируйте все наблюдения от наименьшего к наибольшему, игнорируя принадлежность к группе. (2) Просуммируйте ранги в каждой группе (R₁ и R₂). (3) Вычислите U₁ = n₁n₂ + [n₁(n₁+1)/2] − R₁ и U₂ = n₁n₂ + [n₂(n₂+1)/2] − R₂. (4) Тестовая статистика U = min(U₁, U₂). (5) Получите p-значение из таблиц распределения Манна-Уитни (для малых выборок) или нормальной аппроксимации (для больших выборок). Сообщите о размере эффекта: r = Z / √n, где Z — стандартизированная тестовая статистика, n — общий размер выборки; r ≈ 0.1 малый, 0.3 средний, 0.5 большой. Для трех или более независимых групп используйте тест Крускала-Уоллиса: аналогичный подход, но вычисляется общая статистика суммы рангов H, следующая распределению χ² с k−1 степенями свободы. Для парных (повторных измерений) используйте тест знаковых рангов Уилкоксона: разности между парами ранжируются и тестируются относительно нуля. Для корреляции используйте ранговую корреляцию Спирмена ρ: корреляция рангов, а не сырых значений.

3

Интерпретация p-значения такая же, как и для параметрических тестов: p < 0.05 указывает на статистически значимое различие между группами (при общепринятом уровне). Однако, поскольку используются ранги, размер эффекта и интерпретация несколько отличаются. Тест Манна-Уитни отвечает на вопрос: является ли распределение группы 1 стохастически большим, чем группы 2? (т. е. имеют ли значения в группе 1 тенденцию быть выше?). Разница медиан часто оценивается для практической интерпретации, но технически тест сравнивает распределения, а не только медианы. Размер эффекта r обеспечивает стандартизированную меру разделения групп. Для Крускала-Уоллиса значимое p-значение указывает на то, что по крайней мере две группы различаются; последующие попарные тесты Манна-Уитни определяют, какие пары (с поправкой Бонферрони). Для ρ Спирмена интерпретация аналогична r Пирсона; значения варьируются от −1 до +1; положительное ρ указывает на согласованные ранги.

Частые ошибки

  • Непонимание того, что тестируется: тест Манна-Уитни проверяет, различаются ли распределения, а не только медианы; два распределения могут иметь равные медианы, но разную форму. Всегда визуально исследуйте распределения.
  • Применение непараметрических тестов к данным, которые явно нормальны: пустая трата мощности; используйте параметрические тесты, когда предположения выполнены.
  • Использование непараметрических тестов для сильно категоризированных данных без соответствующих методов: порядковые данные (например, 5-балльная шкала Лайкерта), проанализированные с помощью Манна-Уитни, могут быть допустимы, но при наличии только 2 категорий (дихотомических) непараметрические ранговые тесты сводятся к хи-квадрату.
  • Неспособность проверить предположение о независимости: непараметрические тесты предполагают независимые наблюдения; кластеризация, повторные измерения или парные дизайны требуют корректировок (тест Фридмана для повторных измерений, стратификация для парных).
  • Дихотомизация непрерывных переменных: преобразование непрерывных данных (возраст) в порядковые (молодой/старый) с последующим применением непараметрических тестов приводит к потере информации. Сохраняйте непрерывную форму, когда это возможно.
  • Интерпретация ранговых размеров эффекта как практических размеров эффекта: непараметрический размер эффекта r = 0.3 количественно определяет статистическое разделение, а не практическую важность. Всегда оценивайте фактическую разницу в медианах или средних для практической значимости.

Часто задаваемые вопросы

Когда следует использовать тест Манна-Уитни вместо независимого t-теста?

Используйте тест Манна-Уитни, если: (1) данные не распределены нормально (Q-Q график показывает отклонение, p-значение теста Шапиро-Уилка < 0.05), (2) дисперсии неравны (p-значение теста Левена < 0.05) и размеры выборок неравны, (3) данные порядковые (ранжирования, рейтинги), (4) размеры выборок малы (n < 30), поэтому нормальность не может быть подтверждена, или (5) присутствуют выбросы, которые являются реальными (а не ошибками измерения) и не могут быть удалены. Если данные явно нормальны и имеют равные дисперсии, предпочтительнее t-тест (более мощный). На практике тест Манна-Уитни является консервативным выбором; он работает достаточно хорошо даже для нормальных данных (потеря мощности ~5%), поэтому его широкое применение оправдано.

Что на самом деле тестирует тест Манна-Уитни — медианы или распределения?

Технически, тест Манна-Уитни проверяет, различаются ли распределения (стохастическое доминирование). Если распределения имеют одинаковую форму, тест аппроксимирует тест на разницу медиан. Однако два распределения могут иметь равные медианы, но разную форму (например, одно симметричное, другое смещенное). И наоборот, разные медианы подразумевают разные распределения. Лучшая практика: всегда визуализируйте оба распределения с помощью ящичковых диаграмм или графиков плотности; анализ фактических данных проясняет, отражает ли результат теста разницу медиан или более широкую разницу распределений. Для практической интерпретации сообщайте как p-значение, так и разницу медиан.

Как обрабатывать связанные ранги в непараметрических тестах?

Связанные значения (равные значения) получают средний ранг. Например, если два наблюдения имеют одинаковое 5-е место, оба получают ранг 5.5. Это стандартный подход, и именно его реализует статистическое программное обеспечение. При большом количестве связанных рангов может потребоваться корректировка тестовой статистики (тесты среднего ранга, перестановочные тесты). Если связанные ранги очень распространены (например, много нулевых значений или сильно категоризированные данные), рассмотрите альтернативы: перестановочные тесты или робастные методы, разработанные для дискретных данных.

Можно ли использовать непараметрические тесты с данными шкалы Лайкерта?

Да, непараметрические тесты хорошо подходят для шкал Лайкерта (порядковые данные). Тест Манна-Уитни сравнивает распределения ответов по шкале Лайкерта между группами; тест Крускала-Уоллиса сравнивает три или более групп. Однако будьте осторожны со шкалами с очень малым количеством категорий (например, 3-балльная шкала): мощность теста снижается по сравнению с непрерывными данными. Альтернативно, для многоэлементных шкал Лайкерта (например, суммирование нескольких элементов в составную оценку) составная оценка может аппроксимировать нормальность (центральная предельная теорема), что оправдывает использование параметрических тестов. Используйте непараметрические тесты как безопасный выбор по умолчанию для отдельных порядковых мер.

Похожие методы

Источники

  1. Mann, H. B., & Whitney, D. R. (1947). On a test of whether one of two random variables is stochastically larger than the other. Annals of Mathematical Statistics, 18(1), 50–60.

    Открыть ссылку DOI
    Скопировано.
  2. Kruskal, W. H., & Wallis, W. A. (1952). Use of ranks in one-criterion variance analysis. Journal of the American Statistical Association, 47(260), 583–621.

    Открыть ссылку DOI
    Скопировано.
  3. Conover, W. J. (1999). Practical Nonparametric Statistics (3rd ed.). John Wiley & Sons.

    Открыть ссылку на публикацию
    Скопировано.