Skip to content
Назад к результатам поиска

Бутстреп-симуляция — эмпирическая ресэмплинг-выборка для статистического вывода

Автор метода
Bradley Efron
Год
1979
Тип
Simulation-based nonparametric inference

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Бутстреп-симуляция, введенная Брэдли Эфроном в 1979 году, представляет собой метод вывода, основанный на симуляции, который определяет выборочное распределение практически любой статистики путем многократной ресэмплинг-выборки с возвращением из наблюдаемых данных.

Поскольку он не требует параметрических предположений о распределении, он обеспечивает надежную, универсальную альтернативу аналитическим доверительным интервалам и параметрическим тестам гипотез для непрерывных, порядковых, бинарных данных и данных подсчета.

Интуиция метода

В норме, чтобы понять, насколько изменчива статистика, такая как среднее или медиана, вам нужно собрать много независимых выборок из генеральной совокупности — но у вас есть только одна выборка. Бутстреп-ресэмплинг решает эту проблему, рассматривая вашу единственную выборку как генеральную совокупность и извлекая из нее тысячи новых выборок с возвращением. Каждый новый извлеченный набор данных немного отличается, и вместе они создают эмпирическую картину того, как статистика будет вести себя при повторных исследованиях — без необходимости использования формул распределения.

История

Брэдли Эфрон представил бутстреп в знаковой статье 1979 года и расширил эту концепцию с Робом Тибширани в их учебнике 1993 года, который остается авторитетным источником. Метод вырос из более ранних идей джекнайф-ресэмплинг-выборки и был революционным, поскольку предлагал вычислительно осуществимый путь к достоверному выводу без необходимости аналитических выборочных распределений. Монография Дэвисона и Хинкли 1997 года в Кембридже расширила теорию бутстрепа на регрессионные модели, временные ряды и цензурированные данные, укрепив метод как краеугольный камень современной прикладной статистики.

Когда применять

Бутстреп-симуляция уместна всякий раз, когда выборочное распределение статистики не может быть получено аналитически или когда параметрические предположения (нормальность, гомоскедастичность) не могут быть обоснованы. Она обрабатывает непрерывные, порядковые, бинарные переменные и переменные подсчета, а также работает практически с любым статистическим оценщиком — включая сложные, такие как коэффициенты регрессии, разности корреляций или метрики точности модели. Обычно требуется минимальный размер выборки около 20 наблюдений; при очень малых выборках бутстреп-распределение может неадекватно представлять генеральную совокупность. Для коррелированных или временных данных используйте блочный бутстреп, а не стандартную версию i.i.d.

Ограничения и замечания

  • Вычислительно затратен, когда B велико (10 000+ ресэмплинг-выборок) или вычисление статистики дорого.
  • Не может исправить смещенную или нерепрезентативную исходную выборку — бутстреп наследует любую систематическую ошибку в данных.
  • Малые исходные выборки (n < 20) могут не обеспечить надежное эмпирическое выборочное распределение, даже при большом количестве ресэмплинг-выборок.
  • Стандартный i.i.d. бутстреп недействителен для зависимых данных; вместо него следует использовать блочный бутстреп, а выбор размера блока добавляет сложности.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Не требует параметрических предположений о распределении — действителен при широких условиях, где классические формулы дают сбой.
  • Применим практически к любой статистике: средним, медианам, корреляциям, коэффициентам регрессии, метрикам производительности модели и пользовательским оценщикам.
  • Предоставляет доверительные интервалы и тесты гипотез без аналитических выводов выборочного распределения в замкнутой форме.
  • Прост в расширении: блочный бутстреп обрабатывает зависимые данные; интервалы BCa обрабатывают асимметрию.

Применение

  • Построение доверительных интервалов для сложных оценщиков (медиан, усеченных средних, точности модели), для которых аналитические формулы недоступны.
  • Проверка гипотез, когда параметрические предположения не могут быть проверены — например, сравнение двух групп по асимметричному непрерывному исходу.
  • Оценка ошибки прогнозирования и стабильности модели в машинном обучении с помощью бутстреп-выборки вне пакета (out-of-bag sampling).
  • Биомедицинские исследования: получение доверительных интервалов для кривых выживаемости, параметров доза-эффект и характеристик диагностических тестов.
  • Исследования в области социальных наук и образования: вывод по разностям корреляций, размерам эффекта и составным показателям шкал.

Как это работает

Как это работает

1

Начните с наблюдаемого набора данных из n наблюдений. Убедитесь, что выборка репрезентативна для целевой генеральной совокупности — бутстреп может воспроизвести только то, что есть в данных, поэтому смещенная или нерепрезентативная выборка даст смещенные бутстреп-оценки.

2

Извлеките B случайных выборок размера n из исходных данных, каждый раз выполняя выборку с возвращением. Эфрон и Тибширани (1993) рекомендуют минимум B ≥ 1 000; для доверительных интервалов стандартной рекомендацией является B = 10 000. Для зависимых данных (временные ряды, кластеризованные наблюдения) используйте блочный бутстреп для сохранения структуры зависимости.

3

Рассчитайте интересующую статистику — среднее, медиану, коэффициент регрессии, корреляцию или любой другой оценщик — для каждой из B бутстреп-выборок. Это дает бутстреп-распределение из B значений статистики.

4

Соберите B значений бутстреп-статистики в эмпирическое выборочное распределение. Обобщите его с помощью бутстреп-стандартной ошибки и бутстреп-доверительного интервала. Для асимметричных распределений предпочтительнее интервал с коррекцией на смещение и асимметрию (BCa); интервал перцентилей является простейшей альтернативой.

5

Используйте агрегированное бутстреп-распределение для выводов: сообщите доверительный интервал для интересующего параметра или вычислите p-значение для проверки гипотезы, сравнивая наблюдаемую статистику с бутстреп-нулевым распределением. Поскольку для достижения этой точки не требовалось параметрических предположений, вывод действителен при широких условиях.

Частые ошибки

  • Использование слишком малого количества ресэмплинг-выборок (B < 1 000) приводит к нестабильным доверительным интервалам — всегда используйте минимум B = 1 000, а для окончательных отчетов — B = 10 000.
  • Применение стандартного i.i.d. бутстрепа к временным рядам или кластеризованным данным нарушает предположение о независимости; используйте блочный бутстреп для зависимых наблюдений.
  • Приравнивание бутстреп-доверительных интервалов независимо от метода — интервал перцентилей может быть смещен, когда статистика асимметрична; в таких случаях предпочтительнее BCa.
  • Смешивание бутстреп-стандартной ошибки с стандартным отклонением генеральной совокупности — бутстреп-SE оценивает вариативность оценщика, а не вариативность сырых данных.

Часто задаваемые вопросы

Сколько бутстреп-ресэмплинг-выборок мне нужно?

Минимум B = 1 000 ресэмплинг-выборок требуется для бутстреп-стандартных ошибок и приблизительных доверительных интервалов. Для окончательных отчетов о доверительных интервалах стандартной рекомендацией является B = 10 000 (Efron & Tibshirani, 1993). Менее 1 000 ресэмплинг-выборок дают нестабильные результаты и не должны быть представлены в отчетах.

Какой метод доверительного интервала мне следует использовать — перцентильный, BCa или базовый?

Интервал BCa (с коррекцией на смещение и асимметрию) предпочтителен в большинстве ситуаций, особенно когда выборочное распределение статистики асимметрично или оценщик смещен. Перцентильный интервал проще, но может быть неточным при асимметрии. BCa корректирует как смещение, так и асимметрию, что делает его наиболее надежным универсальным выбором.

Можно ли использовать бутстреп с временными рядами или панельными данными?

Да, но стандартный i.i.d. бутстреп (который выполняет ресэмплинг отдельных наблюдений) недействителен для зависимых данных, поскольку он нарушает структуру зависимости. Методы блочного бутстрепа, которые выполняют ресэмплинг непрерывных блоков наблюдений, сохраняют сериальную зависимость и должны использоваться всякий раз, когда данные коррелированы во времени или внутри кластеров.

Работает ли бутстреп с малыми выборками?

Бутстреп-вывод обычно надежен при n ≥ 20. При очень малых выборках наблюдаемые данные могут неадекватно представлять генеральную совокупность, поэтому бутстреп-распределение наследует это ограничение — никакое количество ресэмплинг-выборок не компенсирует выборку, которая слишком мала, чтобы отразить форму генеральной совокупности. В таких случаях рассмотрите точные перестановочные тесты или байесовские методы.

Похожие методы

Источники

  1. Efron, B. & Tibshirani, R.J. (1993). An Introduction to the Bootstrap. Chapman & Hall/CRC.

    Открыть ссылку DOI
    Скопировано.
  2. Davison, A.C. & Hinkley, D.V. (1997). Bootstrap Methods and their Application. Cambridge University Press.

    Открыть ссылку DOI
    Скопировано.