Symulacja bootstrapowa — empiryczne ponowne próbkowanie do wnioskowania statystycznego
- Autor metody
- Bradley Efron
- Rok
- 1979
- Typ
- Simulation-based nonparametric inference
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Symulacja bootstrapowa, wprowadzona przez Bradleya Efrona w 1979 roku, to metoda wnioskowania oparta na symulacji, która pozwala wyprowadzić rozkład z próby praktycznie każdej statystyki poprzez wielokrotne pobieranie próbek ze zwracaniem z zaobserwowanych danych.
Ponieważ nie wymaga żadnych parametrycznych założeń dotyczących rozkładu, stanowi solidną, ogólną alternatywę dla analitycznych przedziałów ufności i parametrycznych testów hipotez dla danych ciągłych, porządkowych, binarnych i zliczanych.
Intuicja stojąca za metodą
Zwykle, aby zrozumieć zmienność statystyki, takiej jak średnia czy mediana, należałoby zebrać wiele niezależnych próbek z populacji — ale dysponujemy tylko jedną próbką. Ponowne próbkowanie bootstrapowe rozwiązuje ten problem, traktując tę jedną próbkę tak, jakby była populacją, i pobierając z niej tysiące nowych próbek ze zwracaniem. Każde nowe pobranie jest nieco inne, a razem tworzą empiryczny obraz tego, jak statystyka zachowałaby się w powtarzanych badaniach — bez potrzeby stosowania wzoru rozkładu.
Historia
Bradley Efron wprowadził bootstrap w przełomowej pracy z 1979 roku i rozszerzył ramy z Robem Tibshiranim w ich podręczniku z 1993 roku, który pozostaje ostatecznym odniesieniem. Metoda wyrosła z wcześniejszych idei ponownego próbkowania jackknife i była rewolucyjna, ponieważ oferowała obliczeniowo wykonalną drogę do prawidłowego wnioskowania bez wymagania rozkładów z próby w postaci zamkniętej. Monografia Davisona i Hinkleya z Cambridge z 1997 roku rozszerzyła teorię bootstrap na modele regresji, szeregi czasowe i dane cenzurowane, umacniając metodę jako kamień węgielny współczesnej statystyki stosowanej.
Kiedy stosować
Symulacja bootstrapowa jest odpowiednia zawsze, gdy rozkład z próby statystyki nie może być wyprowadzony analitycznie lub gdy założenia parametryczne (normalność, homoskedastyczność) nie mogą być uzasadnione. Obsługuje zmienne ciągłe, porządkowe, binarne i zliczane oraz działa z praktycznie każdym estymatorem statystycznym — w tym ze złożonymi, takimi jak współczynniki regresji, różnice korelacji czy metryki dokładności modelu. Zazwyczaj wymagana jest minimalna próbka około 20 obserwacji; w przypadku bardzo małych próbek rozkład bootstrapowy może nie reprezentować populacji w wystarczającym stopniu. Dla danych skorelowanych lub szeregów czasowych należy użyć bootstrapu blokowego zamiast standardowej wersji i.i.d.
Ograniczenia i uwagi
- Wymaga intensywnych obliczeń, gdy B jest duże (10 000+ ponownych próbek) lub gdy obliczenie statystyki jest kosztowne.
- Nie może skorygować stronniczej lub niereprezentatywnej próbki oryginalnej — bootstrap dziedziczy wszelkie błędy systematyczne w danych.
- Małe próbki oryginalne (n < 20) mogą nie zapewnić wiarygodnego empirycznego rozkładu z próby, nawet przy wielu ponownych próbkowaniach.
- Standardowy bootstrap i.i.d. jest nieważny dla danych zależnych; zamiast niego należy użyć bootstrapu blokowego, a wybór rozmiaru bloku dodaje złożoności.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Nie wymaga parametrycznych założeń dotyczących rozkładu — jest ważna w szerokim zakresie warunków, w których klasyczne wzory zawodzą.
- Ma zastosowanie do praktycznie każdej statystyki: średnich, median, korelacji, współczynników regresji, metryk wydajności modelu i niestandardowych estymatorów.
- Dostarcza przedziały ufności i testy hipotez bez analitycznych wyprowadzeń rozkładów z próby w postaci zamkniętej.
- Łatwa do rozszerzenia: bootstrap blokowy obsługuje dane zależne; przedziały BCa obsługują asymetrię.
Zastosowania
- Konstruowanie przedziałów ufności dla złożonych estymatorów (mediany, średnie obcięte, dokładność modelu), dla których analityczne wzory są niedostępne.
- Testowanie hipotez, gdy założeń parametrycznych nie można zweryfikować — na przykład porównywanie dwóch grup pod względem skośnego wyniku ciągłego.
- Szacowanie błędu predykcji i stabilności modelu w uczeniu maszynowym za pomocą próbkowania bootstrap out-of-bag.
- Badania biomedyczne: wyprowadzanie przedziałów ufności dla krzywych przeżycia, parametrów dawka-odpowiedź i charakterystyk testów diagnostycznych.
- Badania społeczne i edukacyjne: wnioskowanie o różnicach korelacji, wielkościach efektu i złożonych wynikach skal.
Jak to działa
Jak to działa
Zacznij od zaobserwowanego zbioru danych składającego się z n obserwacji. Zweryfikuj, czy próbka jest reprezentatywna dla populacji docelowej — bootstrap może odtworzyć tylko to, co znajduje się w danych, więc stronnicza lub niereprezentatywna próbka doprowadzi do stronniczych estymacji bootstrapowych.
Pobierz B losowych próbek o rozmiarze n z oryginalnych danych, za każdym razem próbując ze zwracaniem. Efron i Tibshirani (1993) zalecają minimum B ≥ 1000; dla przedziałów ufności standardową rekomendacją jest B = 10 000. W przypadku danych zależnych (szeregi czasowe, obserwacje zgrupowane) należy zastosować bootstrap blokowy, aby zachować strukturę zależności.
Oblicz statystykę zainteresowania — średnią, medianę, współczynnik regresji, korelację lub dowolny inny estymator — dla każdej z B próbek bootstrapowych. Daje to rozkład bootstrapowy B wartości statystyki.
Zgromadź B wartości statystyk bootstrapowych w empiryczny rozkład z próby. Podsumuj go za pomocą błędu standardowego bootstrap i przedziału ufności bootstrap. Dla rozkładów skośnych preferowany jest przedział skorygowany o obciążenie i przyspieszony (BCa); najprostszą alternatywą jest przedział percentylowy.
Wykorzystaj zagregowany rozkład bootstrapowy do wnioskowania: podaj przedział ufności dla parametru zainteresowania lub oblicz wartość p dla testu hipotez, porównując zaobserwowaną statystykę z rozkładem zerowym bootstrap. Ponieważ do tego momentu nie było potrzebne żadne założenie parametryczne, wnioskowanie jest ważne w szerokim zakresie warunków.
Częste pułapki
- Użycie zbyt małej liczby ponownych próbek (B < 1000) prowadzi do niestabilnych przedziałów ufności — zawsze używaj co najmniej B = 1000, a dla ostatecznie raportowanych przedziałów ufności B = 10 000.
- Zastosowanie standardowego bootstrapu i.i.d. do danych szeregów czasowych lub zgrupowanych narusza założenie niezależności; dla obserwacji zależnych należy użyć bootstrapu blokowego.
- Traktowanie przedziałów ufności bootstrap jako równoważnych niezależnie od metody — przedział percentylowy może być obciążony, gdy statystyka jest skośna; w takich przypadkach preferuj BCa.
- Mylenie błędu standardowego bootstrap z odchyleniem standardowym populacji — błąd standardowy bootstrap szacuje zmienność estymatora, a nie zmienność surowych danych.
Najczęściej zadawane pytania
Ile ponownych próbek bootstrap potrzebuję?
Do obliczenia błędów standardowych bootstrap i przybliżonych przedziałów ufności wymagane jest minimum B = 1000 ponownych próbek. Dla ostatecznie raportowanych przedziałów ufności standardową rekomendacją jest B = 10 000 (Efron & Tibshirani, 1993). Mniej niż 1000 ponownych próbek daje niestabilne wyniki i nie powinno być raportowane.
Którą metodę przedziału ufności powinienem zastosować — percentylową, BCa czy podstawową?
Przedział BCa (skorygowany o obciążenie i przyspieszony) jest preferowany w większości sytuacji, zwłaszcza gdy rozkład z próby statystyki jest asymetryczny lub estymator jest obciążony. Przedział percentylowy jest prostszy, ale może być niedokładny w przypadku skośności. BCa koryguje zarówno obciążenie, jak i skośność, co czyni go najbardziej niezawodnym wyborem ogólnego przeznaczenia.
Czy bootstrap może być używany z danymi szeregów czasowych lub panelowymi?
Tak, ale standardowy bootstrap i.i.d. (który ponownie próbkuje pojedyncze obserwacje) jest nieważny dla danych zależnych, ponieważ narusza strukturę zależności. Metody bootstrapu blokowego, które ponownie próbują ciągłe bloki obserwacji, zachowują zależność szeregową i powinny być stosowane zawsze, gdy dane są skorelowane w czasie lub w obrębie klastrów.
Czy bootstrap działa z małymi próbkami?
Wnioskowanie bootstrap jest ogólnie wiarygodne, gdy n ≥ 20. W przypadku bardzo małych próbek zaobserwowane dane mogą nie reprezentować populacji w wystarczającym stopniu, więc rozkład bootstrap dziedziczy to ograniczenie — żadna liczba ponownych próbek nie zrekompensuje próbki, która jest zbyt mała, aby uchwycić kształt populacji. W takich przypadkach należy rozważyć dokładne testy permutacyjne lub metody bayesowskie.
Pokrewne metody
Źródła
Efron, B. & Tibshirani, R.J. (1993). An Introduction to the Bootstrap. Chapman & Hall/CRC.
Otwórz odnośnik DOISkopiowano.Davison, A.C. & Hinkley, D.V. (1997). Bootstrap Methods and their Application. Cambridge University Press.
Otwórz odnośnik DOISkopiowano.