Bootstrap Simülasyonu — İstatistiksel Çıkarım için Ampirik Yeniden Örnekleme
- Ortaya koyan
- Bradley Efron
- Yıl
- 1979
- Tür
- Simulation-based nonparametric inference
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Bradley Efron tarafından 1979'da tanıtılan bootstrap simülasyonu, gözlemlenen veriden yerine koyarak tekrar tekrar örnekleme yaparak hemen hemen her istatistiğin örnekleme dağılımını türeten, simülasyon tabanlı bir çıkarım yöntemidir.
Parametrik dağılımsal varsayımlar gerektirmediği için, sürekli, sıralı, ikili ve sayım verileri genelinde analitik güven aralıklarına ve parametrik hipotez testlerine sağlam, genel amaçlı bir alternatif sunar.
Yöntemin mantığı
Normalde, ortalama veya medyan gibi bir istatistiğin ne kadar değişken olduğunu anlamak için popülasyondan birçok bağımsız örnek toplamanız gerekir; ancak elinizde yalnızca bir örnek vardır. Bootstrap yeniden örnekleme, tek örneğinizi popülasyonmuş gibi ele alarak ve ondan yerine koyarak binlerce yeni örnek çekerek bu sorunu çözer. Her yeni çekim biraz farklıdır ve birlikte, istatistiğin tekrarlanan çalışmalarda nasıl davranacağına dair ampirik bir resim oluştururlar; hiçbir dağılımsal formül gerekmez.
Tarih
Bradley Efron, 1979'daki çığır açan bir makalesinde bootstrap'ı tanıttı ve 1993 tarihli ders kitaplarında Rob Tibshirani ile çerçeveyi genişletti; bu kitap kesin referans olmaya devam etmektedir. Yöntem, önceki jackknife yeniden örnekleme fikirlerinden doğdu ve kapalı form örnekleme dağılımları gerektirmeden geçerli çıkarım için hesaplama açısından uygulanabilir bir yol sunduğu için devrim niteliğindeydi. Davison ve Hinkley'in 1997 tarihli Cambridge monografisi, bootstrap teorisini regresyon modellerine, zaman serilerine ve sansürlenmiş verilere genişleterek yöntemi modern uygulamalı istatistiğin temel taşı haline getirdi.
Ne zaman kullanılır?
Bootstrap simülasyonu, bir istatistiğin örnekleme dağılımının analitik olarak türetilemediği veya parametrik varsayımların (normallik, homoskedastisite) haklı çıkarılamadığı her durumda uygundur. Sürekli, sıralı, ikili ve sayım değişkenlerini ele alır ve regresyon katsayıları, korelasyon farklılıkları veya model doğruluk metrikleri gibi karmaşık olanlar da dahil olmak üzere hemen hemen her istatistiksel tahmin ediciyle çalışır. Genellikle yaklaşık 20 gözlemden oluşan minimum bir örneklem gerekir; çok küçük örneklemlerde bootstrap dağılımı popülasyonu yeterince temsil etmeyebilir. Korelasyonlu veya zaman serisi verileri için, standart i.i.d. versiyonu yerine blok bootstrap kullanın.
Sınırlar ve dikkat edilmesi gerekenler
- B büyük olduğunda (10.000+ yeniden örnekleme) veya istatistiğin hesaplanması pahalı olduğunda hesaplama açısından yoğundur.
- Yanlı veya temsili olmayan orijinal bir örneği düzeltemez; bootstrap, verideki herhangi bir sistematik hatayı miras alır.
- Küçük orijinal örneklemler (n < 20), çok sayıda yeniden örneklemeyle bile güvenilir bir ampirik örnekleme dağılımı sağlayamayabilir.
- Standart i.i.d. bootstrap bağımlı veriler için geçersizdir; bunun yerine blok bootstrap kullanılmalı ve blok boyutu seçimi karmaşıklık katar.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Parametrik dağılımsal varsayım gerektirmez; klasik formüllerin başarısız olduğu geniş koşullar altında geçerlidir.
- Hemen hemen her istatistiğe uygulanabilir: ortalamalar, medyanlar, korelasyonlar, regresyon katsayıları, model performans metrikleri ve özel tahmin ediciler.
- Kapalı form örnekleme dağılımı türetmeleri olmaksızın güven aralıkları ve hipotez testleri sağlar.
- Uzatılması kolaydır: blok bootstrap bağımlı verileri ele alır; BCa aralıkları asimetriyi ele alır.
Uygulama alanları
- Analitik formüllerin bulunmadığı karmaşık tahmin ediciler (medyanlar, kırpılmış ortalamalar, model doğruluğu) için güven aralıkları oluşturma.
- Parametrik varsayımların doğrulanamadığı durumlarda hipotez testi yapma; örneğin, çarpık sürekli bir sonuç üzerinde iki grubu karşılaştırma.
- Makine öğreniminde bootstrap torba dışı örnekleme yoluyla tahmin hatasını ve model kararlılığını tahmin etme.
- Biyotıp araştırmaları: sağkalım eğrileri, doz-yanıt parametreleri ve tanısal test özelliklerine ilişkin güven aralıkları türetme.
- Sosyal bilimler ve eğitim araştırmaları: korelasyon farklılıkları, etki büyüklükleri ve bileşik ölçek puanları hakkında çıkarım yapma.
Nasıl çalışır?
Nasıl çalışır?
n gözlemden oluşan gözlemlenen veri setiyle başlayın. Örneklemin hedef popülasyonu temsil ettiğini doğrulayın; bootstrap yalnızca veridekini yeniden üretebilir, bu nedenle yanlı veya temsili olmayan bir örnek, yanlı bootstrap tahminleri üretecektir.
Orijinal veriden n boyutunda B rastgele örnek çekin, her seferinde yerine koyarak örnekleme yapın. Efron ve Tibshirani (1993) minimum B ≥ 1.000'i önermektedir; güven aralıkları için B = 10.000 standart öneridir. Bağımlı veriler (zaman serileri, kümelenmiş gözlemler) için bağımlılık yapısını korumak amacıyla blok bootstrap kullanın.
İlgi duyulan istatistiği (ortalama, medyan, regresyon katsayısı, korelasyon veya başka herhangi bir tahmin edici) B bootstrap örneğinin her birinde hesaplayın. Bu, B istatistik değerinden oluşan bir bootstrap dağılımı üretir.
B bootstrap istatistik değerlerini ampirik bir örnekleme dağılımında bir araya getirin. Bunu bootstrap standart hatası ve bir bootstrap güven aralığı ile özetleyin. Çarpık dağılımlar için yanlılık düzeltmeli hızlandırılmış (BCa) aralık tercih edilir; yüzdelik aralık en basit alternatiftir.
Çıkarımlar yapmak için toplanmış bootstrap dağılımını kullanın: ilgi parametresi için güven aralığını bildirin veya gözlemlenen istatistiği bootstrap boş dağılımıyla karşılaştırarak bir hipotez testi için bir p-değeri hesaplayın. Bu noktaya ulaşmak için hiçbir parametrik varsayıma gerek duyulmadığından, çıkarım geniş koşullar altında geçerlidir.
Sık yapılan hatalar
- Çok az yeniden örnekleme kullanmak (B < 1.000) kararsız güven aralıkları üretir; nihai olarak bildirilen GA'lar için her zaman en az B = 1.000 ve B = 10.000 kullanın.
- Standart i.i.d. bootstrap'ı zaman serisi veya kümelenmiş verilere uygulamak bağımsızlık varsayımını ihlal eder; bağımlı gözlemler için blok bootstrap kullanın.
- Bootstrap güven aralıklarını yöntemden bağımsız olarak eşdeğer kabul etmek; istatistik çarpık olduğunda yüzdelik aralık yanlı olabilir; bu durumlarda BCa'yı tercih edin.
- Bootstrap standart hatasını popülasyon standart sapmasıyla karıştırmak; bootstrap SE, tahmin edicinin değişkenliğini tahmin eder, ham verinin değişkenliğini değil.
Sık sorulan sorular
Kaç tane bootstrap yeniden örneklemesine ihtiyacım var?
Bootstrap standart hataları ve kaba güven aralıkları için minimum B = 1.000 yeniden örnekleme gereklidir. Nihai olarak bildirilen güven aralıkları için B = 10.000 standart öneridir (Efron & Tibshirani, 1993). 1.000'den az yeniden örnekleme kararsız sonuçlar üretir ve bildirilmemelidir.
Hangi güven aralığı yöntemini kullanmalıyım: yüzdelik, BCa veya temel?
BCa (yanlılık düzeltmeli hızlandırılmış) aralığı, özellikle istatistiğin örnekleme dağılımı asimetrik olduğunda veya tahmin edici yanlı olduğunda çoğu durumda tercih edilir. Yüzdelik aralık daha basittir ancak çarpıklık altında yanlış olabilir. BCa hem yanlılığı hem de çarpıklığı ayarlar, bu da onu en güvenilir genel amaçlı seçenek yapar.
Bootstrap zaman serisi veya panel verileriyle kullanılabilir mi?
Evet, ancak standart i.i.d. bootstrap (bireysel gözlemleri yeniden örnekleyen) bağımlı veriler için geçersizdir çünkü bağımlılık yapısını bozar. Gözlemlerin bitişik bloklarını yeniden örnekleyen blok bootstrap yöntemleri, seri bağımlılığı korur ve veriler zaman içinde veya kümeler içinde korelasyonlu olduğunda kullanılmalıdır.
Bootstrap küçük örneklemlerle çalışır mı?
Bootstrap çıkarımı genellikle n ≥ 20 olduğunda güvenilirdir. Çok küçük örneklemlerde gözlemlenen veriler popülasyonu yeterince temsil etmeyebilir, bu nedenle bootstrap dağılımı bu sınırlamayı miras alır; hiçbir yeniden örnekleme miktarı, popülasyonun şeklini yakalamak için çok küçük olan bir örneği telafi etmez. Bu gibi durumlarda, kesin permütasyon testleri veya Bayes yöntemleri düşünülmelidir.
İlgili yöntemler
Kaynaklar
Efron, B. & Tibshirani, R.J. (1993). An Introduction to the Bootstrap. Chapman & Hall/CRC.
DOI kaynağını açKopyalandı.Davison, A.C. & Hinkley, D.V. (1997). Bootstrap Methods and their Application. Cambridge University Press.
DOI kaynağını açKopyalandı.