Skip to content
بازگشت به نتایج جست‌وجو

شبیه‌سازی بوت‌استرپ — نمونه‌برداری تجربی برای استنتاج آماری

معرفی‌شده توسط
Bradley Efron
سال
1979
نوع
Simulation-based nonparametric inference

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

شبیه‌سازی بوت‌استرپ، که توسط بردلی افرون در سال ۱۹۷۹ معرفی شد، روشی مبتنی بر شبیه‌سازی برای استنتاج است که با نمونه‌برداری مکرر با جایگزینی از داده‌های مشاهده‌شده، توزیع نمونه‌گیری تقریباً هر آماره‌ای را استخراج می‌کند. از آنجایی که نیازی به مفروضات توزیعی پارامتریک ندارد، جایگزینی قوی و عمومی برای فواصل اطمینان تحلیلی و آزمون‌های فرض پارامتریک در داده‌های پیوسته، ترتیبی، دودویی و شمارشی ارائه می‌دهد.

شهود پشت روش

به طور معمول، برای درک میزان تغییرپذیری یک آماره مانند میانگین یا میانه، باید نمونه‌های مستقل متعددی از جامعه جمع‌آوری کنید — اما شما فقط یک نمونه دارید. نمونه‌برداری مجدد بوت‌استرپ با این مشکل مقابله می‌کند؛ با این روش که نمونه واحد شما به عنوان جامعه در نظر گرفته می‌شود و هزاران نمونه جدید با جایگزینی از آن استخراج می‌شود. هر استخراج جدید کمی متفاوت است و در مجموع، تصویری تجربی از نحوه رفتار آماره در مطالعات مکرر ایجاد می‌کنند — بدون نیاز به فرمول توزیعی.

تاریخ

بردلی افرون بوت‌استرپ را در مقاله‌ای برجسته در سال ۱۹۷۹ معرفی کرد و چارچوب آن را با راب تیبشرانی در کتاب درسی سال ۱۹۹۳ خود گسترش داد که همچنان مرجع قطعی باقی مانده است. این روش از ایده‌های قبلی نمونه‌برداری مجدد جک‌نایف نشأت گرفت و انقلابی بود زیرا راهی قابل محاسبه برای استنتاج معتبر بدون نیاز به توزیع‌های نمونه‌گیری با فرم بسته ارائه می‌داد. مونوگراف کمبریج دیویسون و هینکلِی در سال ۱۹۹۷، نظریه بوت‌استرپ را به مدل‌های رگرسیون، سری‌های زمانی و داده‌های سانسور شده گسترش داد و این روش را به سنگ بنای آمار کاربردی مدرن تبدیل کرد.

چه زمانی استفاده شود

شبیه‌سازی بوت‌استرپ هر زمان که توزیع نمونه‌گیری یک آماره را نتوان به صورت تحلیلی استخراج کرد یا زمانی که مفروضات پارامتریک (نرمال بودن، همگنی واریانس) قابل توجیه نباشند، مناسب است. این روش با متغیرهای پیوسته، ترتیبی، دودویی و شمارشی سروکار دارد و با تقریباً هر برآوردگر آماری — از جمله موارد پیچیده مانند ضرایب رگرسیون، تفاوت همبستگی‌ها، یا معیارهای دقت مدل — کار می‌کند. حداقل نمونه‌ای حدود ۲۰ مشاهده به طور کلی مورد نیاز است؛ با نمونه‌های بسیار کوچک، توزیع بوت‌استرپ ممکن است به طور کافی نماینده جامعه نباشد. برای داده‌های همبسته یا سری زمانی، به جای نسخه استاندارد مستقل و با توزیع یکسان (i.i.d.) از بوت‌استرپ بلوکی استفاده کنید.

محدودیت‌ها و ملاحظات

  • از نظر محاسباتی فشرده است زمانی که B بزرگ است (بیش از ۱۰۰۰۰ نمونه‌برداری مجدد) یا محاسبه آماره پرهزینه است.
  • نمی‌تواند خطای یک نمونه اصلی سوگیرانه یا نامعتبر را تصحیح کند — بوت‌استرپ هرگونه خطای سیستماتیک در داده‌ها را به ارث می‌برد.
  • نمونه‌های اصلی کوچک (n < ۲۰) ممکن است توزیع نمونه‌گیری تجربی قابل اعتمادی را ارائه ندهند، حتی با نمونه‌برداری مجدد زیاد.
  • بوت‌استرپ استاندارد مستقل و با توزیع یکسان (i.i.d.) برای داده‌های وابسته نامعتبر است؛ باید از بوت‌استرپ بلوکی استفاده شود، و انتخاب اندازه بلوک پیچیدگی را اضافه می‌کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • نیازی به فرض توزیع پارامتریک ندارد — تحت شرایط گسترده‌ای که فرمول‌های کلاسیک شکست می‌خورند، معتبر است.
  • قابل اعمال بر تقریباً هر آماره‌ای: میانگین‌ها، میانه ها، همبستگی‌ها، ضرایب رگرسیون، معیارهای عملکرد مدل، و برآوردگرهای سفارشی.
  • فواصل اطمینان و آزمون‌های فرض را بدون نیاز به استخراج توزیع نمونه‌گیری با فرم بسته ارائه می‌دهد.
  • گسترش آن ساده است: بوت‌استرپ بلوکی داده‌های وابسته را مدیریت می‌کند؛ فواصل BCa عدم تقارن را مدیریت می‌کنند.

کاربردها

  • ساخت فواصل اطمینان برای برآوردگرهای پیچیده (میانه ها، میانگین‌های هرس‌شده، معیارهای دقت مدل) که فرمول‌های تحلیلی برای آن‌ها در دسترس نیست.
  • آزمون فرض زمانی که مفروضات پارامتریک قابل تأیید نیستند — به عنوان مثال، مقایسه دو گروه بر روی یک پیامد پیوسته اریب.
  • تخمین خطای پیش‌بینی و پایداری مدل در یادگیری ماشین از طریق نمونه‌برداری بوت‌استرپ خارج از کیسه (out-of-bag).
  • پژوهش زیست‌پزشکی: استخراج فواصل اطمینان برای منحنی‌های بقا، پارامترهای دوز-پاسخ، و ویژگی‌های آزمون تشخیصی.
  • علوم اجتماعی و تحقیقات آموزشی: استنتاج بر روی تفاوت همبستگی‌ها، اندازه‌های اثر، و نمرات ترکیبی مقیاس.

چگونه کار می‌کند

چگونه کار می‌کند

1

با مجموعه داده مشاهده‌شده شامل n مشاهده شروع کنید. تأیید کنید که نمونه نماینده جامعه هدف است — بوت‌استرپ فقط می‌تواند آنچه را که در داده‌ها وجود دارد بازتولید کند، بنابراین نمونه‌ای سوگیرانه یا نامعتبر، تخمین‌های سوگیرانه بوت‌استرپ را تولید خواهد کرد.

2

تعداد B نمونه تصادفی با اندازه n از داده‌های اصلی، هر بار با جایگزینی، استخراج کنید. افرون و تیبشرانی (۱۹۹۳) حداقل B ≥ ۱۰۰۰ را توصیه می‌کنند؛ برای فواصل اطمینان، B = ۱۰۰۰۰ توصیه استاندارد است. برای داده‌های وابسته (سری‌های زمانی، مشاهدات خوشه‌ای) از بوت‌استرپ بلوکی برای حفظ ساختار وابستگی استفاده کنید.

3

آماره مورد علاقه — میانگین، میانه، ضریب رگرسیون، همبستگی، یا هر برآوردگر دیگری — را بر روی هر یک از B نمونه بوت‌استرپ محاسبه کنید. این کار توزیع بوت‌استرپ شامل B مقدار آماره را تولید می‌کند.

4

مقادیر B آماره بوت‌استرپ را در یک توزیع نمونه‌گیری تجربی جمع‌آوری کنید. آن را با خطای استاندارد بوت‌استرپ و یک فاصله اطمینان بوت‌استرپ خلاصه کنید. برای توزیع‌های اریب، فاصله تصحیح‌شده با شتاب (BCa) ترجیح داده می‌شود؛ فاصله صدکی ساده‌ترین جایگزین است.

5

از توزیع تجمیعی بوت‌استرپ برای انجام استنتاج استفاده کنید: فاصله اطمینان برای پارامتر مورد علاقه را گزارش دهید، یا با مقایسه آماره مشاهده‌شده با توزیع صفر بوت‌استرپ، مقدار p را برای آزمون فرض محاسبه کنید. از آنجایی که برای رسیدن به این مرحله نیازی به فرض پارامتریک نبود، استنتاج تحت شرایط گسترده‌ای معتبر است.

دام‌های رایج

  • استفاده از تعداد نمونه‌برداری مجدد کم (B < ۱۰۰۰) فواصل اطمینان ناپایدار تولید می‌کند — همیشه حداقل از B = ۱۰۰۰ و B = ۱۰۰۰۰ برای فواصل اطمینان نهایی گزارش‌شده استفاده کنید.
  • اعمال بوت‌استرپ استاندارد مستقل و با توزیع یکسان (i.i.d.) بر روی داده‌های سری زمانی یا خوشه‌ای، فرض استقلال را نقض می‌کند؛ برای مشاهدات وابسته از بوت‌استرپ بلوکی استفاده کنید.
  • برابر دانستن فواصل اطمینان بوت‌استرپ صرف نظر از روش — فاصله صدکی می‌تواند در صورت اریب بودن آماره، سوگیرانه باشد؛ در این موارد BCa را ترجیح دهید.
  • اشتباه گرفتن خطای استاندارد بوت‌استرپ با انحراف معیار جامعه — خطای استاندارد بوت‌استرپ، تغییرپذیری برآوردگر را تخمین می‌زند، نه تغییرپذیری داده‌های خام.

پرسش‌های متداول

چه تعداد نمونه‌برداری مجدد بوت‌استرپ نیاز دارم؟

حداقل ۱۰۰۰ نمونه‌برداری مجدد (B) برای خطاهای استاندارد بوت‌استرپ و فواصل اطمینان تقریبی لازم است. برای فواصل اطمینان نهایی گزارش‌شده، B = ۱۰۰۰۰ توصیه استاندارد است (Efron & Tibshirani, 1993). کمتر از ۱۰۰۰ نمونه‌برداری مجدد نتایج ناپایداری تولید می‌کند و نباید گزارش شود.

کدام روش فاصله اطمینان را باید استفاده کنم — صدکی، BCa، یا پایه؟

فاصله BCa (تصحیح‌شده با شتاب) در اکثر موقعیت‌ها ترجیح داده می‌شود، به خصوص زمانی که توزیع نمونه‌گیری آماره نامتقارن است یا برآوردگر سوگیرانه است. فاصله صدکی ساده‌تر است اما در شرایط اریب بودن می‌تواند نادرست باشد. BCa هم سوگیری و هم اریب بودن را تنظیم می‌کند و آن را به قابل اعتمادترین گزینه عمومی تبدیل می‌کند.

آیا می‌توان از بوت‌استرپ با داده‌های سری زمانی یا پانل استفاده کرد؟

بله، اما بوت‌استرپ استاندارد مستقل و با توزیع یکسان (i.i.d.) (که مشاهدات فردی را دوباره نمونه‌برداری می‌کند) برای داده‌های وابسته نامعتبر است زیرا ساختار وابستگی را از بین می‌برد. روش‌های بوت‌استرپ بلوکی، که بلوک‌های پیوسته از مشاهدات را دوباره نمونه‌برداری می‌کنند، وابستگی سریالی را حفظ می‌کنند و باید هر زمان که داده‌ها در طول زمان یا درون خوشه‌ها همبسته باشند، استفاده شوند.

آیا بوت‌استرپ با نمونه‌های کوچک کار می‌کند؟

استنتاج بوت‌استرپ به طور کلی زمانی که n ≥ ۲۰ قابل اعتماد است. با نمونه‌های بسیار کوچک، داده‌های مشاهده‌شده ممکن است به طور کافی نماینده جامعه نباشند، بنابراین توزیع بوت‌استرپ این محدودیت را به ارث می‌برد — هیچ مقدار نمونه‌برداری مجدد نمی‌تواند جایگزین نمونه‌ای شود که برای ثبت شکل جامعه خیلی کوچک است. در چنین مواردی، آزمون‌های جایگشت دقیق یا روش‌های بیزی را در نظر بگیرید.

روش‌های مرتبط

منابع

  1. Efron, B. & Tibshirani, R.J. (1993). An Introduction to the Bootstrap. Chapman & Hall/CRC.

    باز کردن مرجع DOI
    کپی شد.
  2. Davison, A.C. & Hinkley, D.V. (1997). Bootstrap Methods and their Application. Cambridge University Press.

    باز کردن مرجع DOI
    کپی شد.