Skip to content
بازگشت به نتایج جست‌وجو

انسامبل بگینگ

معرفی‌شده توسط
Leo Breiman
سال
1996
نوع
parallel ensemble
خانواده
Ensemble

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

بگینگ (Bagging)، که کوتاه شده عبارت «تجميع بوت‌استرپ» (bootstrap aggregating) است، یک روش انسابل (ensemble) است که با آموزش چندین کپی از یک الگوریتم یادگیری واحد بر روی زیرمجموعه‌های تصادفی مختلف از داده‌های آموزشی، واریانس را کاهش می‌دهد. هر زیرمجموعه از طریق نمونه‌برداری بوت‌استرپ (bootstrap sampling) ایجاد می‌شود — یعنی نمونه‌برداری تصادفی با جایگذاری. پیش‌بینی‌ها از طریق رأی‌گیری اکثریت (برای طبقه‌بندی) یا میانگین‌گیری (برای رگرسیون) ترکیب می‌شوند. بگینگ که توسط لئو برایمن در سال ۱۹۹۶ معرفی شد، مبنای جنگل‌های تصادفی را تشکیل می‌دهد و به ویژه برای کاهش بیش‌برازش (overfitting) در مدل‌های با واریانس بالا مؤثر است.

شهود پشت روش

بینش اصلی این است که با آموزش یک مدل مشابه بر روی زیرمجموعه‌های داده تصادفی مختلف و میانگین‌گیری پیش‌بینی‌های آن‌ها، واریانس را بدون افزایش بایاس (bias) کاهش می‌دهید. اگر یک مدل به نمونه‌های آموزشی خاصی بیش‌برازش پیدا کند، نمونه‌های بوت‌استرپ مختلف، زیرمجموعه‌های متفاوتی از این بیش‌برازش را آشکار می‌کنند و میانگین‌گیری الگوهای کاذب را خنثی می‌کند. بگینگ با بهره‌برداری از تصادفی بودن کار می‌کند: هر نمونه بوت‌استرپ کمی متفاوت است، بنابراین هر مدل آموزش‌دیده کمی متفاوت است و مجموع آن‌ها پایدارتر از هر مدل منفرد است.

تاریخ

بگینگ توسط لئو برایمن در سال ۱۹۹۶ معرفی شد و بر اساس روش بوت‌استرپ از آمار (Efron, 1979) بنا نهاده شد. برایمن نشان داد که بگینگ خطای پیش‌بینی یادگیرنده‌های ناپایدار را با کاهش واریانس کاهش می‌دهد. این روش با معرفی جنگل‌های تصادفی (Breiman, 2001) که بگینگ را با انتخاب ویژگی تصادفی ترکیب می‌کنند، بنیادی شد. بگینگ همچنان یک تکنیک استاندارد در یادگیری ماشین، به ویژه برای روش‌های انسابل، باقی مانده است.

چه زمانی استفاده شود

از بگینگ هنگام کار با مدل‌های با واریانس بالا (مانند درختان تصمیم، شبکه‌های عصبی) که تمایل به بیش‌برازش دارند، استفاده کنید. این روش زمانی بیشترین اثربخشی را دارد که یادگیرنده‌های پایه ناپایدار باشند — یعنی به تغییرات کوچک در داده‌های آموزشی حساس باشند. بگینگ برای مدل‌های با بایاس کم و واریانس کم (مانند k-NN با k کوچک، رگرسیون خطی بر روی داده‌های پایدار) کمتر مؤثر است. همچنین برای محاسبات موازی بسیار مناسب است زیرا هر یادگیرنده پایه می‌تواند به طور مستقل آموزش داده شود.

محدودیت‌ها و ملاحظات

  • کاهش بایاس را فراهم نمی‌کند؛ فقط برای یادگیرنده‌های پایه با واریانس بالا مؤثر است.
  • هزینه محاسباتی به طور خطی با تعداد یادگیرنده‌های پایه افزایش می‌یابد.
  • نمونه‌های بوت‌استرپ در مقایسه با استراتژی‌های نمونه‌برداری هدفمند، تنوع کمتری دارند.
  • ممکن است عملکرد را بهبود نبخشد زمانی که مدل‌های پایه بایاس بالایی دارند (مانند مدل‌های خطی بر روی داده‌های پیچیده).

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • واریانس را بدون افزایش بایاس کاهش می‌دهد و تعمیم‌پذیری را بهبود می‌بخشد.
  • با هر نوع یادگیرنده پایه کار می‌کند؛ می‌تواند از مدل‌های ناپایدار مانند درختان استفاده کند.
  • به راحتی قابل موازی‌سازی است — هر نمونه بوت‌استرپ می‌تواند به طور مستقل پردازش شود.
  • تخمین‌های واریانس را از طریق محاسبه خطای خارج از کیسه (out-of-bag error) ارائه می‌دهد.
  • پیاده‌سازی ساده با حداقل تنظیم فراپارامتر (hyperparameter).

کاربردها

  • تشخیص پزشکی: بگینگ درختان تصمیم برای طبقه‌بندی بیماری به منظور بهبود استحکام در برابر داده‌های نویزدار بیمار.
  • مدل‌سازی ریسک مالی: انسابل درختان تصمیم برای پیش‌بینی نکول اعتباری در شرایط مختلف بازار.
  • سنجش از دور: بگینگ طبقه‌بندی‌کننده‌های تصویر برای طبقه‌بندی تصاویر ماهواره‌ای با کاهش بیش‌برازش.
  • ژنومیک: روش‌های انسابل برای انتخاب ژن و پیش‌بینی بیماری از داده‌های میکروآرایه با ابعاد بالا.
  • کنترل کیفیت تولید: بگینگ شبکه‌های عصبی برای تشخیص نقص در فرآیندهای تولید.

چگونه کار می‌کند

چگونه کار می‌کند

1

گام ۱ — B نمونه بوت‌استرپ را با نمونه‌برداری تصادفی با جایگذاری از داده‌های آموزشی ایجاد کنید، که هر یک به اندازه مجموعه داده اصلی باشد.

2

گام ۲ — یک یادگیرنده پایه مستقل (مانند درخت تصمیم، شبکه عصبی) را بر روی هر نمونه بوت‌استرپ آموزش دهید.

3

گام ۳ — برای یک ورودی جدید، آن را از طریق تمام B یادگیرنده پایه آموزش‌دیده عبور دهید و پیش‌بینی‌های آن‌ها را جمع‌آوری کنید.

4

گام ۴ — پیش‌بینی‌ها را با رأی‌گیری اکثریت (برای طبقه‌بندی) یا میانگین‌گیری (برای رگرسیون) ترکیب کنید.

دام‌های رایج

  • استفاده از تعداد بسیار کم یادگیرنده پایه (B < 20) مزیت کاهش واریانس را کاهش می‌دهد؛ بازده کاهشی معمولاً در حدود B = 100-500 رخ می‌دهد.
  • آموزش یادگیرنده‌های پایه بر روی زیرمجموعه‌های همپوشان (مانند تقسیمات متوالی داده) به جای نمونه‌های بوت‌استرپ تصادفی.
  • فرض اینکه بگینگ بیش‌برازش را از بین می‌برد؛ این روش واریانس را کاهش می‌دهد اما مدل‌های بایاس‌دار همچنان بایاس‌دار باقی می‌مانند.
  • عدم استفاده از پیش‌بینی‌های خارج از کیسه برای اعتبارسنجی، که یک جایگزین کارآمد برای اعتبارسنجی متقابل (cross-validation) را از دست می‌دهد.

پرسش‌های متداول

چند نمونه بوت‌استرپ (B) باید استفاده کنم؟

با B = 50-100 شروع کنید و عملکرد را نظارت کنید؛ معمولاً مزایا در حدود B = 100-500 به اوج خود می‌رسند. اگر کاهش واریانس متوقف شد، B را افزایش دهید. برای کاربردهای حیاتی، B > 1000 ممکن است با وجود هزینه محاسباتی توجیه‌پذیر باشد.

خطای خارج از کیسه چیست و چگونه از آن استفاده کنم؟

هر نمونه بوت‌استرپ تقریباً ۱/۳ از داده‌های اصلی را حذف می‌کند (به طور متوسط حدود ۳۶.۸٪). این نمونه‌های خارج از کیسه می‌توانند برای اعتبارسنجی آن مدل خاص بدون نیاز به مجموعه اعتبارسنجی جداگانه استفاده شوند. میانگین خطاهای خارج از کیسه در تمام مدل‌ها، خطای تعمیم‌پذیری را تخمین می‌زند.

آیا بگینگ بهتر از اعتبارسنجی متقابل است؟

آنها اهداف متفاوتی دارند. اعتبارسنجی متقابل عملکرد مدل را تخمین می‌زند؛ بگینگ آن را بهبود می‌بخشد. از بگینگ برای آموزش یک انسابل و از تخمین‌های خارج از کیسه برای اعتبارسنجی استفاده کنید تا از سربار اعتبارسنجی متقابل k-برابر جلوگیری شود.

آیا بگینگ می‌تواند مدل‌های با واریانس کم مانند k-NN را بهبود بخشد؟

به طور مؤثر خیر. بگینگ برای مدل‌های با واریانس بالا طراحی شده است. مدل‌های با واریانس کم (پایدار، ساده) از کاهش واریانس بهره کمی می‌برند. روش‌های انسابل دیگر را در نظر بگیرید یا بر کاهش بایاس تمرکز کنید.

روش‌های مرتبط

منابع

  1. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.

    باز کردن مرجع DOI
    کپی شد.
  2. Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.

    باز کردن مرجع DOI
    کپی شد.