Skip to content
بازگشت به نتایج جست‌وجو

بوستینگ

معرفی‌شده توسط
Schapire, R. E.; Freund, Y.
سال
1990–1997
نوع
Sequential ensemble (iterative reweighting)
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

بوستینگ یک تکنیک گروهی ترتیبی است که با تمرکز مکرر آموزش بر روی مثال‌هایی که یادگیرنده‌های قبلی اشتباه پاسخ داده‌اند، بسیاری از یادگیرنده‌های ساده و اندکی بهتر از حدس تصادفی را به یک مدل واحد با دقت بالا تبدیل می‌کند، سپس همه یادگیرنده‌ها را با وزن‌هایی متناسب با دقت فردی‌شان ترکیب می‌کند.

شهود پشت روش

تصور کنید که یک آزمون را نمره می‌دهید و آن را برای بازنگری به دانش‌آموزان برمی‌گردانید: در هر دور، دانش‌آموزان زمان بیشتری را صرف سؤالاتی می‌کنند که اشتباه پاسخ داده‌اند. بوستینگ نیز به همین ترتیب عمل می‌کند — پس از آموزش هر یادگیرنده ضعیف، مثال‌های طبقه‌بندی نادرست وزن بیشتری دریافت می‌کنند تا یادگیرنده بعدی بر موارد دشوار تمرکز کند. پاسخ نهایی، رأی‌گیری وزنی همه یادگیرنده‌ها است، که در آن یادگیرنده‌های دقیق‌تر وزن بیشتری دارند. این تصحیح تکراری همان چیزی است که بوستینگ را بسیار قدرتمندتر از یک مدل ساده واحد می‌سازد.

تاریخ

بنیان نظری بوستینگ توسط رابرت شاپیر در سال ۱۹۹۰ پایه‌گذاری شد، که اثبات کرد یادگیری ضعیف مستلزم یادگیری قوی است. فروند و شاپیر سپس در سال ۱۹۹۷ AdaBoost را معرفی کردند، اولین الگوریتم عملی که به سرعت به یک نتیجه برجسته در یادگیری ماشین تبدیل شد. فریدمن در سال ۲۰۰۱ این رویکرد را به عنوان Gradient Boosting تعمیم داد و یادگیری گروهی ترتیبی را به عنوان نزول گرادیان در فضای تابع چارچوب‌بندی کرد. این تبار منجر به XGBoost (۲۰۱۶)، LightGBM (۲۰۱۷) و CatBoost (۲۰۱۸) شد که اکنون در معیارهای رقابتی یادگیری ماشین بر روی داده‌های جدولی غالب هستند.

چه زمانی استفاده شود

هنگامی که به دقت پیش‌بینی بالا در یک وظیفه طبقه‌بندی یا رگرسیون جدولی نیاز دارید و مجموعه داده برچسب‌دار نسبتاً مناسبی (معمولاً حداقل ۵۰ تا ۱۰۰ مشاهده در هر کلاس) دارید، از بوستینگ استفاده کنید. این روش در داده‌های ساختاریافته با روابط پیچیده و غیرخطی عالی عمل می‌کند و انواع ویژگی‌های ترکیبی را به خوبی مدیریت می‌کند. پیاده‌سازی‌های مشخص — AdaBoost برای طبقه‌بندی، و Gradient Boosting برای رگرسیون و طبقه‌بندی — معمولاً انتخاب می‌شوند. از بوستینگ زمانی اجتناب کنید که کیفیت داده‌ها ضعیف است یا برچسب‌ها نویزی هستند، زیرا وزن‌دهی ترتیبی به طور تهاجمی برچسب‌های نویزی را تقویت می‌کند و منجر به بیش‌برازش (overfitting) می‌شود. همچنین زمانی که یک مدل ساده و قابل تفسیر با ضرایب صریح مورد نیاز است (مثلاً برای گزارش‌دهی نظارتی یا بالینی)، یا زمانی که زمان آموزش به شدت محدود است، از آن اجتناب کنید.

محدودیت‌ها و ملاحظات

  • به شدت به برچسب‌های نویزی و نقاط پرت حساس است: وزن‌دهی بیشتر به مثال‌های دشوار، نقاط با برچسب اشتباه را تقویت می‌کند.
  • مستعد بیش‌برازش (overfitting) در مجموعه داده‌های کوچک است مگر اینکه تنظیمات (نرخ یادگیری، عمق درخت، نمونه‌برداری فرعی) به دقت تنظیم شوند.
  • آموزش ترتیبی ذاتاً کندتر از روش‌های مبتنی بر bagging مانند جنگل‌های تصادفی قابل موازی‌سازی است.
  • نیاز به تنظیم دقیق ابرپارامترها (تعداد دورها، نرخ یادگیری، عمق درخت) برای تحقق مزیت دقت خود دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • دقت پیشرفته (state-of-the-art) را در داده‌های جدولی به دست می‌آورد، و اغلب در صورت تنظیم دقیق، از جنگل‌های تصادفی بهتر عمل می‌کند.
  • از طریق وزن‌دهی مجدد تکراری به طور خودکار بر مثال‌های دشوار تمرکز می‌کند و آن را با توابع زیان مناسب در داده‌های نامتوازن مؤثر می‌سازد.
  • با انواع یادگیرنده‌های پایه کار می‌کند؛ درختان کم‌عمق (stumps) یک انتخاب رایج و مؤثر هستند.
  • پسوندهای Gradient Boosting از طیف گسترده‌ای از توابع زیان برای رگرسیون، رتبه‌بندی و طبقه‌بندی پشتیبانی می‌کنند.
  • پیاده‌سازی‌های مدرن (XGBoost، LightGBM، CatBoost) بسیار بهینه‌سازی شده‌اند و به مقیاس‌پذیری در مجموعه داده‌های بزرگ کمک می‌کنند.

کاربردها

  • طبقه‌بندی دودویی و چندکلاسه بر روی داده‌های جدولی در حوزه‌های مالی، بهداشت و درمان و بازاریابی.
  • وظایف رگرسیون مانند پیش‌بینی قیمت خانه یا پیش‌بینی تقاضا.
  • نرخ کلیک و مسائل رتبه‌بندی در بازیابی اطلاعات.
  • تشخیص تقلب و امتیازدهی ناهنجاری که در آن دقت در رویدادهای نادر حیاتی است.
  • انتخاب ویژگی و رتبه‌بندی اهمیت متغیر در تحلیل‌های اکتشافی.

چگونه کار می‌کند

چگونه کار می‌کند

1

همه مثال‌های آموزشی با وزن برابر شروع می‌کنند، بنابراین هر کدام به طور مساوی احتمال دارد بر یادگیرنده ضعیف اول تأثیر بگذارند. این مقداردهی اولیه یکنواخت تضمین می‌کند که دور اول نمایشی بدون اریب از داده‌ها است.

فرمول
w_i^{(1)} = 1/n \; \forall i
2

یک یادگیرنده ضعیف — اغلب یک درخت تصمیم کم‌عمق (stump) — برای به حداقل رساندن خطای آموزش وزنی برازش می‌شود. مثال‌های طبقه‌بندی نادرست، که وزن‌های بالاتری دارند، یادگیرنده را به سمت تصحیح اشتباهات دور قبلی می‌کشند.

فرمول
h_t = \arg\min_{h} \sum_i w_i^{(t)} \mathbf{1}[h(x_i) \neq y_i]
3

هر یادگیرنده یک ضریب مشارکت متناسب با دقت لگاریتم شانس خود دریافت می‌کند. یادگیرنده‌ای با خطای وزنی کم، ضریب بزرگی می‌گیرد؛ یادگیرنده‌ای که نزدیک به حدس تصادفی عمل می‌کند، ضریبی نزدیک به صفر می‌گیرد و به سختی بر گروه تأثیر می‌گذارد.

فرمول
\alpha_t = \frac{1}{2} \ln\!\left(\frac{1 - \epsilon_t}{\epsilon_t}\right)
4

وزن‌های مثال‌های طبقه‌بندی شده صحیح کاهش یافته و وزن‌های مثال‌های طبقه‌بندی شده نادرست افزایش می‌یابند. این وزن‌دهی مجدد، یادگیرنده بعدی را مجبور می‌کند تا به طور نامتناسبی بر مثال‌هایی تمرکز کند که گروه هنوز هم اشتباه پاسخ می‌دهد.

فرمول
w_i^{(t+1)} \propto w_i^{(t)} \exp(-\alpha_t y_i h_t(x_i))
5

پیش‌بینی نهایی، علامت مجموع وزنی خروجی‌های همه یادگیرنده‌ها است. هر یادگیرنده متناسب با ضریب خود رأی می‌دهد، بنابراین گروه یک طبقه‌بند قوی واحد از بسیاری از طبقه‌بندهای ضعیف تولید می‌کند.

فرمول
H(x) = \text{sign}\!\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

دام‌های رایج

  • آموزش با نرخ یادگیری بالا و دورهای زیاد بر روی یک مجموعه داده کوچک بدون توقف زودهنگام، که باعث بیش‌برازش شدید می‌شود.
  • نادیده گرفتن نویز برچسب قبل از آموزش — بوستینگ برچسب‌های نویزی را سخت‌تر از هر روش دیگری برازش می‌کند.
  • نادیده گرفتن اعتبارسنجی متقابل (cross-validation) و گزارش فقط خطای آموزش درون نمونه.
  • استفاده از ابرپارامترهای پیش‌فرض از یک آموزش بدون تنظیم برای اندازه مجموعه داده یا تعادل کلاس.
  • انتخاب بوستینگ زمانی که هدف یک مدل قابل تفسیر با ضرایب ویژگی صریح است.

پرسش‌های متداول

تفاوت بین بوستینگ و بگینگ (جنگل تصادفی) چیست؟

بگینگ درختان مستقلی را به صورت موازی بر روی نمونه‌های بوت استرپ آموزش می‌دهد و پیش‌بینی‌های آن‌ها را میانگین می‌گیرد، که عمدتاً واریانس را کاهش می‌دهد. بوستینگ درختان را به صورت ترتیبی آموزش می‌دهد، که هر کدام اشتباهات قبلی را تصحیح می‌کنند و عمدتاً بایاس را کاهش می‌دهند. بوستینگ اغلب دقت بالاتری به دست می‌آورد اما در داده‌های نویزی مستعد بیش‌برازش (overfitting) است.

کدام الگوریتم بوستینگ را باید استفاده کنم؟

AdaBoost نقطه شروع خوبی برای طبقه‌بندی دودویی است. برای اکثر وظایف رگرسیون یا طبقه‌بندی جدولی، پیاده‌سازی‌های Gradient Boosting مانند XGBoost، LightGBM یا CatBoost انتخاب‌های عملی هستند؛ آن‌ها تنظیمات (regularization) را اضافه می‌کنند و بهتر از AdaBoost اصلی مقیاس‌پذیر هستند.

چگونه از بیش‌برازش (overfitting) با بوستینگ جلوگیری کنم؟

از نرخ یادگیری پایین (۰.۰۱–۰.۱) همراه با تعداد بیشتری دور و اعمال توقف زودهنگام بر روی یک مجموعه اعتبارسنجی جدا شده استفاده کنید. همچنین عمق درخت را تنظیم کنید (معمولاً max_depth ۳–۶) و نمونه‌برداری فرعی از سطرها و ستون‌ها برای هر درخت را در نظر بگیرید.

آیا بوستینگ می‌تواند عدم توازن کلاس را مدیریت کند؟

بله، چارچوب‌های Gradient Boosting به شما امکان می‌دهند وزن‌های کلاس را تنظیم کنید یا از توابع زیان سفارشی استفاده کنید. وزن‌دهی طبیعی AdaBoost نیز کمک می‌کند، اما می‌تواند نویز را در کلاس اقلیت تقویت کند، بنابراین پیش‌پردازش (نمونه‌برداری بیش از حد یا کمتر از حد) ممکن است همچنان مفید باشد.

آیا بوستینگ قابل تفسیر است؟

گروه‌های بوستینگ به روشی که مدل‌های خطی قابل تفسیر هستند، مستقیماً قابل تفسیر نیستند. با این حال، امتیازات اهمیت ویژگی داخلی و ابزارهای پس از وقوع مانند مقادیر SHAP می‌توانند پیش‌بینی‌های فردی را توضیح دهند و آن‌ها را در بسیاری از زمینه‌های تحقیقات کاربردی قابل قبول می‌سازند.

روش‌های مرتبط

منابع

  1. Freund, Y. & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119–139.

    باز کردن مرجع DOI
    کپی شد.
  2. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197–227.

    باز کردن مرجع DOI
    کپی شد.