Skip to content
بازگشت به نتایج جست‌وجو

تقویت (Boosting Ensemble)

معرفی‌شده توسط
Robert Schapire
سال
1990
نوع
sequential ensemble
خانواده
Ensemble

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تقویت یک روش گروهی (ensemble) است که به طور متوالی یادگیرنده‌های ضعیف را آموزش داده و با تمرکز بر نمونه‌هایی که مدل‌های قبلی اشتباه طبقه‌بندی کرده‌اند، آن‌ها را در یک پیش‌بینی‌کننده قوی ترکیب می‌کند. هر یادگیرنده ضعیف جدید بر اساس دشواری وظیفه آموزشی خود وزن‌دهی می‌شود و پیش‌بینی‌های نهایی از طریق رأی‌گیری وزن‌دار انجام می‌شود. این روش که توسط Schapire (1990) پیشگام شد و در AdaBoost (Freund & Schapire, 1997) اصلاح گردید، یادگیرنده‌های ضعیف (کمی بهتر از تصادفی) را از طریق وزن‌دهی مجدد متوالی به یادگیرنده‌های قوی تبدیل می‌کند.

شهود پشت روش

ایده اصلی، تمرکز تکراری بر مثال‌های دشوار است: ابتدا یک مدل ضعیف آموزش داده می‌شود، نمونه‌هایی که اشتباه طبقه‌بندی می‌کند شناسایی می‌شوند، سپس یک مدل ضعیف جدید با وزن افزایش‌یافته بر روی آن نمونه‌های اشتباه طبقه‌بندی شده آموزش داده می‌شود. این امر هر مدل بعدی را مجبور می‌کند تا الگوهایی را که مدل‌های قبلی از دست داده‌اند، بیاموزد. در طول تکرارها، گروه، مدل‌های ضعیف را با وزن‌دهی بر اساس دقتشان ترکیب می‌کند و در نتیجه یک پیش‌بینی‌کننده قوی حاصل می‌شود. برخلاف bagging (موازی)، تقویت ذاتاً متوالی است—هر مدل به عملکرد مدل‌های قبلی وابسته است.

تاریخ

تقویت از نتیجه نظری Schapire در سال 1990 نشأت گرفت که نشان داد یادگیرنده‌های ضعیف را می‌توان در یادگیرنده‌های قوی ترکیب کرد. AdaBoost (Freund & Schapire, 1997) با معرفی وزن‌دهی تطبیقی، تقویت را عملی کرد. تقویت گرادیان (Gradient Boosting) (Friedman, 2001) چارچوب را تعمیم داد و امکان بهینه‌سازی توابع زیان دلخواه را فراهم کرد. انواع مدرن مانند XGBoost، LightGBM و CatBoost به استانداردهای صنعتی تبدیل شده‌اند و برنده مسابقات متعدد یادگیری ماشین شده‌اند.

چه زمانی استفاده شود

هنگامی که یادگیرنده‌های ضعیف دارید و می‌خواهید آن‌ها را در یک گروه قوی ترکیب کنید، از تقویت استفاده کنید. این روش به ویژه برای کاهش هم سوگیری (bias) و هم واریانس مؤثر است. تقویت با یادگیرنده‌های پایه با پیچیدگی متوسط (مانند درختان کم‌عمق، عمق 3-4) که می‌توانند به طور تکراری بهبود یابند، بهترین عملکرد را دارد. اگر یادگیرنده‌های پایه از قبل قوی هستند یا به آموزش سریع نیاز دارید، از تقویت اجتناب کنید، زیرا تقویت متوالی از نظر محاسباتی پرهزینه است.

محدودیت‌ها و ملاحظات

  • آموزش متوالی در مقایسه با روش‌های موازی مانند bagging از نظر محاسباتی پرهزینه است.
  • به داده‌های نویزی و نقاط پرت حساس است (به مثال‌های دشوار وزن زیادی می‌دهد).
  • نیاز به تنظیم دقیق نرخ یادگیری، تعداد تکرارها و پیچیدگی یادگیرنده پایه دارد.
  • در صورت زیاد بودن تعداد تکرارها می‌تواند بیش‌برازش (overfitting) کند؛ نیاز به توقف زودهنگام یا نظارت بر اعتبارسنجی دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • هم سوگیری و هم واریانس را کاهش می‌دهد و اغلب تعمیم‌پذیری برتری را به دست می‌آورد.
  • یادگیرنده‌های ضعیف را از طریق وزن‌دهی مجدد تکراری به یادگیرنده‌های قوی تبدیل می‌کند.
  • تضمین‌های نظری در مورد کاهش خطا (تحت شرایط خاص).
  • با یادگیرنده‌های پایه با سوگیری کم و واریانس بالا مانند درختان تصمیم، خوب کار می‌کند.
  • در برابر ویژگی‌های نامربوط و نویز در داده‌های آموزشی مقاوم است.

کاربردها

  • ارزیابی ریسک اعتباری: تقویت درختان تصمیم کم‌عمق برای طبقه‌بندی وام‌گیرندگان با اعتبار مناسب با دقت بهبود یافته.
  • تشخیص چهره: AdaBoost با آبشارهای Haar برای تشخیص چهره در زمان واقعی در سیستم‌های بینایی کامپیوتری.
  • طبقه‌بندی متن: تقویت گرادیان برای تحلیل احساسات و دسته‌بندی اسناد.
  • تشخیص پزشکی: تقویت طبقه‌بندی‌کننده‌های ضعیف برای پیش‌بینی بیماری با حساسیت و ویژگی بالا.
  • تشخیص تقلب: روش‌های گروهی تقویت برای تشخیص تراکنش‌های تقلبی در داده‌های مالی.

چگونه کار می‌کند

چگونه کار می‌کند

1

با وزن‌های برابر برای تمام نمونه‌های آموزشی شروع کنید.

2

برای هر تکرار: یک یادگیرنده ضعیف (مثلاً درخت تصمیم کم‌عمق) را بر روی داده‌های آموزشی وزن‌دار آموزش دهید، نرخ خطا را محاسبه کنید و وزن‌ها را بر روی نمونه‌های اشتباه طبقه‌بندی شده افزایش دهید.

3

برای هر یادگیرنده ضعیف بر اساس دقتش وزن تعیین کنید. یادگیرنده‌های دقیق‌تر وزن‌های بالاتری دریافت می‌کنند؛ یادگیرنده‌های ضعیف (نزدیک به تصادفی) وزن‌های کمتری دریافت می‌کنند.

4

برای یک نمونه جدید، پیش‌بینی‌ها را از تمام یادگیرنده‌های ضعیف از طریق رأی‌گیری وزن‌دار جمع‌آوری کنید، جایی که وزن‌ها دقت هر یادگیرنده را منعکس می‌کنند.

دام‌های رایج

  • استفاده از یادگیرنده‌های پایه قوی (مانند درختان تصمیم عمیق) هدف تقویت را تضعیف می‌کند؛ به یادگیرنده‌های ضعیف پایبند باشید.
  • آموزش برای تکرارهای زیاد بدون نظارت بر خطای اعتبارسنجی، منجر به بیش‌برازش می‌شود.
  • تنظیم نرخ یادگیری بیش از حد بالا، که باعث ناپایداری در وزن نمونه‌ها می‌شود.
  • عدم نظارت بر عملکرد خارج از نمونه؛ تقویت می‌تواند در صورت عدم کنترل، به نویز آموزش بیش‌برازش کند.

پرسش‌های متداول

یادگیرنده ضعیف چیست و چقدر باید ضعیف باشد؟

یک یادگیرنده ضعیف یک طبقه‌بندی‌کننده با نرخ خطای کمی کمتر از 50٪ (بهتر از حدس تصادفی) است. در عمل، از مدل‌های ساده مانند درختان تصمیم با عمق 2-3 یا طبقه‌بندی‌کننده‌های خطی کوتاه استفاده کنید. اگر یادگیرنده پایه دارای خطای > 45٪ باشد، تقویت آن را بهبود می‌بخشد؛ اگر < 10٪ باشد، یادگیرنده بیش از حد قوی است و تقویت ارزش کمی اضافه می‌کند.

چند تکرار تقویت باید استفاده کنم؟

با 50-100 تکرار شروع کنید و خطای اعتبارسنجی را نظارت کنید. از توقف زودهنگام استفاده کنید: اگر خطای اعتبارسنجی در چندین تکرار ثابت ماند یا افزایش یافت، آموزش را متوقف کنید. برای تولید، 100-1000 تکرار بسته به اندازه و پیچیدگی داده‌ها معمول است.

تقویت چگونه با bagging متفاوت است؟

Bagging یادگیرنده‌های پایه را به صورت موازی بر روی زیرمجموعه‌های تصادفی آموزش می‌دهد و پیش‌بینی‌ها را میانگین‌گیری می‌کند (بدون وزن‌دهی). تقویت به صورت متوالی آموزش می‌دهد، مثال‌های دشوار را وزن‌دهی مجدد می‌کند و از رأی‌گیری وزن‌دار استفاده می‌کند. Bagging واریانس را کاهش می‌دهد؛ تقویت هم سوگیری و هم واریانس را کاهش می‌دهد. Bagging سریع‌تر است؛ تقویت قدرتمندتر است.

چرا تقویت با تکرارهای زیاد بیش‌برازش می‌کند؟

با افزایش تکرارها، وزن‌ها بر روی نقاط پرت به طور نمایی افزایش می‌یابند و باعث می‌شوند گروه نویز را برازش کند. خطای آموزش همچنان کاهش می‌یابد، اما خطای آزمون ممکن است افزایش یابد. خطای اعتبارسنجی را نظارت کنید و زمانی که شروع به افزایش کرد، متوقف شوید و از توقف زودهنگام برای جلوگیری از بیش‌برازش استفاده کنید.

روش‌های مرتبط

منابع

  1. Schapire, R. E. (1990). The strength of weak learnability. Machine Learning, 5(2), 197-227.

    باز کردن مرجع DOI
    کپی شد.
  2. Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119-139.

    باز کردن مرجع DOI
    کپی شد.