گرادیان بوستینگ (Gradient Boosting)
- معرفیشده توسط
- Friedman, J. H.
- سال
- 2001
- نوع
- Ensemble (sequential boosting of decision trees)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
گرادیان بوستینگ یک روش یادگیری گروهی (ensemble learning) است که در سال ۲۰۰۱ توسط جروم اچ. فریدمن (Jerome H. Friedman) صورتبندی شد. این روش با ترکیب دنبالهای از یادگیرندههای ضعیف (weak learners) - معمولاً درختهای تصمیم کمعمق - به گونهای عمل میکند که هر درخت جدید برای کمینهسازی خطاهای باقیمانده درختان پیش از خود برازش داده میشود. این الگوریتم هسته اصلی پیادهسازیهای محبوبی مانند XGBoost، LightGBM و CatBoost است.
شهود پشت روش
به جای ساختن یک مدل قوی در یک مرحله، گرادیان بوستینگ درختان کوچک متعددی را به صورت متوالی میسازد، که در آن هر درخت جدید بر اشتباهاتی تمرکز میکند که مجموعه فعلی هنوز مرتکب میشود. با سوق دادن مکرر پیشبینی در جهتی که بیشترین کاهش را در خطای باقیمانده ایجاد میکند، زنجیرهای از یادگیرندههای ضعیف به یک پیشبینیکننده بسیار دقیق تبدیل میشود.
تاریخ
گرادیان بوستینگ توسط جروم اچ. فریدمن در مقاله خود با عنوان «تقریب حریصانه تابع: ماشین گرادیان بوستینگ» (Greedy Function Approximation: A Gradient Boosting Machine) در سال ۲۰۰۱ صورتبندی شد، که بوستینگ را به عنوان نزول گرادیان در فضای تابع چارچوببندی کرد. این ایده - افزودن یادگیرندههای ضعیف که هر کدام برازش باقیماندههای مجموعه فعلی را انجام میدهند - اساس الگوریتمهای موفق دادههای جدولی در عمل، از جمله XGBoost، LightGBM و CatBoost را تشکیل داد.
چه زمانی استفاده شود
انتخابی قوی برای طبقهبندی و پیشبینی دقیق بر روی دادههای جدولی مقطعی یا پانلی با حداقل حدود ۱۰۰ مشاهده، در ویژگیهای پیوسته، دستهای، دودویی و ترتیبی. مقیاسبندی ویژگیها معمولاً لازم نیست، اما تنظیم ابرپارامترهای تعداد درختان، نرخ یادگیری و حداکثر عمق حیاتی است و توقف زودهنگام برای محافظت در برابر بیشبرازش توصیه میشود. با کمتر از حدود ۱۰۰ مشاهده، درختان متوالی تمایل به حفظ کردن نویز دارند و جنگل تصادفی (Random Forest) یا یک درخت تصمیم منفرد امنتر است.
محدودیتها و ملاحظات
- تنظیم ابرپارامترهای تعداد درختان، نرخ یادگیری و حداکثر عمق حیاتی و زمانبر است.
- بوستینگ متوالی در صورت عدم تنظیم منظم (regularised) مستعد بیشبرازش است، به همین دلیل توقف زودهنگام توصیه میشود.
- در نمونههای کوچک (n کمتر از حدود ۱۰۰) درختان متوالی نویز را حفظ میکنند و حتی توقف زودهنگام نیز کافی نیست.
- با دادههای بسیار کم، مواد کافی برای اعتبارسنجی متقابل (cross-validation) برای بهینهسازی قابل اعتماد ابرپارامترها وجود ندارد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- دقت پیشبینی بسیار بالا بر روی دادههای جدولی برای طبقهبندی و پیشبینی.
- مقیاسبندی ویژگیها عموماً ضروری نیست و این روش با ویژگیهای پیوسته، دستهای، دودویی و ترتیبی کار میکند.
- هسته اصلی الگوریتمهای مورد استفاده گسترده مانند XGBoost، LightGBM و CatBoost را تشکیل میدهد.
- توقف زودهنگام و نرخ یادگیری کوچک، کنترل دقیقی بر مبادله بایاس-واریانس (bias–variance trade-off) ارائه میدهند.
کاربردها
- طبقهبندی و پیشبینی با دقت بالا بر روی دادههای جدولی مقطعی و پانلی.
- امتیازدهی ریسک و پیشبینی نتایج که در آن حداکثر عملکرد پیشبینی اولویت دارد.
- مدلسازی روابط غیرخطی پیچیده در میان ویژگیهای ترکیبی بدون مقیاسبندی دستی.
- به عنوان موتور پشت کتابخانههای گرادیان بوستینگ تولیدی مانند XGBoost و LightGBM عمل میکند.
چگونه کار میکند
چگونه کار میکند
گرادیان بوستینگ یادگیرندههای ضعیف - معمولاً درختهای تصمیم کمعمق - را یکی پس از دیگری آموزش میدهد، نه به صورت مستقل. این گروه با یک حدس اولیه ساده شروع میشود و هر درخت بعدی برای اصلاح آنچه مدل فعلی هنوز اشتباه انجام میدهد، اضافه میشود، بنابراین دقت گام به گام بهبود مییابد.
در هر دور، روش به خطاهای باقیمانده مجموعه فعلی نگاه میکند و درخت بعدی را به آن باقیماندهها (گرادیان منفی تابع زیان) برازش میدهد. درخت جدید با وزن نرخ یادگیری کوچک اضافه میشود، بنابراین پیشبینی با احتیاط بهروز میشود: F_m(x) = F_{m-1}(x) + nu * h_m(x). این اصلاح متوالی هدایتشده توسط گرادیان همان چیزی است که نام و دقت این روش را به آن میبخشد.
فرمول
F_{m}(x) = F_{m-1}(x) + \nu \, h_m(x)پیشبینی نهایی، مجموع تخمین اولیه و تمام اصلاحات کوچک درختان است که در طول مسیر انباشته شدهاند. از آنجایی که درختان به صورت حریصانه برای دنبال کردن خطای باقیمانده اضافه میشوند، تنظیم تعداد درختان، نرخ یادگیری و عمق درخت - همراه با توقف زودهنگام - برای جلوگیری از بیشبرازش (overfitting) حیاتی است.
دامهای رایج
- نادیده گرفتن توقف زودهنگام و اجازه دادن به بوستینگ برای اجرای بیش از حد لازم تا زمانی که بیشبرازش رخ دهد.
- تنظیم نرخ یادگیری بیش از حد بالا به طوری که هر درخت به جای تعدیل ملایم پیشبینی، بیش از حد اصلاح کند.
- اعمال آن بر روی نمونهای کمتر از حدود ۱۰۰ مشاهده که در آن درختان متوالی نویز را حفظ میکنند.
- پذیرش ابرپارامترهای پیشفرض به جای تنظیم n_estimators، learning_rate و max_depth.
- رفتار با آن به گونهای که گویی به مقیاسبندی ویژگیها مانند مدلهای مبتنی بر فاصله نیاز دارد، در حالی که مقیاسبندی عموماً ضروری نیست.
پرسشهای متداول
گرادیان بوستینگ چگونه با جنگل تصادفی (Random Forest) متفاوت است؟
جنگل تصادفی درختان مستقل متعددی را به صورت موازی میسازد و آنها را میانگین میگیرد، در حالی که گرادیان بوستینگ درختان را به صورت متوالی میسازد، که هر کدام برای اصلاح خطاهای باقیمانده درختان قبلی برازش داده میشوند. بوستینگ اغلب به دقت بالاتری دست مییابد اما به بیشبرازش حساستر است و نیاز به تنظیم دقیق دارد.
چرا توقف زودهنگام توصیه میشود؟
از آنجایی که هر درخت جدید خطای باقیمانده را دنبال میکند، اجرای طولانیمدت بوستینگ شروع به برازش نویز میکند. توقف زودهنگام آموزش را زمانی که عملکرد اعتبارسنجی دیگر بهبود نمییابد، متوقف میکند، که این اصلیترین محافظ در برابر بیشبرازش است.
آیا نیاز به مقیاسبندی ویژگیهایم دارم؟
مقیاسبندی ویژگیها عموماً برای گرادیان بوستینگ مبتنی بر درخت لازم نیست، زیرا تقسیمبندیها به ترتیب بستگی دارند نه به بزرگی. در عوض، تنظیمات حیاتی تعداد درختان، نرخ یادگیری و عمق درخت هستند.
به چه اندازه نمونهای نیاز دارم؟
حداقل حدود ۱۰۰ مشاهده. کمتر از آن، درختان متوالی نویز را حفظ میکنند و حتی توقف زودهنگام نیز کافی نیست، بنابراین جنگل تصادفی یا یک درخت تصمیم منفرد انتخاب امنتری است.
روشهای مرتبط
منابع
Friedman, J. H. (2001). Greedy Function Approximation: A Gradient Boosting Machine. Annals of Statistics, 29(5), 1189–1232.
باز کردن مرجع DOIکپی شد.