Skip to content
بازگشت به نتایج جست‌وجو

XGBoost

معرفی‌شده توسط
Chen, T. & Guestrin, C.
سال
2016
نوع
Ensemble (gradient-boosted decision trees)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

XGBoost (Extreme Gradient Boosting) یک الگوریتم تقویت‌کننده درختی مقیاس‌پذیر است که توسط تیانچی چن و کارلوس گستین در سال ۲۰۱۶ معرفی شد. این الگوریتم با افزودن درخت‌های تصمیم به صورت تک‌تک، که هر یک خطاهای باقی‌مانده از درختان قبلی را اصلاح می‌کنند، یک پیش‌بینی‌کننده قوی می‌سازد و یک روش پیش‌بینی قدرتمند است که به طور گسترده در مسابقات استفاده می‌شود.

شهود پشت روش

به جای رشد دادن بسیاری از درختان مستقل و میانگین‌گیری از آن‌ها، XGBoost درختان را به صورت متوالی رشد می‌دهد: هر درخت جدید بر مواردی تمرکز می‌کند که مدل فعلی هنوز آن‌ها را اشتباه پیش‌بینی می‌کند. گام به گام، این مجموعه خطا‌های باقی‌مانده را کاهش می‌دهد، در حالی که یک جریمه منظم‌سازی، درختان منفرد را ساده نگه می‌دارد تا مدل ترکیبی به جای حفظ کردن داده‌های آموزشی، تعمیم‌پذیری داشته باشد.

تاریخ

XGBoost توسط تیانچی چن و کارلوس گستین در مقاله سال ۲۰۱۶ آن‌ها با عنوان «XGBoost: A Scalable Tree Boosting System» در ACM SIGKDD معرفی شد. با ترکیب تقویت گرادیان منظم‌شده درختان تصمیم با یک پیاده‌سازی مقیاس‌پذیر و کارآمد، این الگوریتم به یکی از پرکاربردترین الگوریتم‌های پیش‌بینی تبدیل شد، به ویژه در مسابقات علم داده.

چه زمانی استفاده شود

از XGBoost برای طبقه‌بندی یا پیش‌بینی دقیق بر روی داده‌های جدولی با ویژگی‌های پیوسته، دسته‌ای، باینری یا شمارشی و حداقل حدود ۱۰۰ مشاهده، زمانی که عملکرد پیش‌بینی اولویت دارد، استفاده کنید. این روش نیازی به داده‌های با توزیع نرمال ندارد؛ داده‌های کافی و مهندسی ویژگی دقیق، فرضیات عملی اصلی هستند. با کمتر از حدود ۱۰۰ مورد، تقویت گرادیان تمایل به بیش‌برازش دارد و یک مدل ساده‌تر (مانند رگرسیون لجستیک یا یک درخت تصمیم منفرد) قابل اعتمادتر است.

محدودیت‌ها و ملاحظات

  • به داده‌های کافی نیاز دارد — تقریباً ۱۰۰+ مشاهده — در غیر این صورت بیش‌برازش می‌کند و نتایج اعتبارسنجی متقابل غیرقابل اعتماد می‌شوند.
  • در نمونه‌های کوچک، داده‌های کافی برای تنظیم بسیاری از فراپارامترها وجود ندارد، بنابراین یک مدل ساده‌تر تعمیم‌پذیری بهتری دارد.
  • بسیاری از فراپارامترها و یک مجموعه جعبه سیاه، تنظیم و تفسیر آن را دشوارتر از یک مدل منفرد می‌کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • دقت پیش‌بینی قوی در داده‌های جدولی، به همین دلیل در مسابقات بسیار رایج است.
  • منظم‌سازی داخلی پیچیدگی درخت را جریمه می‌کند و به کنترل بیش‌برازش کمک می‌کند.
  • مقادیر گمشده را تحمل می‌کند و انواع ویژگی‌های مختلط (پیوسته، دسته‌ای، باینری، شمارشی) را مدیریت می‌کند.
  • مقیاس‌پذیری خوبی دارد و مستقیماً از مهندسی ویژگی بهره می‌برد.

کاربردها

  • طبقه‌بندی و پیش‌بینی بر روی داده‌های جدولی با ویژگی‌های زیاد.
  • مدل‌سازی پیش‌بینی‌کننده در سطح مسابقات که دقت در آن از اهمیت بالایی برخوردار است.
  • امتیازدهی ریسک و وظایف پیش‌بینی بر روی ویژگی‌های پیوسته، دسته‌ای، باینری و شمارشی.
  • مسائل مدل‌سازی که در آن‌ها مقادیر گمشده و ویژگی‌های مهندسی‌شده رایج هستند.

چگونه کار می‌کند

چگونه کار می‌کند

1

XGBoost یک روش تقویت گرادیان است: این روش بسیاری از درختان تصمیم کم‌عمق را در یک مجموعه ترکیب می‌کند. درختان یکی پس از دیگری اضافه می‌شوند و هر درخت جدید برای کاهش خطای پیش‌بینی که پس از درختان موجود در مدل باقی می‌ماند، برازش می‌شود.

2

مدل یک تابع هدف را که شامل یک جمله زیان برای اندازه‌گیری برازش با داده‌ها و یک جمله منظم‌سازی برای جریمه پیچیدگی درخت است، حداقل می‌کند. این جریمه صریح پیچیدگی همان چیزی است که به XGBoost کمک می‌کند تا از بیش‌برازش جلوگیری کند، در حالی که روابط انعطاف‌پذیر و غیرخطی را نیز برازش می‌دهد.

فرمول
\mathcal{L} = \sum_i l(\hat{y}_i, y_i) + \sum_k \Omega(f_k)
3

در هر دور تقویت، پیش‌بینی فعلی با افزودن خروجی یک درخت تازه برازش‌شده به‌روز می‌شود. هر درخت به گونه‌ای انتخاب می‌شود که پیش‌بینی‌ها را در جهتی حرکت دهد که بیشترین کاهش را در تابع هدف ایجاد کند، بنابراین دقت مجموعه دور به دور بهبود می‌یابد.

فرمول
\hat{y}_i^{(t)} = \hat{y}_i^{(t-1)} + f_t(x_i)
4

پس از تمام دورها، پیش‌بینی نهایی مجموع مشارکت‌های هر درخت است که برای طبقه‌بندی یا پیش‌بینی یک هدف استفاده می‌شود. از آنجا که مدل مقادیر گمشده را تحمل می‌کند و از مهندسی ویژگی بهره می‌برد، در داده‌های جدولی پس از در دسترس بودن مشاهدات کافی، عملکرد قوی دارد.

دام‌های رایج

  • اعمال آن بر روی نمونه‌های کوچک (n < 100) که در آن تقویت گرادیان بیش‌برازش می‌کند و تخمین‌های CV قابل اعتماد نیستند.
  • نادیده گرفتن تنظیم فراپارامتر از طریق اعتبارسنجی متقابل (مانند جستجوی شبکه‌ای) و پذیرش مقادیر پیش‌فرض.
  • بلاتکلیف گذاشتن مدیریت مقادیر گمشده و کدگذاری دسته‌ای، حتی با وجود اینکه XGBoost شکاف‌ها را تحمل می‌کند.
  • عدم تنظیم یک تقسیم آموزش/آزمون مناسب یا اعتبارسنجی متقابل k-فولد قبل از گزارش عملکرد.

پرسش‌های متداول

XGBoost به چه مقدار داده نیاز دارد؟

حدود ۱۰۰ مشاهده حداقل معقول است. با کمتر از ۱۰۰ مورد، تقویت گرادیان تمایل به بیش‌برازش دارد و نتایج اعتبارسنجی متقابل غیرقابل اعتماد می‌شوند، بنابراین یک مدل ساده‌تر مانند رگرسیون لجستیک یا یک درخت تصمیم منفرد قابل اعتمادتر است.

آیا XGBoost به داده‌های با توزیع نرمال نیاز دارد؟

خیر. این روش هیچ فرضی در مورد نرمال بودن ندارد و با ویژگی‌های پیوسته، دسته‌ای، باینری و شمارشی کار می‌کند. الزامات عملی اصلی داشتن داده‌های کافی و انجام مهندسی ویژگی دقیق است.

XGBoost چه تفاوتی با Random Forest دارد؟

Random Forest درختان را به طور مستقل رشد می‌دهد و برای کاهش واریانس از آن‌ها میانگین می‌گیرد. XGBoost درختان را به صورت متوالی رشد می‌دهد، هر یک خطاهای قبلی را اصلاح می‌کند، و یک جریمه منظم‌سازی بر پیچیدگی درخت اضافه می‌کند، که با تنظیم دقیق می‌تواند به دقت بالاتری دست یابد.

چگونه یک مدل XGBoost را تفسیر کنم؟

از آنجا که مدل مجموعه‌ای از درختان زیاد است، مشارکت‌ها معمولاً با تحلیل انتساب ویژگی مانند SHAP، در کنار معیارهای مجموعه آزمون مانند RMSE یا AUC و تنظیم فراپارامتر با اعتبارسنجی متقابل بررسی می‌شوند.

روش‌های مرتبط

منابع

  1. Chen, T. & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD, 785–794.

    باز کردن مرجع DOI
    کپی شد.