Skip to content
بازگشت به نتایج جست‌وجو

لایت‌جی‌بی‌ام (LightGBM)

معرفی‌شده توسط
Ke, G. et al. (Microsoft)
سال
2017
نوع
Gradient boosting decision tree ensemble

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

لایت‌جی‌بی‌ام (LightGBM) پیاده‌سازی درخت تصمیم گرادیان بوستینگ مایکروسافت است که توسط کِی و همکارانش در سال ۲۰۱۷ معرفی شد. این روش درختان را به صورت برگ‌به‌برگ رشد می‌دهد و ویژگی‌ها را برای افزایش سرعت به هیستوگرام‌ها تقسیم می‌کند. در مجموعه داده‌های بزرگ، این روش بسیار سریع‌تر از ایکس‌جی‌بوست (XGBoost) است، در حالی که دقت پیش‌بینی قوی خود را حفظ می‌کند.

شهود پشت روش

گرادیان بوستینگ یک مجموعه را یک درخت در هر زمان می‌سازد، به طوری که هر درخت جدید خطاهای باقی‌مانده از درختان قبلی را اصلاح می‌کند. لایت‌جی‌بی‌ام این ایده اصلی را حفظ می‌کند اما آن را سریع‌تر می‌سازد: به جای آزمایش هر نقطه تقسیم ممکن بر روی ویژگی‌های پیوسته، مقادیر ویژگی‌ها را به تعداد ثابتی از سطل‌های هیستوگرام گروه‌بندی می‌کند، و به جای رشد هر درخت سطح به سطح، همیشه برگی را رشد می‌دهد که بیشترین بهبود را نوید می‌دهد. نتیجه مدلی است که به سرعت همگرا می‌شود و برای داده‌های جدولی بزرگ مقیاس‌پذیر است.

تاریخ

لایت‌جی‌بی‌ام توسط گولین کِی و همکارانش در مایکروسافت در مقاله NeurIPS سال ۲۰۱۷ با عنوان «LightGBM: A Highly Efficient Gradient Boosting Decision Tree» معرفی شد. دو انتخاب متمایز کننده آن — تقسیم‌بندی ویژگی مبتنی بر هیستوگرام و رشد درخت برگ‌به‌برگ (بهترین-اول) — برای سریع‌تر و کارآمدتر کردن گرادیان بوستینگ از نظر حافظه در مجموعه داده‌های بزرگ طراحی شدند و این روش به یکی از پرکاربردترین کتابخانه‌های بوستینگ برای داده‌های جدولی در کنار ایکس‌جی‌بوست تبدیل شد.

چه زمانی استفاده شود

یک انتخاب قوی برای پیش‌بینی، طبقه‌بندی و پیش‌بینی در مجموعه داده‌های جدولی بزرگ — مقطعی، پانل یا سری زمانی — با ویژگی‌های پیوسته، طبقه‌ای، باینری یا ترتیبی و حداقل حدود ۲۰۰ مشاهده. این روش زمانی ارزشمندتر است که سرعت و مقیاس آموزش اهمیت داشته باشد و بتوانید تنظیمات منظم‌سازی را انجام دهید. در کمتر از حدود ۲۰۰ مشاهده، رشد برگ‌به‌برگ تمایل به بیش‌برازش شدید دارد و یک روش سطح به سطح مانند ایکس‌جی‌بوست یا یک جنگل تصادفی (Random Forest) پایدارتر، ایمن‌تر است.

محدودیت‌ها و ملاحظات

  • رشد برگ‌به‌برگ در نمونه‌های کوچک دچار بیش‌برازش می‌شود، مگر اینکه با دقت تنظیم شود.
  • برای کنترل پیچیدگی نیاز به تنظیم num_leaves و min_data_in_leaf دارد.
  • در مجموعه داده‌های کمتر از حدود ۲۰۰ مشاهده، یک روش سطح به سطح (ایکس‌جی‌بوست) یا جنگل تصادفی قابل اعتمادتر است.
  • مانند سایر درختان تقویت‌شده، یک جعبه سیاه است که ضرایب قابل تفسیر مستقیمی ندارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • به لطف تقسیم‌بندی مبتنی بر هیستوگرام، بسیار سریع‌تر از ایکس‌جی‌بوست در مجموعه داده‌های بزرگ عمل می‌کند.
  • رشد برگ‌به‌برگ به سرعت همگرا می‌شود و اغلب به دقت بالایی دست می‌یابد.
  • ویژگی‌های طبقه‌ای را مستقیماً، بدون کدگذاری یک-داغ دستی، مدیریت می‌کند.
  • برای پیش‌بینی، طبقه‌بندی و پیش‌بینی در داده‌های مقطعی، پانل و سری زمانی کار می‌کند.

کاربردها

  • پیش‌بینی و طبقه‌بندی در مجموعه داده‌های جدولی بزرگ.
  • وظایف پیش‌بینی در داده‌های مقطعی، پانل و سری زمانی.
  • جایگزینی سریع و مقیاس‌پذیر برای ایکس‌جی‌بوست زمانی که زمان آموزش اهمیت دارد.
  • مدل‌سازی داده‌ها با بسیاری از ویژگی‌های طبقه‌ای بدون پیش‌پردازش سنگین.

چگونه کار می‌کند

چگونه کار می‌کند

1

درختان به صورت متوالی اضافه می‌شوند: هر درخت جدید بر اساس خطاهای باقیمانده مجموعه فعلی برازش می‌شود و با کاهش نرخ یادگیری اضافه می‌گردد، بنابراین مدل به تدریج گام به گام از دست دادن خود را کاهش می‌دهد. ویژگی‌های طبقه‌ای را می‌توان مستقیماً بدون کدگذاری یک-داغ (one-hot encoding) دستی به لایت‌جی‌بی‌ام داد.

فرمول
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)
2

مقادیر ویژگی‌های پیوسته قبل از تقسیم‌بندی به تعداد ثابتی از سطل‌های هیستوگرام گسسته تقسیم می‌شوند. سپس الگوریتم به جای هر مقدار خام، به دنبال بهترین تقسیم در این سطل‌ها می‌گردد، که دلیل اصلی سرعت بسیار بیشتر لایت‌جی‌بی‌ام نسبت به پیاده‌سازی‌های سطح به سطح مانند ایکس‌جی‌بوست در داده‌های بزرگ است.

3

لایت‌جی‌بی‌ام به جای گسترش همه برگ‌ها در یک عمق (سطح به سطح)، به صورت برگ‌به‌برگ رشد می‌کند: همیشه برگی را تقسیم می‌کند که بیشترین کاهش خطا را به همراه دارد. این روش سریع‌تر همگرا می‌شود اما می‌تواند در نمونه‌های کوچک دچار بیش‌برازش (overfit) شود، بنابراین تعداد برگ‌ها (num_leaves) و حداقل داده در هر برگ (min_data_in_leaf) باید برای تنظیم درختان تنظیم شوند.

دام‌های رایج

  • استفاده از لایت‌جی‌بی‌ام در یک نمونه کوچک که رشد برگ‌به‌برگ به شدت بیش‌برازش می‌کند.
  • رها کردن num_leaves و min_data_in_leaf در مقادیری که برای اندازه داده بیش از حد مجاز هستند.
  • کدگذاری یک-داغ دستی متغیرهای طبقه‌ای به جای ارسال مستقیم آنها به لایت‌جی‌بی‌ام.
  • اعتماد به دقت درون نمونه بدون ارزیابی با مجموعه داده جداگانه یا اعتبارسنجی متقابل.

پرسش‌های متداول

لایت‌جی‌بی‌ام چه تفاوتی با ایکس‌جی‌بوست دارد؟

هر دو کتابخانه‌های درخت تصمیم گرادیان بوستینگ هستند. لایت‌جی‌بی‌ام از تقسیم‌بندی مبتنی بر هیستوگرام و رشد درخت برگ‌به‌برگ (بهترین-اول) استفاده می‌کند که آن را در مجموعه داده‌های بزرگ بسیار سریع‌تر می‌کند. ایکس‌جی‌بوست به صورت سطح به سطح رشد می‌کند که اغلب در نمونه‌های کوچک‌تر ایمن‌تر است.

چرا لایت‌جی‌بی‌ام در مجموعه داده‌های کوچک دچار بیش‌برازش می‌شود؟

رشد برگ‌به‌برگ آن همیشه برگی را با بیشترین سود تقسیم می‌کند، که می‌تواند داده‌ها را به تعداد زیادی برگ نسبت به اندازه آن تقسیم کند. در نمونه‌های کوچک (کمتر از حدود ۲۰۰ مشاهده) این منجر به بیش‌برازش جدی می‌شود، بنابراین یک روش سطح به سطح یا جنگل تصادفی توصیه می‌شود.

آیا نیاز به کدگذاری یک-داغ متغیرهای طبقه‌ای دارم؟

خیر. لایت‌جی‌بی‌ام می‌تواند ویژگی‌های طبقه‌ای را مستقیماً بپذیرد، بنابراین کدگذاری یک-داغ دستی معمولاً غیرضروری است و حتی می‌تواند به عملکرد آسیب برساند.

کدام تنظیمات بیش‌برازش را کنترل می‌کنند؟

تعداد برگ‌ها (num_leaves) و حداقل داده در هر برگ (min_data_in_leaf) کنترل‌های اصلی منظم‌سازی هستند؛ سخت‌گیری در آنها پیچیدگی درخت را نسبت به اندازه مجموعه داده محدود می‌کند.

روش‌های مرتبط

منابع

  1. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.

    باز کردن مرجع انتشار
    کپی شد.