Skip to content
بازگشت به نتایج جست‌وجو

جنگل تصادفی

معرفی‌شده توسط
Breiman, L.
سال
2001
نوع
Ensemble (bagging of decision trees)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

جنگل تصادفی یک روش یادگیری جمعی است که در سال ۲۰۰۱ توسط لئو بریمن معرفی شد. این روش با رشد دادن تعداد زیادی درخت تصمیم بر روی نمونه‌های بوت‌استرپ داده‌ها و ترکیب آرای آن‌ها، طبقه‌بندی و رگرسیون قدرتمندی را تولید می‌کند. با تجمیع بسیاری از درختان کمی متفاوت، پیش‌بینی‌های دقیق‌تر و پایدارتری نسبت به هر یک از درختان به تنهایی ارائه می‌دهد.

شهود پشت روش

یک درخت تصمیم منفرد که عمیقاً رشد کرده باشد، داده‌های آموزشی را به دقت برازش می‌کند اما ناپایدار است: تغییر کوچکی در داده‌ها می‌تواند درختی بسیار متفاوت تولید کند. جنگل تصادفی با ساختن درختان متعدد، که هر یک بر روی دیدگاه تصادفی کمی متفاوت از داده‌ها بنا شده‌اند، و اجازه دادن به آن‌ها برای رأی‌گیری، این مشکل را حل می‌کند. خطاهای درختان منفرد تمایل به خنثی کردن یکدیگر دارند، بنابراین پیش‌بینی ترکیبی بسیار قابل اعتمادتر از هر درخت به تنهایی است.

تاریخ

جنگل تصادفی توسط لئو بریمن در سال ۲۰۰۱ پیشنهاد شد و تجمیع بوت‌استرپ را با انتخاب ویژگی تصادفی در هر تقسیم ترکیب کرد. این روش به یکی از پرکاربردترین و قابل اعتمادترین روش‌های یادگیری ماشین آماده به کار برای داده‌های جدولی تبدیل شد و یک مرجع استاندارد در متونی مانند An Introduction to Statistical Learning (فصل ۸) است. اخیراً، ابزارهایی مانند مقادیر SHAP قابلیت تفسیرپذیری آن را به رگرسیون لجستیک نزدیک‌تر کرده و پذیرش آن را در علوم اجتماعی افزایش داده‌اند.

چه زمانی استفاده شود

یک برازش خوب برای طبقه‌بندی، رگرسیون، یا پیش‌بینی دقیق و قوی بر روی داده‌های جدولی با ویژگی‌های زیاد — احتمالاً غیرخطی و تعاملی — و حداقل حدود ۵۰ مشاهده، زمانی که عملکرد پیش‌بینی‌کننده مهم‌تر از گزارش ضرایب صریح باشد. جنگل تصادفی فرض‌های کمی دارد: نیازی به داده‌های با توزیع نرمال ندارد و ویژگی‌های پیوسته، دسته‌ای، دودویی، ترتیبی و شمارشی را مدیریت می‌کند. تنظیم فراپارامترها توصیه می‌شود. هنگامی که اندازه نمونه‌ها به زیر حدود ۵۰ می‌رسد، مدل‌های ساده‌تر مانند رگرسیون لجستیک یا خطی ایمن‌تر هستند.

محدودیت‌ها و ملاحظات

  • هیچ ضریبی برای تفسیر وجود ندارد؛ ماهیت جعبه سیاه آن می‌تواند با داورانی که انتظار اثرات صریح دارند، در تضاد باشد.
  • تنظیم فراپارامترها توصیه می‌شود، و جنگل‌های بزرگ هزینه حافظه و محاسبات بالایی دارند.
  • در نمونه‌های کوچک (n زیر حدود ۵۰) بسیاری از درختان بیش‌برازش می‌کنند و نتایج اعتبارسنجی متقابل گمراه‌کننده می‌شوند.
  • تخمین‌های اهمیت ویژگی در اندازه‌های نمونه کوچک می‌توانند ناپایدار و غیرقابل تکرار باشند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • دقت بالا و آماده به کار بر روی داده‌های جدولی هم برای طبقه‌بندی و هم برای رگرسیون.
  • مقاوم در برابر بیش‌برازش به لطف بگینگ به علاوه انتخاب ویژگی تصادفی در هر تقسیم.
  • اهمیت ویژگی داخلی، رتبه‌بندی متغیرها را مستقیماً در مدل ادغام می‌کند.
  • خطای خارج از کیسه یک تخمین اعتبارسنجی صادقانه را بدون نیاز به یک مرحله اعتبارسنجی متقابل جداگانه ارائه می‌دهد.
  • فرض‌های کم: نیازی به نرمال بودن ندارد و انواع ویژگی‌های مختلط و تعاملات غیرخطی را مدیریت می‌کند.

کاربردها

  • طبقه‌بندی و رگرسیون بر روی داده‌های جدولی با ویژگی‌های زیاد.
  • انتخاب و رتبه‌بندی متغیرها از طریق اهمیت ویژگی داخلی.
  • امتیازدهی ریسک و پیش‌بینی که در آن پایداری مهم‌تر از ضرایب صریح است.
  • مدل‌سازی پایه قبل از امتحان کردن مجموعه‌های پیچیده‌تر مانند تقویت گرادیان.

چگونه کار می‌کند

چگونه کار می‌کند

1

بسیاری از نمونه‌های بوت‌استرپ از مجموعه آموزشی گرفته می‌شوند — هر یک یک نمونه تصادفی است که با جایگذاری گرفته شده است، بنابراین درختان داده‌های کمی متفاوتی را می‌بینند. مشاهداتی که از یک نمونه معین حذف شده‌اند (مجموعه خارج از کیسه) یک تخمین اعتبارسنجی داخلی را بدون نیاز به یک بخش نگه‌داشته شده جداگانه فراهم می‌کنند.

2

در هر تقسیم در هر درخت، تنها یک زیرمجموعه تصادفی از ویژگی‌های موجود به عنوان کاندیدا در نظر گرفته می‌شود. این انتخاب ویژگی تصادفی، همبستگی بین درختان را از بین می‌برد تا همه آن‌ها به یک پیش‌بینی‌کننده غالب یکسان وابسته نشوند، که این همان چیزی است که به مجموعه امکان می‌دهد واریانس را کمتر از هر درخت منفرد کاهش دهد.

3

هر درخت پیش‌بینی خود را انجام می‌دهد و جنگل آن‌ها را ترکیب می‌کند: رأی اکثریت در بین درختان برای طبقه‌بندی، یا میانگین خروجی‌های آن‌ها برای رگرسیون. این تجمیع است که بسیاری از درختان نویزدار را به یک پیش‌بینی‌کننده قوی تبدیل می‌کند.

فرمول
\hat{y} = \text{mode/mean of } T \text{ trees}

دام‌های رایج

  • نادیده گرفتن تقسیم آموزش/آزمون یا اعتبارسنجی متقابل و اعتماد به عملکرد درون‌نمونه‌ای.
  • نادیده گرفتن عدم تعادل کلاس به جای وزن‌دهی مجدد کلاس‌ها (class_weight='balanced') یا نمونه‌برداری مجدد.
  • گزارش تنها دقت بدون F1 و AUC در کنار آن.
  • در نظر گرفتن رتبه‌بندی اهمیت ویژگی در نمونه‌های کوچک به عنوان پایدار.
  • پذیرش کورکورانه فراپارامترهای پیش‌فرض به جای تنظیم تعداد درختان.

پرسش‌های متداول

جنگل باید چند درخت داشته باشد؟

درختان بیشتر واریانس را کاهش داده و رأی را پایدار می‌کنند، اما به هزینه محاسبات و حافظه. یک نقطه شروع رایج حدود ۱۰۰ درخت است که تا زمانی که خطای خارج از کیسه بهبود نیابد، افزایش می‌یابد.

آیا جنگل تصادفی بیش‌برازش می‌کند؟

این روش به دلیل بگینگ و انتخاب ویژگی تصادفی که همبستگی بین درختان را از بین می‌برد و خطاهای فردی آن‌ها را میانگین‌گیری می‌کند، در برابر بیش‌برازش بسیار مقاوم است. خطر اصلی، برازش بسیاری از درختان عمیق بر روی یک مجموعه داده بسیار کوچک است، که در آن مدل بیش‌برازش می‌کند و اعتبارسنجی متقابل گمراه‌کننده می‌شود.

آیا می‌توانم به اهمیت ویژگی اعتماد کنم؟

اهمیت ویژگی برای رتبه‌بندی پیش‌بینی‌کننده‌ها مفید است، اما در اندازه‌های نمونه کوچک می‌تواند ناپایدار و غیرقابل تکرار باشد، بنابراین رتبه‌بندی‌های نمونه‌های کوچک را با احتیاط در نظر بگیرید. ترکیب آن با تحلیل SHAP دیدگاه واضح‌تری از سهم هر ویژگی ارائه می‌دهد.

قبل و بعد از برازش چه چیزی را باید بررسی کنم؟

قبل از آن، مقادیر گمشده را مدیریت کنید، متغیرهای دسته‌ای را کدگذاری کنید، و یک تقسیم آموزش/آزمون یا اعتبارسنجی متقابل k-fold را تنظیم کنید. پس از آن، خطای خارج از کیسه را ارزیابی کنید، اعتبارسنجی متقابل را اجرا کنید، و سهم ویژگی‌ها را بررسی کنید (به عنوان مثال با SHAP).

روش‌های مرتبط

منابع

  1. Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.

    باز کردن مرجع DOI
    کپی شد.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.

    شابک: 978-1-4614-7138-7
    کپی شد.