Skip to content
بازگشت به نتایج جست‌وجو

چیدمان

معرفی‌شده توسط
Wolpert, D.H.
سال
1992
نوع
Ensemble (heterogeneous meta-learning)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

انباشت، یا تعمیم انباشته (stacked generalization)، یک روش تجمیع است که توسط دیوید ولپرت در سال ۱۹۹۲ معرفی شد و خروجی چندین مدل پایه مختلف (سطح-۰) را از طریق یک مدل فرا (سطح-۱) جداگانه ترکیب می‌کند. برخلاف بگینگ و بوستینگ، این روش عمداً از انواع مدل‌های ناهمگن استفاده می‌کند و استراتژی استاندارد مرحله نهایی در مسابقات Kaggle است.

شهود پشت روش

خانواده‌های مختلف مدل، اشتباهات متفاوتی مرتکب می‌شوند: یک مجموعه درختی، یک ماشین بردار پشتیبان و یک مدل خطی هر کدام داده‌ها را به روش خودشان درک می‌کنند. انباشت، پیش‌بینی‌های آن‌ها را به عنوان ویژگی‌های جدید در نظر می‌گیرد و یک مدل دیگر را برای یادگیری بهترین روش ترکیب آن‌ها آموزش می‌دهد، بنابراین مدل فرا می‌تواند بر نقاط قوت هر مدل پایه تکیه کند و نقاط ضعف آن را نادیده بگیرد — و یک پیش‌بینی ترکیبی تولید کند که معمولاً از هر مدل تکی بهتر است.

تاریخ

تعمیم انباشته توسط دیوید ولپرت در سال ۱۹۹۲ به عنوان راهی برای ترکیب چندین تعمیم‌دهنده از طریق یک مدل سطح بالاتر معرفی شد. این ایده بعداً توسط ون در لان، پلی و هابارد در سال ۲۰۰7 تحت عنوان Super Learner (یادگیرنده برتر) فرموله شد و پایه‌ریزی نظری قوی یافت، که از اعتبارسنجی متقابل برای ترکیب کتابخانه‌ای از یادگیرنده‌های پایه استفاده می‌کند. از آن زمان، انباشت به استراتژی استاندارد مرحله آخر در مسابقات یادگیری ماشین تبدیل شده است، جایی که مجموعه‌هایی از مدل‌های ناهمگن به طور معمول در صدر جدول رهبران قرار می‌گیرند.

چه زمانی استفاده شود

هنگامی که دقت پیش‌بینی اولویت دارد و چندین مدل پایه نسبتاً قوی و متنوع برای ترکیب دارید، بر روی داده‌های مقطعی با ویژگی‌های پیوسته، دسته‌ای یا دودویی و حداقل حدود ۱۰۰ مشاهده از انباشت استفاده کنید. این روش به داده‌های با توزیع نرمال نیازی ندارد. در زیر حدود ۱۰۰ مشاهده، اعتبارسنجی متقابل k-fold نمی‌تواند پیش‌بینی‌های قابل اعتماد سطح-۰ کافی تولید کند و مدل فرا بیش‌برازش می‌شود، بنابراین یک مدل تنظیم شده تکی مانند جنگل تصادفی یا XGBoost ایمن‌تر است.

محدودیت‌ها و ملاحظات

  • به نمونه‌ای نسبتاً بزرگ (حدود ۱۰۰+) نیاز دارد تا اعتبارسنجی متقابل k-fold بتواند پیش‌بینی‌های قابل اعتماد سطح-۰ را تولید کند.
  • مزایا زمانی که مدل‌های پایه همبستگی بالایی دارند به جای تنوع، کاهش می‌یابد.
  • پیچیده‌تر و سنگین‌تر از نظر محاسباتی نسبت به یک مدل تکی، و تفسیر آن به عنوان یک کل دشوارتر است.
  • در نمونه‌های کوچک، تنوع مدل‌های پایه قابل دستیابی نیست و یک مدل تکی معمولاً کافی است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • اغلب با بهره‌گیری از مدل‌های پایه ناهمگن که خطاهای متفاوتی دارند، بالاترین دقت پیش‌بینی را به دست می‌آورد.
  • انعطاف‌پذیر: هر ترکیبی از خانواده‌های مدل می‌تواند به عنوان یادگیرنده‌های پایه عمل کند، با یک مدل فرا ساده در بالا.
  • مفروضات کم — بدون نیاز به نرمال بودن، و ویژگی‌های پیوسته، دسته‌ای و دودویی را مدیریت می‌کند.
  • استراتژی نهایی اثبات شده در تنظیمات پیش‌بینی رقابتی مانند Kaggle.

کاربردها

  • تجمیع مرحله نهایی در مسابقات پیش‌بینی مدل‌سازی مانند Kaggle.
  • ترکیب مدل‌های ناهمگن برای طبقه‌بندی و پیش‌بینی با دقت بالا.
  • مجموعه‌های Super Learner در آمار زیستی و اپیدمیولوژی.
  • ترکیب مدل‌های قوی اما متنوع زمانی که استخراج دقت اضافی اهمیت دارد.

چگونه کار می‌کند

چگونه کار می‌کند

1

مجموعه‌ای متنوع از یادگیرنده‌های پایه (سطح-۰) بر روی داده‌ها آموزش داده می‌شوند — به عنوان مثال، یک جنگل تصادفی، یک مدل گرادیان بوستینگ و یک SVM. هرچه این مدل‌ها متنوع‌تر و مستقل از هم باشند، انباشت می‌تواند سود بیشتری ببرد؛ زمانی که مدل‌های پایه همبستگی بالایی با یکدیگر دارند، مزیت انباشت کاهش می‌یابد.

2

پیش‌بینی‌های سطح-۰ از طریق اعتبارسنجی متقابل k-fold تولید می‌شوند، نه بر روی همان داده‌هایی که مدل‌های پایه بر روی آن‌ها برازش شده‌اند. این طرح خارج از پوشش (out-of-fold) برای جلوگیری از نشت داده ضروری است: ویژگی‌های فرا هر مشاهده از مدل‌هایی می‌آیند که در طول آموزش آن را ندیده‌اند.

3

یک مدل فرا (سطح-۱) بر روی خروجی‌های مدل پایه اعتبارسنجی شده آموزش داده می‌شود تا پیش‌بینی نهایی را تولید کند. یادگیرنده فرا معمولاً ساده نگه داشته می‌شود — رگرسیون لجستیک، رگرسیون ریج یا یک XGBoost کوچک — تا وزن‌های منطقی برای ترکیب مدل‌های پایه را بدون بیش‌برازش خود یاد بگیرد.

فرمول
\hat{y} = g\big(f_1(x), f_2(x), \dots, f_M(x)\big)

دام‌های رایج

  • تولید پیش‌بینی‌های سطح-۰ بر روی همان داده‌هایی که مدل‌های پایه بر روی آن‌ها آموزش دیده‌اند، که باعث نشت داده به مدل فرا می‌شود.
  • انباشت بسیاری از مدل‌های پایه با همبستگی بالا و انتظار سود زیاد.
  • استفاده از یک مدل فرا بیش از حد پیچیده که خروجی‌های مدل پایه را بیش‌برازش می‌کند به جای یک رگرسیور ساده.
  • اعمال انباشت بر روی مجموعه داده کوچک که در آن تنوع مدل پایه و اعتبارسنجی متقابل قابل اعتماد غیرممکن است.

پرسش‌های متداول

انباشت چگونه با بگینگ و بوستینگ متفاوت است؟

بگینگ و بوستینگ بسیاری از مدل‌های از یک نوع را می‌سازند، در حالی که انباشت عمداً خانواده‌های مدل ناهمگن را ترکیب می‌کند و یاد می‌گیرد چگونه آن‌ها را با یک مدل فرا جداگانه ترکیب کند. این تنوع همان جایی است که مزیت انباشت از آن ناشی می‌شود.

چرا از اعتبارسنجی متقابل برای ساخت ویژگی‌های فرا استفاده می‌شود؟

اگر مدل فرا بر روی پیش‌بینی‌هایی که مدل‌های پایه بر روی داده‌های آموزشی خودشان انجام داده‌اند آموزش داده شود، اطلاعات نشت می‌کند و انباشت بیش‌برازش می‌شود. تولید پیش‌بینی‌های سطح-۰ خارج از پوشش از طریق اعتبارسنجی متقابل k-fold ورودی‌های صادقانه را به مدل فرا می‌دهد.

مدل فرا باید چه باشد؟

آن را ساده نگه دارید — رگرسیون لجستیک، رگرسیون ریج یا یک XGBoost کوچک. یک یادگیرنده فرا ساده وزن‌های ترکیب منطقی را بدون بیش‌برازش خروجی‌های مدل پایه یاد می‌گیرد.

چه زمانی نباید از انباشت استفاده کنم؟

زمانی که کمتر از حدود ۱۰۰ مشاهده دارید، اعتبارسنجی متقابل نمی‌تواند پیش‌بینی‌های قابل اعتماد سطح-۰ کافی تولید کند و دستیابی به تنوع مدل پایه دشوار است، بنابراین یک جنگل تصادفی یا XGBoost تنظیم شده تکی انتخاب ایمن‌تری است.

روش‌های مرتبط

منابع

  1. Wolpert, D.H. (1992). Stacked Generalization. Neural Networks, 5(2), 241–259.

    باز کردن مرجع DOI
    کپی شد.
  2. van der Laan, M.J., Polley, E.C. & Hubbard, A.E. (2007). Super Learner. Statistical Applications in Genetics and Molecular Biology, 6(1), Article 25.

    باز کردن مرجع DOI
    کپی شد.