Skip to content
بازگشت به نتایج جست‌وجو

تعمیم پشته‌ای

معرفی‌شده توسط
David Wolpert
سال
1992
نوع
meta-learning aggregation
خانواده
Ensemble

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تعمیم پشته‌ای یا اِستَکینگ (stacking)، یک روش اَنسامبل (ensemble) دو سطحی است که در آن طبقه‌بندی‌کننده‌های سطح پایه بر روی داده‌های اصلی آموزش می‌بینند و یک فراگیرندهٔ فرین (meta-learner) بر روی پیش‌بینی‌های طبقه‌بندی‌کننده‌های پایه آموزش داده می‌شود. فراگیرندهٔ فرین به جای استفاده از قواعد تجمیع ثابت، یاد می‌گیرد که چگونه پیش‌بینی‌های پایه را به بهترین شکل ترکیب کند. این روش که توسط دیوید وُلپرت در سال ۱۹۹۲ معرفی شد، با یادگیری خودکار وزن‌دهی بهینه و الگوهای تعامل بین مدل‌های پایه، به عملکردی در سطح هنر (state-of-the-art) دست می‌یابد.

شهود پشت روش

اِستَکینگ یک محدودیت اساسی رأی‌گیری ساده را برطرف می‌کند: همه طبقه‌بندی‌کننده‌های پایه به یک اندازه دقیق نیستند و قواعد ثابت این موضوع را نادیده می‌گیرند. به جای رأی‌گیری اکثریت یا میانگین‌گیری ساده، اِستَکینگ یک مدل سطح دوم را آموزش می‌دهد که یاد می‌گیرد به طبقه‌بندی‌کننده‌های پایه با عملکرد بالا بیشتر اعتماد کند و به موارد غیرقابل‌اعتماد بی‌اعتماد باشد. فراگیرندهٔ فرین الگوهایی را در پیش‌بینی‌های پایه مشاهده می‌کند و یاد می‌گیرد که چه زمانی آنها را تجمیع کند. این را می‌توان به آموزش یک تصمیم‌گیرنده برای تشخیص اینکه در موقعیت‌های مختلف به کدام متخصص اعتماد کند، تشبیه کرد.

تاریخ

اِستَکینگ توسط دیوید وُلپرت در سال ۱۹۹۲ رسمیت یافت و توسط برایمن (Breiman) در سال ۱۹۹۶ برای رگرسیون گسترش یافت. این روش تا زمانی که مسابقات یادگیری ماشین (کگل، جایزه نتفلیکس) اثربخشی آن را نشان دادند، نسبتاً خاص باقی ماند. گونه‌های مدرن مانند فرا-فراگیرنده (super-learner) (ون در لان و پولی، ۲۰۰۷) و ترکیب (blending) این رویکرد را بیشتر اصلاح کردند. اِستَکینگ اکنون یک تکنیک استاندارد در یادگیری اَنسامبل (ensemble learning) است، به ویژه در یادگیری ماشین رقابتی.

چه زمانی استفاده شود

زمانی از اِستَکینگ استفاده کنید که طبقه‌بندی‌کننده‌های پایه متنوعی با دقت فردی متوسط دارید و می‌خواهید ترکیب آنها را بهینه کنید. این روش به ویژه زمانی مؤثر است که مدل‌های پایه نقاط قوت و ضعف متفاوتی داشته باشند (مانند درختان تصمیم، شبکه‌های عصبی، ماشین‌های بردار پشتیبان (SVMs)). اگر طبقه‌بندی‌کننده‌های پایه همبستگی بالایی دارند یا اگر هزینه محاسباتی حیاتی است، از اِستَکینگ خودداری کنید، زیرا اِستَکینگ نیاز به آموزش یک فرا-مدل اضافی دارد.

محدودیت‌ها و ملاحظات

  • برای جلوگیری از بیش‌برازش (overfitting) نیاز به طراحی دقیق دارد: اگر فراگیرندهٔ فرین به درستی اعتبارسنجی نشود، می‌تواند پیش‌بینی‌های پایه را حفظ کند.
  • افزایش هزینه محاسباتی: آموزش K+1 مدل به جای فقط K مدل.
  • انتخاب فراگیرندهٔ فرین اغلب به مسئله خاص بستگی دارد؛ هیچ انتخاب جهانی بهتری وجود ندارد.
  • قابلیت تفسیر با افزایش پیچیدگی کاهش می‌یابد — درک منطق تصمیم‌گیری نهایی دشوار است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • وزن‌های تجمیع بهینه را به صورت خودکار یاد می‌گیرد و از قواعد رأی‌گیری ثابت بهتر عمل می‌کند.
  • با نقاط قوت و ضعف طبقه‌بندی‌کننده‌های پایه منفرد سازگار می‌شود.
  • فراگیرنده‌های پایه ناهمگن (الگوریتم‌های مختلف، فراپارامترها) را مدیریت می‌کند.
  • اغلب در مسابقات یادگیری ماشین به عملکردی در سطح هنر دست می‌یابد.

کاربردها

  • تجزیه و تحلیل تصاویر پزشکی: اِستَکینگ شبکه‌های عصبی پیچشی (CNNs)، جنگل‌های تصادفی و تقویت گرادیان برای تشخیص بیماری‌ها از تصاویر اشعه ایکس و MRI.
  • پیش‌بینی مالی: ترکیب پیش‌بینی‌های ARIMA، شبکه‌های عصبی و SVM برای پیش‌بینی قیمت سهام یا ریسک اعتباری.
  • پردازش زبان طبیعی: اِستَکینگ BERT، GPT و طبقه‌بندی‌کننده‌های ویژگی‌های دست‌ساز برای طبقه‌بندی متن و تحلیل احساسات.
  • مسابقات کگل: راه‌حل‌های برنده اغلب از اِستَکینگ پیچیده بیش از ۵۰ مدل پایه با چندین فراگیرندهٔ فرین استفاده می‌کنند.
  • سیستم‌های توصیه‌گر: اِستَکینگ مدل‌های فیلترینگ مشارکتی، مبتنی بر محتوا و عصبی برای پیش‌بینی ترجیحات کاربر.

چگونه کار می‌کند

چگونه کار می‌کند

1

K طبقه‌بندی‌کننده پایه متنوع (مدل‌های سطح-۰) را بر روی داده‌های آموزشی اصلی با استفاده از الگوریتم‌های مختلف یا نمونه‌های داده آموزش دهید.

2

با عبور دادن داده‌های آموزشی از هر طبقه‌بندی‌کننده پایه و جمع‌آوری پیش‌بینی‌های آنها، فراویژگی‌ها (meta-features) را تولید کنید. این پیش‌بینی‌ها یک مجموعه داده آموزشی جدید برای فراگیرندهٔ فرین تشکیل می‌دهند.

3

یک فراگیرندهٔ فرین (مدل سطح-۱، معمولاً یک مدل ساده مانند رگرسیون لجستیک) را بر روی فراویژگی‌ها آموزش دهید تا وزن‌های ترکیبی بهینه را یاد بگیرد.

4

برای پیش‌بینی یک نمونه جدید: ابتدا آن را از طریق همه طبقه‌بندی‌کننده‌های پایه عبور دهید، پیش‌بینی‌های آنها را به عنوان فراویژگی‌ها جمع‌آوری کنید، سپس آن را از طریق فراگیرندهٔ فرین عبور دهید تا پیش‌بینی نهایی تولید شود.

دام‌های رایج

  • آموزش فراگیرندهٔ فرین بر روی پیش‌بینی‌های حاصل از همان داده‌هایی که طبقه‌بندی‌کننده‌های پایه بر روی آنها آموزش دیده‌اند (نشت اطلاعات). از اعتبارسنجی متقاطع k-برابر (k-fold cross-validation) یا مجموعه اعتبارسنجی نگهدارنده (holdout validation set) استفاده کنید.
  • انتخاب یک فراگیرندهٔ فرین که نسبت به تعداد طبقه‌بندی‌کننده‌های پایه بیش از حد پیچیده است (مثلاً یک فراگیرندهٔ فرین جنگل تصادفی با تنها ۳ پیش‌بینی پایه).
  • غفلت از اطمینان حاصل کردن از تنوع کافی طبقه‌بندی‌کننده‌های پایه — اِستَکینگ همبستگی را به جای کاهش آن، تقویت می‌کند.
  • تنظیم بیش از حد فراپارامترهای فراگیرندهٔ فرین، که می‌تواند منجر به بیش‌برازش بر روی فراویژگی‌های اعتبارسنجی شود.

پرسش‌های متداول

چگونه از بیش‌برازش در اِستَکینگ جلوگیری کنم؟

از اعتبارسنجی متقاطع k-برابر برای تولید فراویژگی‌ها استفاده کنید: پیش‌بینی‌های آزمایشی هر تا (fold) به داده‌های فرا-آموزشی تبدیل می‌شوند. این کار از دیدن پیش‌بینی‌ها بر روی داده‌های مورد استفاده برای آموزش طبقه‌بندی‌کننده‌های پایه توسط فراگیرندهٔ فرین جلوگیری می‌کند. همیشه از یک مجموعه اعتبارسنجی نگهدارنده جداگانه برای ارزیابی نهایی استفاده کنید.

چه مدلی را باید به عنوان فراگیرندهٔ فرین استفاده کنم؟

مدل‌های ساده اغلب بهترین عملکرد را دارند: رگرسیون لجستیک، رگرسیون خطی یا یک درخت تصمیم کوچک. فراگیرنده‌های فرین پیچیده (جنگل‌های تصادفی، شبکه‌های عصبی) خطر بیش‌برازش بر روی فراویژگی‌ها را دارند. با مدل ساده شروع کنید و تنها در صورتی که عملکرد اعتبارسنجی ثابت ماند، پیچیدگی را اضافه کنید.

آیا طبقه‌بندی‌کننده‌های پایه باید بر روی یک داده آموزش ببینند؟

خیر. طبقه‌بندی‌کننده‌های پایه متنوع که بر روی نمونه‌های داده مختلف (بگینگ) یا با الگوریتم‌های مختلف آموزش دیده‌اند، تعمیم‌پذیری فراگیرندهٔ فرین را بهبود می‌بخشند. طبقه‌بندی‌کننده‌های پایه یکسان، پیش‌بینی‌های یکسانی تولید می‌کنند که اطلاعات مفیدی برای فراگیرندهٔ فرین ارائه نمی‌دهند.

آیا می‌توانم از اِستَکینگ برای رگرسیون و طبقه‌بندی استفاده کنم؟

بله. برای رگرسیون، فراگیرندهٔ فرین مقادیر پیوسته را از خروجی‌های رگرسور پایه پیش‌بینی می‌کند. برای طبقه‌بندی، کلاس‌ها را از امتیازات احتمال طبقه‌بندی‌کننده پایه پیش‌بینی می‌کند. اصل کار یکسان است.

روش‌های مرتبط

منابع

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241-259.

    باز کردن مرجع DOI
    کپی شد.
  2. Breiman, L. (1996). Stacked regressions. Machine Learning, 24(1), 49-64.

    باز کردن مرجع DOI
    کپی شد.