Skip to content
بازگشت به نتایج جست‌وجو

آنسامبل پشته‌سازی نیمه‌نظارتی

معرفی‌شده توسط
Combines Wolpert (1992) stacking with semi-supervised learning principles
سال
2000s–2010s
نوع
Ensemble (stacked generalization with unlabeled data augmentation)
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

آنسامبل پشته‌سازی نیمه‌نظارتی چارچوب تعمیم پشته‌ای کلاسیک را به شرایطی گسترش می‌دهد که تنها کسری از نمونه‌های آموزشی دارای برچسب هستند. یادگیرنده‌های پایه ابتدا روی داده‌های برچسب‌دار آموزش داده می‌شوند، سپس برای تخصیص شبه‌برچسب به نمونه‌های بدون برچسب استفاده می‌شوند؛ مجموعه داده گسترش‌یافته، مدل‌های پایه قوی‌تری را آموزش می‌دهد که پیش‌بینی‌های خارج از فولد آن‌ها ورودی یک فرایادگیرنده را تشکیل می‌دهد و یک آنسامبل دو لایه ایجاد می‌کند که از ساختار برچسب‌دار و بدون برچسب بهره می‌برد.

شهود پشت روش

پشته‌سازی با آموزش یک فرایادگیرنده بر روی پیش‌بینی‌های مدل‌های پایه متنوع، از قبل مدل‌های منفرد را شکست می‌دهد. پشته‌سازی نیمه‌نظارتی یک ترفند دیگر اضافه می‌کند: به جای کنار گذاشتن مجموعه بزرگ نمونه‌های بدون برچسب، از مدل‌های پایه فعلی برای حدس زدن برچسب‌های آن‌ها با یک آستانه اطمینان استفاده می‌کند، آن نمونه‌های شبه‌برچسب‌دار را دوباره به آموزش بازمی‌گرداند، مدل‌های پایه را مجدداً آموزش می‌دهد و این فرآیند را تکرار می‌کند. هر تکرار به مدل‌های پایه داده‌های بیشتری برای یادگیری می‌دهد، بنابراین فراویژگی‌هایی که برای فرایادگیرنده تولید می‌کنند، به تدریج آموزنده‌تر می‌شوند — همه این‌ها بدون نیاز به هیچ گونه برچسب‌گذاری انسانی اضافی.

تاریخ

تعمیم پشته‌ای توسط ولپرت در سال 1992 به عنوان راهی برای ترکیب چندین مدل از طریق یک فرایادگیرنده آموخته‌شده رسمی شد. اصول یادگیری نیمه‌نظارتی — استفاده از داده‌های بدون برچسب برای بهبود مدل‌های نظارتی — توسط چاپل، شولکوف و زین در جلد 2006 MIT Press آن‌ها تثبیت شد. ترکیب صریح این دو، پشته‌سازی نیمه‌نظارتی، در ادبیات یادگیری ماشین کاربردی در دهه‌های 2000 و 2010 ظهور کرد، با پذیرش خاص در یادگیری ماشین رقابتی و حوزه‌هایی که برچسب‌گذاری کمیاب است.

چه زمانی استفاده شود

هنگامی که یک وظیفه طبقه‌بندی یا رگرسیون با مجموعه داده برچسب‌دار کوچک و مجموعه بزرگی از بردارهای ویژگی بدون برچسب دارید — یک تنظیم رایج در تصویربرداری پزشکی، پردازش زبان طبیعی (NLP) یا سنجش از دور که برچسب‌گذاری پرهزینه است — از پشته‌سازی نیمه‌نظارتی استفاده کنید. این روش به ویژه زمانی مؤثر است که داده‌های بدون برچسب از همان توزیع داده‌های برچسب‌دار گرفته شده باشند و حداقل 3 تا 5 خانواده یادگیرنده پایه متنوع در دسترس باشند. از آن زمانی که مجموعه بدون برچسب کوچک است (هیچ سودی نسبت به پشته‌سازی استاندارد ندارد)، زمانی که مجموعه برچسب‌دار از قبل به اندازه کافی بزرگ است که مزایای نیمه‌نظارتی حاشیه‌ای هستند، یا زمانی که تغییر توزیع بین نمونه‌های برچسب‌دار و بدون برچسب مشکوک است، اجتناب کنید، زیرا خطاهای شبه‌برچسب در طول تکرارها انباشته می‌شوند.

محدودیت‌ها و ملاحظات

  • خطاهای شبه‌برچسب در طول تکرارها انباشته می‌شوند؛ اگر مدل‌های پایه اولیه ضعیف باشند، شبه‌برچسب‌های اشتباه می‌توانند عملکرد را به جای بهبود، کاهش دهند.
  • فضای ابرپارامتر گسترده است: تعداد تکرارها، آستانه اطمینان، تعداد فولدها و تنوع یادگیرنده پایه همگی با هم تعامل دارند.
  • از نظر محاسباتی پرهزینه: آموزش مجدد k-فولد در چندین یادگیرنده پایه برای چندین تکرار تکرار می‌شود، بنابراین زمان اجرا به سرعت افزایش می‌یابد.
  • نیاز دارد که توزیع بدون برچسب به دقت با توزیع برچسب‌دار مطابقت داشته باشد؛ تغییر کوواریانس (covariate shift) فرض شبه‌برچسب‌گذاری را باطل می‌کند.
  • قابلیت تفسیر پایین است — دو لایه پشته‌ای به علاوه شبه‌برچسب‌گذاری تکراری، ردیابی چگونگی تشکیل هر پیش‌بینی فردی را دشوار می‌کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • از مجموعه‌های بزرگ داده‌های بدون برچسب بدون هزینه برچسب‌گذاری اضافی بهره می‌برد و اغلب دقت را به طور قابل توجهی نسبت به پشته‌سازی فقط نظارتی بهبود می‌بخشد.
  • تمام مزایای پشته‌سازی کلاسیک را به ارث می‌برد: تنوع در یادگیرنده‌های پایه، واریانس و سوگیری را به طور همزمان کاهش می‌دهد.
  • انعطاف‌پذیر: هر یادگیرنده نظارتی می‌تواند به عنوان مدل پایه یا فرایادگیرنده عمل کند، که چارچوب را به طور گسترده‌ای قابل استفاده می‌کند.
  • آستانه‌گذاری اطمینان یک مکانیسم اصولی برای کنترل کیفیت شبه‌برچسب‌های معرفی شده در هر تکرار ارائه می‌دهد.
  • مقیاس‌پذیری خوبی دارد — داده‌های بدون برچسب ارزان هستند، بنابراین با افزایش نسبت نمونه‌های بدون برچسب به برچسب‌دار، این روش ارزشمندتر می‌شود.

کاربردها

  • طبقه‌بندی تصاویر پزشکی که در آن اسکن‌های برچسب‌دار کمیاب هستند اما اسکن‌های بدون برچسب فراوانند.
  • وظایف پردازش زبان طبیعی (احساسات، موضوع) با پیکره‌های بزرگ بدون برچسب و مجموعه‌های آموزشی برچسب‌دار کوچک.
  • طبقه‌بندی پوشش زمین در سنجش از دور با استفاده از تصاویر ماهواره‌ای فراوان با تعداد کمی برچسب حقیقت زمینی.
  • تشخیص تقلب که در آن موارد تقلب تأیید شده در مقایسه با تراکنش‌های بررسی نشده نادر هستند.
  • وظایف بیوانفورماتیک مانند پیش‌بینی عملکرد پروتئین با نمونه‌های آزمایشگاهی تأیید شده محدود.

چگونه کار می‌کند

چگونه کار می‌کند

1

یادگیرنده‌های پایه (مانند درختان تقویت‌شده با گرادیان، SVMها، شبکه‌های عصبی) روی زیرمجموعه برچسب‌دار آموزش داده می‌شوند. سپس آن‌ها احتمالات کلاس را برای هر نمونه بدون برچسب پیش‌بینی می‌کنند؛ نمونه‌هایی که حداکثر احتمال پیش‌بینی‌شده آن‌ها از یک آستانه اطمینان فراتر می‌رود، شبه‌برچسب دریافت می‌کنند و برای تکرار بعدی به مجموعه داده آموزشی کاری اضافه می‌شوند.

2

یادگیرنده‌های پایه متنوع روی مجموعه ترکیبی از نمونه‌های دارای برچسب واقعی و شبه‌برچسب‌دار با استفاده از اعتبارسنجی متقابل k-فولد (k-fold cross-validation) مجدداً آموزش داده می‌شوند تا از نشت داده جلوگیری شود. تنوع در مدل‌های پایه — در خانواده الگوریتم، قدرت تنظیم‌کنندگی (regularization strength) یا زیرمجموعه‌های ویژگی — حیاتی است؛ پشته‌های همگن سود کمی از لایه دوم می‌برند.

3

پیش‌بینی‌های خارج از فولد از هر یادگیرنده پایه روی نمونه‌های برچسب‌دار در یک ماتریس فراویژگی جمع‌آوری می‌شوند. هر سطر مربوط به یک نمونه آموزشی برچسب‌دار است؛ هر ستون پیش‌بینی یک مدل پایه است که روی فولدی تخمین زده شده که آن نمونه را ندیده است، و یک نمایش بی‌طرفانه برای فرایادگیرنده حفظ می‌کند.

4

یک فرایادگیرنده (معمولاً رگرسیون لجستیک، یک شبکه عصبی کم‌عمق یا یک مدل درختی دیگر) روی ماتریس فراویژگی با برچسب‌های واقعی آموزش داده می‌شود. این فرایادگیرنده یاد می‌گیرد که چگونه خروجی‌های یادگیرنده پایه را به بهترین نحو ترکیب کند، سوگیری‌های سیستماتیک آن‌ها را تصحیح کرده و از نقاط قوت مکمل آن‌ها بهره‌برداری کند.

5

مراحل 1 تا 4 برای تعداد ثابتی از تکرارها یا تا زمانی که مجموعه شبه‌برچسب پایدار شود (تعداد کمی از نمونه‌های جدید از آستانه اطمینان عبور کنند) تکرار می‌شوند. در هر مرحله، آستانه اطمینان ممکن است کمی کاهش یابد تا داده‌های بدون برچسب بیشتری را شامل شود، اما احتیاط لازم است: آستانه بسیار پایین، شبه‌برچسب‌های اشتباه را منتشر کرده و عملکرد را کاهش می‌دهد.

دام‌های رایج

  • تنظیم آستانه اطمینان بیش از حد پایین در تکرارهای اولیه، پر کردن مجموعه آموزشی با شبه‌برچسب‌های نویزدار که کیفیت یادگیرنده پایه را کاهش می‌دهد.
  • استفاده از تنها یک یا دو یادگیرنده پایه با همبستگی بالا؛ بدون تنوع، فرایادگیرنده سیگنال‌های اضافی دریافت می‌کند و پشته از یک مدل واحد بهتر عمل نمی‌کند.
  • عدم استفاده از اعتبارسنجی متقابل هنگام تولید فراویژگی‌ها، که باعث نشت داده می‌شود و دقت آموزش را افزایش می‌دهد و آموزش فرایادگیرنده را گمراه می‌کند.
  • ارزیابی عملکرد نهایی بر روی نمونه‌های شبه‌برچسب‌دار به جای یک مجموعه آزمایشی واقعاً برچسب‌دار نگه داشته شده، که منجر به معیارهای بیش از حد خوش‌بینانه می‌شود.
  • نادیده گرفتن همگرایی — اجرای بیش از حد تکرارها پس از پایدار شدن مجموعه شبه‌برچسب، محاسبات را هدر می‌دهد و خطر بیش‌برازش (overfitting) بر روی پیش‌بینی‌های مطمئن اما اشتباه را به همراه دارد.

پرسش‌های متداول

چگونه آستانه اطمینان را برای شبه‌برچسب‌گذاری انتخاب کنم؟

یک نقطه شروع رایج 0.9 یا بالاتر برای طبقه‌بندی است، به این معنی که فقط نمونه‌هایی که احتمال کلاس پیشرو آن‌ها از 90% فراتر می‌رود، شبه‌برچسب دریافت می‌کنند. آستانه می‌تواند در تکرارهای بعدی با بهبود مدل‌های پایه کاهش یابد. همیشه دقت اعتبارسنجی را در طول تکرارها نظارت کنید تا مقادیر آستانه‌ای را که نویز زیادی ایجاد می‌کنند، شناسایی کنید.

از کدام یادگیرنده‌های پایه استفاده کنم؟

تنوع اصل کلیدی است. یک ترکیب معمولی، درختان تقویت‌شده با گرادیان (مانند XGBoost)، یک SVM با هسته شعاعی و یک شبکه عصبی را با هم جفت می‌کند. ترکیب مدل‌هایی که در مشخصات سوگیری-واریانس و در روابط ویژگی‌هایی که ثبت می‌کنند متفاوت هستند، آموزنده‌ترین فراویژگی‌ها را برای لایه دوم تولید می‌کند.

این روش چه تفاوتی با پشته‌سازی استاندارد دارد؟

پشته‌سازی استاندارد فقط از داده‌های برچسب‌دار استفاده می‌کند. پشته‌سازی نیمه‌نظارتی یک حلقه شبه‌برچسب‌گذاری اضافه می‌کند که به طور تکراری مجموعه آموزشی مؤثر را با نمونه‌های بدون برچسب با اطمینان بالا گسترش می‌دهد، بنابراین زمانی که داده‌های برچسب‌دار کمیاب و داده‌های بدون برچسب فراوان هستند، بیشترین کاربرد را دارد.

آیا می‌تواند رگرسیون و همچنین طبقه‌بندی را مدیریت کند؟

بله. برای رگرسیون، آستانه‌گذاری اطمینان با یک معیار مبتنی بر باقیمانده جایگزین می‌شود — به عنوان مثال، شامل کردن نمونه‌های شبه‌برچسب‌دار که مقدار پیش‌بینی‌شده آن‌ها در مدل‌های پایه پایدار است (واریانس پایین). سپس فرایادگیرنده به جای احتمالات کلاس، خروجی‌های پیوسته را ترکیب می‌کند.

خطر خطاهای انتشار برچسب چیست؟

اگر مدل‌های پایه اولیه نادرست باشند، پیش‌بینی‌های مطمئن آن‌ها ممکن است همچنان اشتباه باشند و این خطاها در تکرارهای بعدی تقویت می‌شوند. استفاده از یک آستانه اطمینان اولیه بالا، نظارت بر یک مجموعه اعتبارسنجی برچسب‌دار نگه داشته شده در طول تکرارها، و توقف زمانی که عملکرد اعتبارسنجی بهبود نمی‌یابد، دفاع اصلی هستند.

روش‌های مرتبط

منابع

  1. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.

    باز کردن مرجع DOI
    کپی شد.
  2. Chapelle, O., Schölkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    شابک: 978-0-262-03358-9
    کپی شد.