Skip to content
بازگشت به نتایج جست‌وجو

یادگیری تقویتی نیمه‌نظارتی (Semi-supervised Boosting)

معرفی‌شده توسط
Mallapragada, P. K.; Bennett, K. P.; and others
سال
1999–2009
نوع
Semi-supervised ensemble method
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری تقویتی نیمه‌نظارتی یک پارادایم یادگیری گروهی (ensemble learning) است که الگوریتم‌های تقویتی کلاسیک — مانند AdaBoost — را گسترش می‌دهد تا از داده‌های برچسب‌دار و بدون برچسب بهره‌برداری کند. با انتشار اطلاعات برچسب از طریق ساختار شباهت بر روی نمونه‌های بدون برچسب، طبقه‌بندی‌کننده‌های قوی‌تری نسبت به تقویت نظارت‌شده به‌تنهایی، زمانی که داده‌های برچسب‌دار کمیاب هستند، آموزش می‌دهد.

شهود پشت روش

تقویت کلاسیک به‌طور تکراری بر روی نمونه‌های برچسب‌دار که اشتباه طبقه‌بندی شده‌اند تمرکز می‌کند. تقویت نیمه‌نظارتی بُعد جدیدی را اضافه می‌کند: از ساختار هندسی داده‌های بدون برچسب برای استنتاج برچسب‌های نرم (soft labels) یا وزن‌دهی مجدد نمونه‌ها استفاده می‌کند. به‌طور شهودی، اگر دو نقطه بدون برچسب بسیار شبیه به هم باشند، باید برچسب یکسانی دریافت کنند. با گنجاندن این فشار سازگاری در به‌روزرسانی وزن‌های تقویتی، گروه می‌تواند حتی زمانی که تنها تعداد انگشت‌شماری مثال برچسب‌دار در دسترس است، تعمیم بهتری پیدا کند. نتیجه مدلی است که سیگنال را از اکثریت بدون برچسب قرض می‌گیرد در حالی که همچنان توسط اقلیت برچسب‌دار هدایت می‌شود.

تاریخ

ایده ترکیب تقویت با داده‌های بدون برچسب در اواخر دهه 1990 پدیدار شد، با Bennett و Demiriz (1999) در میان اولین کسانی که استراتژی‌های گروهی نیمه‌نظارتی را بررسی کردند. الگوریتم SemiBoost، که توسط Mallapragada و همکاران در مقاله‌ای در IEEE TPAMI در سال 2009 رسمی شد، به مرجع متعارف برای تقویت نیمه‌نظارتی مبتنی بر گراف تبدیل شد. کارهای بعدی این چارچوب را به تنظیمات چندکلاسه گسترش دادند و آن را به نظریه تنظیم‌کننده منیفولد (manifold regularization) مرتبط کردند و تقویت نیمه‌نظارتی را به عنوان یک خط پایه استاندارد در ادبیات یادگیری نیمه‌نظارتی تثبیت کردند.

چه زمانی استفاده شود

یادگیری تقویتی نیمه‌نظارتی زمانی مناسب است که داده‌های برچسب‌دار کمیاب و به‌دست‌آوردن آن‌ها پرهزینه باشد اما مجموعه بزرگ‌تری از داده‌های بدون برچسب به‌راحتی در دسترس باشد — که در حاشیه‌نویسی تصاویر پزشکی، دسته‌بندی متن و نظارت مبتنی بر حسگر رایج است. این روش برای وظایف طبقه‌بندی دودویی یا چندکلاسه که در آن فرض خوشه یا منیفولد (manifold assumption) به‌طور منطقی برقرار است (ورودی‌های مشابه برچسب‌های مشابهی دارند) مناسب‌تر است. از آن زمانی اجتناب کنید که داده‌های بدون برچسب نماینده توزیع آزمون نباشند، زمانی که فرض خوشه نامعقول است (به‌عنوان مثال، داده‌ها از فرآیندهای اساساً متفاوت)، یا زمانی که مجموعه برچسب‌دار در حال حاضر برای اشباع یک تقویت‌کننده نظارت‌شده به‌اندازه کافی بزرگ است — در این صورت، تقویت گرادیان ساده با پیچیدگی بسیار کمتر، عملکرد آن را مطابقت می‌دهد یا از آن فراتر می‌رود.

محدودیت‌ها و ملاحظات

  • عملکرد به‌شدت کاهش می‌یابد اگر داده‌های بدون برچسب توزیع مشابهی با داده‌های برچسب‌دار نداشته باشند (تغییر توزیع داده).
  • نویز برچسب شبه می‌تواند در طول دورهای تقویتی انباشته شود و منجر به تقویت خطا در زمانی که پیش‌بینی‌های اولیه ضعیف هستند، شود.
  • ساخت گراف شباهت نیاز به انتخاب پهنای باند هسته (kernel bandwidth) یا تعداد همسایگان دارد که حساس است و نیاز به اعتبارسنجی دارد.
  • هزینه محاسباتی به‌دلیل ساخت گراف و محاسبه مجدد برچسب شبه در هر دور، به‌طور قابل توجهی بیشتر از تقویت نظارت‌شده است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • از داده‌های بدون برچسب فراوان برای بهبود دقت فراتر از آنچه مجموعه برچسب‌دار به‌تنهایی پشتیبانی می‌کند، بهره می‌برد.
  • عملکرد تجربی قوی و انعطاف‌پذیری چارچوب‌های تقویتی مانند AdaBoost را به ارث می‌برد.
  • ساختار شباهت مبتنی بر گراف، انتشار برچسب را قابل تفسیر و قابل تنظیم می‌کند.
  • با هر یادگیرنده پایه که وزن نمونه را می‌پذیرد کار می‌کند و چارچوب را ماژولار نگه می‌دارد.
  • به‌طور مداوم در رژیم‌های نرخ برچسب پایین که در آزمایش‌های معیار مستند شده‌اند، از تقویت صرفاً نظارت‌شده بهتر عمل می‌کند.

کاربردها

  • طبقه‌بندی متن و اسناد که در آن مجموعه‌های متنی برچسب‌دار کوچک هستند اما مجموعه‌های متنی بدون برچسب بزرگ در دسترس هستند.
  • طبقه‌بندی تصاویر پزشکی با تصاویر محدود حاشیه‌نویسی شده توسط متخصص در کنار آرشیوهای بزرگ بدون برچسب.
  • دسته‌بندی محتوای وب با بهره‌برداری از ساختار گراف پیوند ابر (hyperlink graph) به عنوان منبع شباهت.
  • تشخیص خطا در صنعت با قرائت‌های فراوان حسگر اما رویدادهای خطای کم که به‌صورت دستی برچسب‌گذاری شده‌اند.
  • وظایف بیوانفورماتیک مانند پیش‌بینی عملکرد پروتئین با حاشیه‌نویسی‌های معتبر کمیاب.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک طبقه‌بندی‌کننده پایه — معمولاً یک درخت تصمیم‌دهنده (decision stump) یا درخت کم‌عمق — بر روی بخش برچسب‌دار مجموعه داده آموزش داده می‌شود. این فرضیه اولیه را فراهم می‌کند و چارچوب تقویتی را راه‌اندازی می‌کند. تمام نمونه‌های برچسب‌دار در این دور اول وزن‌های یکنواخت دریافت می‌کنند.

2

یک شباهت زوجی یا گراف بر روی داده‌های ترکیبی برچسب‌دار و بدون برچسب ساخته می‌شود، که اغلب از هسته تابع شعاعی پایه (RBF) یا گراف k-نزدیک‌ترین همسایه استفاده می‌کند. این فرض را کدگذاری می‌کند که نقاط نزدیک در فضای ویژگی احتمالاً کلاس یکسانی دارند.

3

با استفاده از مدل گروهی فعلی و گراف شباهت، برچسب‌های شبه نرم (soft pseudo-labels) به نمونه‌های بدون برچسب اختصاص داده می‌شوند. نقاط نزدیک به مثال‌های برچسب‌دار که با اطمینان طبقه‌بندی شده‌اند، برچسب‌های خود را به ارث می‌برند؛ نقاط نزدیک به مرزهای تصمیم‌گیری برچسب‌های شبه با اطمینان پایین دریافت می‌کنند و سهم کمتری در به‌روزرسانی دارند.

4

یادگیرنده ضعیف فعلی بر روی مجموعه داده افزوده شده — مثال‌های برچسب‌دار به‌علاوه مثال‌های برچسب‌دار شبه — با استفاده از توزیع وزن تقویتی، برازش داده می‌شود. وزن یادگیرنده alpha_t از خطای وزن‌دار محاسبه می‌شود، دقیقاً مانند AdaBoost، اما خطای وزن‌دار اکنون بازتاب‌دهنده سهم هر دو نمونه برچسب‌دار و بدون برچسب است.

فرمول
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)
5

وزن‌های نمونه به‌روزرسانی می‌شوند تا مثال‌هایی که توسط یادگیرنده فعلی اشتباه طبقه‌بندی شده‌اند، در دور بعدی وزن بیشتری دریافت کنند. برای نمونه‌های بدون برچسب، به‌روزرسانی وزن با اطمینان برچسب شبه تعدیل می‌شود: برچسب‌های شبه با اطمینان بالا مانند نمونه‌های برچسب‌دار وزن‌دهی می‌شوند، در حالی که موارد با اطمینان پایین برای محدود کردن انتشار نویز، وزن‌دهی کمتری دریافت می‌کنند.

6

پس از T دور تقویتی، پیش‌بینی نهایی علامت رأی اکثریت وزن‌دار همه یادگیرنده‌های ضعیف است. گروه سیگنال حاصل از نظارت برچسب‌دار و اطلاعات ساختاری منتشر شده از داده‌های بدون برچسب را در یک مرز تصمیم‌گیری واحد و قوی ترکیب می‌کند.

فرمول
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

دام‌های رایج

  • فرض اینکه داده‌های بدون برچسب نماینده هستند بدون تأیید هم‌پوشانی توزیعی با مثال‌های برچسب‌دار.
  • استفاده از تعداد زیادی دور تقویتی با برچسب‌های شبه نویزی، باعث می‌شود مدل بیش‌برازش (overfit) به تخصیص‌های نرم نادرست شود.
  • نادیده گرفتن تنظیم ابرپارامترهای گراف (پهنای باند هسته، k در k-NN) — کیفیت ضعیف گراف، کل مرحله انتشار را بی‌اعتبار می‌کند.
  • گزارش تنها دقت بدون معیارهای طبقه‌بندی‌شده (F1, AUC) زمانی که مجموعه برچسب‌دار نامتوازن کلاس است.
  • نادیده گرفتن یک مجموعه آزمون برچسب‌دار جدا شده و ارزیابی بر روی همان مجموعه برچسب‌دار که برای تولید برچسب‌های شبه استفاده شده است.

پرسش‌های متداول

چه زمانی یادگیری تقویتی نیمه‌نظارتی از AdaBoost صرفاً نظارت‌شده بهتر عمل می‌کند؟

به‌طور قابل‌اعتمادترین زمانی که مجموعه برچسب‌دار بسیار کوچک است — معمولاً کمتر از چند صد مثال برای هر کلاس — و داده‌های بدون برچسب فراوان هستند و از همان توزیع استخراج شده‌اند. با مجموعه‌های برچسب‌دار بزرگ، شکاف بسته می‌شود و تقویت نظارت‌شده استاندارد ساده‌تر و سریع‌تر است.

چگونه باید گراف شباهت را بسازم؟

هسته تابع شعاعی پایه (RBF) با پهنای باند تنظیم شده از طریق اعتبارسنجی متقابل (cross-validation) بر روی مجموعه برچسب‌دار، رایج‌ترین انتخاب است. گراف‌های k-نزدیک‌ترین همسایه یک جایگزین ساده‌تر هستند. معیار کلیدی این است که گراف باید مثال‌های کلاس یکسان را به هم متصل کند و خوشه‌های کلاس‌های متفاوت را تا حد امکان به‌وضوح جدا کند.

کدام یادگیرنده پایه بهترین عملکرد را دارد؟

درخت‌های تصمیم‌دهنده (درخت‌های با عمق 1) انتخاب استاندارد هستند، مطابق با AdaBoost کلاسیک. درخت‌های کم‌عمق (عمق 2–4) می‌توانند دقت را زمانی که مرز تصمیم‌گیری پیچیده است بهبود بخشند اما خطر اتکای بیش از حد به برچسب‌های شبه نویزی را افزایش می‌دهند.

چند دور تقویتی لازم است؟

با 100–200 دور شروع کنید و خطای اعتبارسنجی برچسب‌دار را نظارت کنید. برخلاف تقویت صرفاً نظارت‌شده، افزودن دورهای زیاد می‌تواند نویز برچسب شبه را تقویت کند، بنابراین توقف زودهنگام (early stopping) بر روی یک مجموعه اعتبارسنجی برچسب‌دار کوچک به‌شدت توصیه می‌شود.

آیا عدم توازن کلاس یک نگرانی است؟

بله. هنگامی که مجموعه برچسب‌دار نامتوازن کلاس است، پیش‌بینی‌های اولیه مغرضانه هستند و برچسب‌های شبه آن سوگیری را به مجموعه بدون برچسب منتشر می‌کنند. برای کاهش این امر، کلاس‌های برچسب‌دار را قبل از آموزش وزن‌دهی مجدد کنید یا کلاس اقلیت را بیش‌نمونه‌گیری (oversample) کنید.

روش‌های مرتبط

منابع

  1. Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.

    باز کردن مرجع DOI
    کپی شد.
  2. Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.

    باز کردن مرجع انتشار
    کپی شد.