Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون لجستیک نیمه‌نظارت‌شده

معرفی‌شده توسط
Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
سال
1995–2000
نوع
Semi-supervised classifier
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون لجستیک نیمه‌نظارت‌شده، طبقه‌بند استاندارد لجستیک را با گنجاندن داده‌های بدون برچسب در طول آموزش گسترش می‌دهد. با استفاده از خودآموزی (self-training)، بیشینه‌سازی امید ریاضی (expectation-maximization)، یا پوشش‌های انتشار برچسب (label-propagation)، به طور تکراری برچسب‌های نرم (soft labels) را به نمونه‌های بدون برچسب اختصاص می‌دهد و پارامترهای مدل را اصلاح می‌کند، که تعمیم‌پذیری را در مواردی که داده‌های برچسب‌دار نسبت به مجموعه داده کامل کمیاب هستند، بهبود می‌بخشد.

شهود پشت روش

تصور کنید طبقه‌بندی‌کننده بیماری را با تنها ۵۰ تشخیص تأیید شده اما ۵۰۰۰ رکورد بیمار که نتیجه نامشخص است، آموزش می‌دهید. رگرسیون لجستیک استاندارد آن رکوردهای بدون برچسب را کاملاً نادیده می‌گیرد. رگرسیون لجستیک نیمه‌نظارت‌شده از پیش‌بینی‌های احتمالی خود مدل برای اختصاص برچسب‌های موقت به موارد بدون برچسب استفاده می‌کند، بر روی مجموعه شبه‌برچسب‌گذاری شده (pseudo-labeled) بزرگ‌شده مجدداً آموزش می‌بیند و این فرآیند را تکرار می‌کند. هر تکرار مرز تصمیم‌گیری را به سمت نواحی با چگالی بالای داده سوق می‌دهد و به طور مؤثری به داده‌های بدون برچسب اجازه می‌دهد تا محل قرارگیری مرز را بدون نیاز به حاشیه‌نویسی پرهزینه توسط متخصص، هدایت کنند.

تاریخ

یادگیری نیمه‌نظارت‌شده برای طبقه‌بندهای احتمالی در اواخر دهه ۱۹۹۰ نظام‌مند شد. Yarowsky (1995) خودآموزی را برای وظایف NLP رایج کرد و Nigam و همکاران (2000) رویکرد EM را برای طبقه‌بندی متن با مدل‌های بیز ساده (naive Bayes) و شبیه لجستیک رسمی کردند. کتاب سال ۲۰۰۶ Chapelle، Scholkopf و Zien در MIT Press مبانی نظری را تثبیت کرد. رگرسیون لجستیک نیمه‌نظارت‌شده اکنون یک تکنیک استاندارد در محیط‌هایی است که بودجه حاشیه‌نویسی محدود است و در پوشش SelfTrainingClassifier در scikit-learn و کتابخانه‌های اختصاصی SSL پیاده‌سازی شده است.

چه زمانی استفاده شود

رگرسیون لجستیک نیمه‌نظارت‌شده را زمانی انتخاب کنید که نمونه‌های برچسب‌دار کم باشند — معمولاً زمانی که نسبت برچسب‌دار کمتر از ۲۰٪ کل داده‌های موجود باشد — اما یک مجموعه بزرگ از داده‌های بدون برچسب از همان توزیع وجود داشته باشد و حاشیه‌نویسی پرهزینه باشد. این روش برای طبقه‌بندی متن، پیش‌بینی پیامدهای بالینی و تحقیقات پیمایشی که در آن‌ها پیامدها تا حدی مشاهده می‌شوند، مناسب است. زمانی که داده‌های بدون برچسب از توزیع متفاوتی نسبت به مجموعه برچسب‌دار آمده‌اند (تغییر کوواریانس)، زمانی که برچسب‌ها به صورت تصادفی گم نشده‌اند و گمشدگی آموزنده است، یا زمانی که مجموعه برچسب‌دار در حال حاضر به اندازه‌ای بزرگ است که یک رگرسیون لجستیک استاندارد عملکرد خوبی دارد — در این موارد، نویز شبه‌برچسب بیشتر ضرر می‌رساند تا منفعت — از آن استفاده نکنید.

محدودیت‌ها و ملاحظات

  • اگر داده‌های برچسب‌دار اولیه خیلی کم یا نامشخص باشند، شبه‌برچسب‌های اولیه نویزدار هستند و خطاها در طول تکرارها انباشته می‌شوند.
  • فرض می‌کند که داده‌های بدون برچسب از همان توزیع داده‌های برچسب‌دار استخراج شده‌اند — که در بسیاری از سناریوهای جمع‌آوری دنیای واقعی نقض می‌شود.
  • همگرایی به یک بهینه محلی تضمین نمی‌کند که نسبت به خط پایه نظارت‌شده بهبود یابد.
  • آستانه‌های اطمینان در خودآموزی نیاز به تنظیم دارند و به شیوه‌های غیرواضحی با عدم تعادل کلاس (class imbalance) تعامل دارند.
  • تفسیر ضرایب دشوارتر می‌شود زیرا مجموعه آموزش مؤثر شامل برچسب‌های تولید شده توسط الگوریتم است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • از مجموعه داده‌های بزرگ بدون برچسب برای بهبود طبقه‌بند لجستیک بدون هزینه حاشیه‌نویسی اضافی بهره می‌برد.
  • تفسیرپذیری ضرایب رگرسیون لجستیک و نسبت شانس‌ها (odds ratios) را حفظ می‌کند.
  • پوشش خودآموزی نسبت به مدل خنثی است و افزودن آن به هر خط لوله رگرسیون لجستیک موجود آسان است.
  • نوع EM یک چارچوب احتمالی اصولی با تضمین همگرایی رسمی ارائه می‌دهد.
  • تنظیم‌گری (L1/L2) می‌تواند به سادگی برای کنترل بیش‌برازش (overfitting) بر روی داده‌های شبه‌برچسب‌دار ترکیب شود.

کاربردها

  • پیش‌بینی پیامدهای بالینی که در آن تنها زیرمجموعه‌ای از بیماران تشخیص‌های تأیید شده دارند.
  • طبقه‌بندی متن با مجموعه‌های متنی بزرگ و مجموعه‌های آموزشی کوچک که توسط متخصص برچسب‌گذاری شده‌اند.
  • تحقیقات پیمایشی که در آن پاسخ‌دهندگان تنها به زیرمجموعه‌ای از سؤالات پیامد پاسخ می‌دهند.
  • تحلیل احساسات و استخراج نظر با داده‌های رسانه‌های اجتماعی که تا حدی حاشیه‌نویسی شده‌اند.
  • تشخیص تقلب که در آن موارد تقلب تأیید شده نادر هستند اما حجم تراکنش‌ها زیاد است.
  • مطالعات تصویربرداری پزشکی که در آن برچسب‌های رادیولوژیست برای زیرمجموعه‌ای از اسکن‌ها در دسترس هستند.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک مدل رگرسیون لجستیک استاندارد بر روی نمونه‌های برچسب‌دار موجود برازش داده می‌شود. این کار تخمین‌های اولیه ضرایب و تخمین‌های احتمال کلاس را برای هر مشاهده ارائه می‌دهد. حتی با برچسب‌های کم، این شروع گرم (warm start) یک مرز تصمیم‌گیری منطقی اولیه تولید می‌کند که تکرارهای بعدی آن را اصلاح خواهند کرد.

2

مدل آموزش‌دیده به هر نمونه بدون برچسب امتیاز می‌دهد و یک احتمال پسین P(y=k | x) را برای هر کلاس تولید می‌کند. در خودآموزی، نمونه‌هایی که حداکثر احتمال آن‌ها از یک آستانه اطمینان فراتر می‌رود، یک شبه‌برچسب سخت (hard pseudo-label) دریافت می‌کنند. در رویکردهای مبتنی بر EM، به جای عضویت سخت کلاس، عضویت‌های کسری نرم (soft fractional memberships) اختصاص داده می‌شود و عدم قطعیت را در طول فرآیند صریح نگه می‌دارد.

فرمول
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)
3

رگرسیون لجستیک بر روی مجموعه ترکیبی از نمونه‌های واقعاً برچسب‌دار و نمونه‌های بدون برچسب شبه‌برچسب‌دار (یا نرم‌برچسب‌دار) مجدداً برازش داده می‌شود. تنظیم‌گری (Regularization) — L1 یا L2 — برای جلوگیری از اینکه مجموعه داده گسترش‌یافته ضرایب را بیش از حد تهاجمی به سمت سیگنال شبه‌برچسب نویزدار سوق دهد، اعمال می‌شود.

4

مراحل امتیازدهی به داده‌های بدون برچسب و بازآموزی تا همگرایی تکرار می‌شوند — معمولاً زمانی که تغییر در درست‌نمایی لگاریتمی (log-likelihood) یا مقادیر ضریب بین تکرارها کمتر از یک تلرانس کوچک شود. نوع EM به طور رسمی بین یک گام E (محاسبه برچسب‌های مورد انتظار) و یک گام M (بیشینه‌سازی درست‌نمایی لگاریتمی داده کامل) متناوب می‌شود.

5

پس از همگرایی، مدل نهایی بر روی یک مجموعه آزمون برچسب‌دار جدا شده با استفاده از معیارهای استاندارد مانند دقت (accuracy)، AUC و F1 ارزیابی می‌شود. اعتبارسنجی متقابل (Cross-validation) باید فقط بر روی بخش برچسب‌دار انجام شود تا از نشت برچسب از مجموعه بدون برچسب به تخمین اعتبارسنجی جلوگیری شود.

دام‌های رایج

  • گنجاندن نمونه‌های بدون برچسب در مجموعه اعتبارسنجی یا آزمون، که با نشت اطلاعات توزیعی، تخمین‌های عملکرد را متورم می‌کند.
  • تنظیم یک آستانه اطمینان پایین که مجموعه آموزش را با شبه‌برچسب‌های نامشخص پر می‌کند و خطاهای اولیه را انباشته می‌کند.
  • نادیده گرفتن عدم تعادل کلاس هنگام اختصاص شبه‌برچسب‌ها، که باعث می‌شود کلاس اکثریت در تکرارهای متوالی غالب شود.
  • رفتار با داده‌های شبه‌برچسب‌دار به عنوان داده‌های واقعاً برچسب‌دار در کمی‌سازی عدم قطعیت پایین‌دستی یا آزمون معناداری.
  • اجرای تنظیم‌گری بر روی مجموعه آموزش گسترش‌یافته، که به نویز شبه‌برچسب اجازه می‌دهد تا بیش‌برازش را هدایت کند.

پرسش‌های متداول

رگرسیون لجستیک نیمه‌نظارت‌شده چه تفاوتی با رگرسیون لجستیک استاندارد دارد؟

رگرسیون لجستیک استاندارد فقط از نمونه‌های برچسب‌دار استفاده می‌کند. نوع نیمه‌نظارت‌شده به طور تکراری برچسب‌های موقت را به داده‌های بدون برچسب اختصاص می‌دهد و آن‌ها را در بازآموزی گنجانده، بنابراین مرز تصمیم‌گیری هم توسط برچسب‌های تأیید شده و هم ساختار مجموعه داده بدون برچسب بزرگ‌تر شکل می‌گیرد.

از چه آستانه اطمینانی برای خودآموزی باید استفاده کنم؟

نقاط شروع رایج برای طبقه‌بندی دودویی ۰.۸۵–۰.۹۵ هستند. آستانه مناسب به تعادل کلاس و کیفیت برچسب بستگی دارد. آن را بر روی مجموعه اعتبارسنجی برچسب‌دار تنظیم کنید و کسری از نمونه‌های بدون برچسب اضافه شده در هر تکرار را برای جلوگیری از سیل شبه‌برچسب‌های نامشخص، نظارت کنید.

آیا هنوز می‌توانم ضرایب را به عنوان نسبت شانس تفسیر کنم؟

بله، اما با احتیاط. ضرایب تخمینی تفسیر لگاریتم شانس را حفظ می‌کنند، اما فواصل اطمینان آن‌ها دست‌کم گرفته می‌شوند زیرا داده‌های شبه‌برچسب‌دار به عنوان مشاهدات واقعی در نظر گرفته می‌شوند. استنتاج در مورد معناداری باید فقط بر بخش واقعاً برچسب‌دار تکیه کند.

اگر داده‌های بدون برچسب من از دوره زمانی یا منبع متفاوتی آمده باشند چه؟

تغییر توزیع بین مجموعه‌های برچسب‌دار و بدون برچسب یکی از حالت‌های اصلی شکست است. اگر داده‌های بدون برچسب از جمعیت یا دوره متفاوتی آمده باشند، شبه‌برچسب‌ها ممکن است خطاهای سیستمی را تقویت کنند. قبل از ادامه، شیفت کوواریانس را بررسی کنید.

آیا پیاده‌سازی آماده‌ای وجود دارد؟

بله. SelfTrainingClassifier در scikit-learn هر طبقه‌بند احتمالی، از جمله LogisticRegression، را برای خودآموزی پوشش می‌دهد. نوع EM نیاز به پیاده‌سازی دستی یا کتابخانه‌های اختصاصی SSL مانند SKSSL یا LASSL دارد.

روش‌های مرتبط

منابع

  1. Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.

    باز کردن مرجع DOI
    کپی شد.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.

    شابک: 978-0-262-03358-9
    کپی شد.