Skip to content
بازگشت به نتایج جست‌وجو

نِیو بِیز نیمه‌نظارت‌شده

معرفی‌شده توسط
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
سال
2000
نوع
Semi-supervised generative classifier
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

نِیو بِیز نیمه‌نظارت‌شده مدل مولد کلاسیک نِیو بِیز را گسترش می‌دهد تا از مجموعه‌های بزرگی از داده‌های بدون برچسب در کنار مجموعه‌ای کوچک از داده‌های برچسب‌دار بهره‌برداری کند. این روش با استفاده از الگوریتم امید ریاضی-حداکثرسازی (Expectation-Maximization)، به صورت تکراری تخصیص‌های نرم کلاس را برای نمونه‌های بدون برچسب استنتاج می‌کند و پارامترهای کلاس و ویژگی را مجدداً تخمین می‌زند که منجر به طبقه‌بندی‌کننده‌های به مراتب بهتری می‌شود، به ویژه زمانی که نمونه‌های برچسب‌دار کمیاب هستند.

شهود پشت روش

نِیو بِیز کلاسیک برای تخمین احتمالات کلاس و درست‌نمایی‌های ویژگی به نمونه‌های برچسب‌دار نیاز دارد. زمانی که برچسب‌گذاری پرهزینه است اما داده‌های خام فراوان هستند، بیشتر اطلاعات موجود در داده‌ها استفاده‌نشده باقی می‌مانند. نِیو بِیز نیمه‌نظارت‌شده این مشکل را با در نظر گرفتن برچسب‌های ناشناخته نمونه‌های بدون برچسب به عنوان متغیرهای پنهان حل می‌کند: این روش بین حدس زدن آن برچسب‌ها با توجه به مدل فعلی (گام E) و اصلاح مدل با استفاده از آن حدس‌ها (گام M) تناوب می‌کند. در طول چندین تکرار، مدل خود را به سمت تخمین پارامتر دقیق‌تری نسبت به آنچه تنها داده‌های برچسب‌دار می‌توانستند پشتیبانی کنند، بوت‌استرپ می‌کند.

تاریخ

نیگام، مک‌کالوم، ترون، و میچل (2000) نِیو بِیز نیمه‌نظارت‌شده را برای طبقه‌بندی متن رایج کردند و نشان دادند که EM با یک مدل نِیو بِیز چندجمله‌ای می‌تواند نرخ خطا را در مجموعه‌داده‌های معیار به نصف کاهش دهد، زمانی که مقالات خبری بدون برچسب، یک مجموعه کوچک برچسب‌دار را تکمیل می‌کردند. این رویکرد بر کارهای قبلی EM برای مدل‌های ترکیبی استوار بود و به یک مثال کانونی در ادبیات یادگیری نیمه‌نظارت‌شده تبدیل شد که به طور گسترده در چاپل و همکاران (2006) مورد بحث قرار گرفت.

چه زمانی استفاده شود

ایده‌آل زمانی که تعداد نمونه‌های برچسب‌دار در ده‌ها تا چند صد مورد است اما مقادیر زیادی داده بدون برچسب از همان توزیع در دسترس است — وضعیتی رایج در طبقه‌بندی متن، فیلتر کردن هرزنامه، و دسته‌بندی اسناد زیست‌پزشکی. ویژگی‌ها باید به صورت شرطی مستقل از کلاس باشند (یا تقریباً چنین باشند)، که نمایش‌های کیسه کلمات و مبتنی بر شمارش را مناسب می‌سازد. زمانی که داده‌های بدون برچسب از توزیع متفاوتی نسبت به مجموعه برچسب‌دار می‌آیند (تغییر کوواریانس)، از این روش اجتناب کنید، زیرا به‌روزرسانی‌های EM ممکن است به جای کمک، آسیب‌رسان باشند؛ در چنین مواردی پارامتر وزن‌دهی lambda باید تنظیم شود. همچنین زمانی که فرض استقلال شرطی به شدت نقض می‌شود و یک مدل تمایزی به شدت ترجیح داده می‌شود، صرف نظر از کمبود برچسب، از این روش اجتناب کنید.

محدودیت‌ها و ملاحظات

  • فرض استقلال شرطی نِیو بِیز را به ارث می‌برد؛ ویژگی‌های همبسته تخمین پارامترها را کاهش می‌دهند.
  • EM به یک بهینه محلی همگرا می‌شود که به مقداردهی اولیه بستگی دارد؛ ممکن است چندین راه‌اندازی مجدد تصادفی لازم باشد.
  • داده‌های بدون برچسب از یک توزیع تغییر یافته می‌توانند دقت را کاهش دهند (انتقال منفی) مگر اینکه با دقت وزن‌دهی آن‌ها کاهش یابد.
  • در مقایسه با روش‌های نیمه‌نظارت‌شده تمایزی (مانند SVM استنتاجی، انتشار برچسب) در مجموعه‌های ویژگی کوچک با همبستگی‌های ویژگی قوی، رقابتی نیست.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • بهره‌برداری کارآمد از داده‌های بدون برچسب که در غیر این صورت کنار گذاشته می‌شدند، که اغلب به طور چشمگیری نیاز به داده‌های برچسب‌دار را کاهش می‌دهد.
  • از نظر محاسباتی سریع: هر تکرار EM به صورت خطی با اندازه داده‌ها متناسب است، که آن را برای پیکره‌های متنی بزرگ مناسب می‌سازد.
  • چارچوب احتمالاتی اصولی با تضمین‌های همگرایی به خوبی درک شده (به یک بهینه محلی از درست‌نمایی).
  • احتمالات پسین کالیبره شده تولید می‌کند، که رتبه‌بندی و آستانه‌گذاری بعدی را ممکن می‌سازد.
  • پیاده‌سازی و گسترش آن ساده است — وزن‌دهی lambda یک اهرم عملی برای کنترل تأثیر داده‌های بدون برچسب فراهم می‌کند.

کاربردها

  • طبقه‌بندی متن و سند با داده‌های آموزشی برچسب‌دار محدود.
  • تشخیص هرزنامه و فیشینگ که در آن هرزنامه برچسب‌دار کمیاب است اما ایمیل بدون برچسب فراوان است.
  • تحلیل احساسات که از تعداد انگشت‌شماری از نظرات برچسب‌دار بوت‌استرپ شده است.
  • دسته‌بندی ادبیات زیست‌پزشکی (مانند دسته‌بندی مقالات PubMed) با زیرمجموعه‌های کوچک برچسب‌گذاری شده توسط متخصص.
  • طبقه‌بندی موضوع صفحات وب با استفاده از یک دانه کوچک برچسب‌گذاری شده دستی و پیکره‌های بزرگ خزش شده.
  • مسیریابی ایمیل یا تیکت که در آن تنها کسری از تیکت‌های تاریخی دارای برچسب‌های دسته‌بندی تأیید شده هستند.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک مدل اولیه نِیو بِیز را تنها با استفاده از نمونه‌های برچسب‌دار آموزش دهید. این کار تخمین‌های اولیه از پیشایندهای کلاس P(y) و درست‌نمایی‌های شرطی ویژگی P(x_j | y) را ارائه می‌دهد — معمولاً با هموارسازی لاپلاس برای مدیریت مقادیر ویژگی‌های دیده نشده. مدل حاصله به جای یک طبقه‌بندی‌کننده نهایی، نقطه شروعی برای حلقه EM است.

2

مدل فعلی را برای هر نمونه بدون برچسب اعمال کنید تا وزن‌های عضویت نرم (احتمالاتی) کلاس را محاسبه کنید. هر سند یا نمونه بدون برچسب به صورت کسری به تمام کلاس‌ها متناسب با احتمال پسین P(y | x, theta) تخصیص داده می‌شود. این شمارش‌های کسری، شمارش‌های قطعی از داده‌های برچسب‌دار را تکمیل می‌کنند.

فرمول
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}
3

تمام پارامترهای مدل — پیشایندهای کلاس و درست‌نمایی‌های ویژگی — را با ادغام شمارش‌های قطعی از نمونه‌های برچسب‌دار با شمارش‌های کسری انباشته شده در گام E، مجدداً تخمین بزنید. نمونه‌های بدون برچسب به نسبت وزن‌های کلاس استنتاج شده خود مشارکت می‌کنند، بنابراین داده‌های بدون برچسب آموزنده پارامترها را به طور معناداری تغییر می‌دهند.

4

گام E و گام M را تکرار کنید تا زمانی که لگاریتم درست‌نمایی تمام داده‌ها (برچسب‌دار به علاوه بدون برچسب) همگرا شود یا حداکثر تعداد تکرارها حاصل شود. یک فراپارامتر وزن‌دهی lambda می‌تواند سهم داده‌های بدون برچسب را کاهش دهد اگر توزیع داده‌های بدون برچسب با داده‌های برچسب‌دار متفاوت باشد، که از انتقال منفی جلوگیری می‌کند.

5

پس از همگرایی، نمونه‌های جدید را با استفاده از قاعده استاندارد نِیو بِیز طبقه‌بندی کنید: کلاسی را با بالاترین احتمال پسین تحت پارامترهای یادگرفته شده تخصیص دهید. استنتاج در زمان اجرا مشابه نِیو بِیز معمولی است — سریع، با فرم بسته، و مناسب برای مجموعه‌های بزرگ اسناد.

فرمول
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)

دام‌های رایج

  • نادیده گرفتن عدم تطابق توزیع بین مجموعه‌های برچسب‌دار و بدون برچسب — همیشه تأیید کنید که هر دو نمونه از یک وظیفه و دامنه گرفته شده‌اند.
  • حذف تنظیم lambda زمانی که کیفیت داده‌های بدون برچسب نامشخص است؛ پیش‌فرض گرفتن lambda=1 می‌تواند به عملکرد آسیب برساند.
  • ارزیابی تنها بر روی مجموعه برچسب‌دار آموزشی بدون یک مجموعه آزمایشی نگه داشته شده، که دقت ظاهری را افزایش می‌دهد.
  • در نظر گرفتن همگرایی EM به عنوان بهینگی تضمین شده — همیشه با یک خط مبنای تنها برچسب‌دار و یک خط مبنای خودآموزش ساده مقایسه کنید.
  • فراموش کردن هموارسازی لاپلاس، که باعث خطاهای احتمال صفر برای مقادیر ویژگی‌های دیده نشده در طول گام E می‌شود.

پرسش‌های متداول

چند نمونه برچسب‌دار برای به دست آوردن یک مدل شروع خوب نیاز دارم؟

به تعداد کم ۱۰ تا ۵۰ نمونه در هر کلاس می‌تواند برای متن با ویژگی‌های زیاد کافی باشد، مشروط بر اینکه هموارسازی لاپلاس اعمال شود. نمونه‌های برچسب‌دار بیشتر همیشه کمک می‌کنند، اما رویکرد نیمه‌نظارت‌شده به طور خاص زمانی می‌درخشد که کمتر از چند صد نمونه برچسب‌دار داشته باشید.

پارامتر lambda چیست و چگونه آن را تنظیم کنم؟

Lambda کنترل می‌کند که نمونه‌های بدون برچسب چه مقدار وزن نسبت به نمونه‌های برچسب‌دار در طول گام M دریافت می‌کنند (lambda=1 با آن‌ها به طور مساوی رفتار می‌کند؛ lambda=0 آن‌ها را نادیده می‌گیرد). آن را از طریق اعتبارسنجی متقابل بر روی مجموعه برچسب‌دار تنظیم کنید، با مقادیر {0.1, 0.3, 0.5, 1.0} شروع کنید. زمانی که به عدم تطابق توزیع مشکوک هستید، lambda را کاهش دهید.

آیا EM همیشه نِیو بِیز تنها برچسب‌دار را بهبود می‌بخشد؟

خیر. اگر داده‌های بدون برچسب از توزیع متفاوتی باشند، EM می‌تواند پارامترها را در جهت اشتباه حرکت دهد و خطا را افزایش دهد. همیشه قبل از استقرار مدل نیمه‌نظارت‌شده، آن را با خط مبنای تنها برچسب‌دار مقایسه کنید.

این روش چه تفاوتی با خودآموزش با نِیو بِیز دارد؟

خودآموزش برچسب‌های قطعی را به نمونه‌های بدون برچسب بالای یک آستانه اطمینان اختصاص می‌دهد، سپس مجدداً آموزش می‌دهد. نِیو بِیز نیمه‌نظارت‌شده از طریق EM برچسب‌های کسری نرم را به تمام نمونه‌های بدون برچسب در هر تکرار اختصاص می‌دهد، که از نظر آماری اصولی‌تر است و از آبشار خطاهای مطمئنی که می‌تواند در خودآموزش رخ دهد، جلوگیری می‌کند.

آیا این روش برای داده‌های جدولی غیرمتنی مناسب است؟

بله. برای ویژگی‌های پیوسته، درست‌نمایی چندجمله‌ای را با درست‌نمایی‌های گاوسی (یا سایر پارامتریک) برای هر کلاس جایگزین کنید. ساختار حلقه EM یکسان است؛ فقط فرمول‌های پارامتر گام M تغییر می‌کنند.

روش‌های مرتبط

منابع

  1. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.

    باز کردن مرجع DOI
    کپی شد.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    شابک: 978-0-262-03358-9
    کپی شد.