Skip to content
بازگشت به نتایج جست‌وجو

مدل مخلوط گوسی نیمه‌نظارتی

معرفی‌شده توسط
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
سال
2000
نوع
Generative semi-supervised classifier
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

مدل مخلوط گوسی نیمه‌نظارتی (SS-GMM) یک طبقه‌بندی‌کننده احتمالی مولد است که با استفاده از الگوریتم امید ریاضی-حداکثرسازی (Expectation-Maximization)، یک مخلوط گوسی را هم بر داده‌های برچسب‌دار و هم بر داده‌های بدون برچسب برازش می‌دهد. نقاط برچسب‌دار تخصیص مؤلفه‌ها را محدود می‌کنند، در حالی که نقاط بدون برچسب تخمین‌های چگالی را بهبود می‌بخشند و امکان یادگیری مؤثر را در شرایطی که حاشیه‌نویسی‌ها کمیاب هستند، فراهم می‌آورند.

شهود پشت روش

تصور کنید چند نمونه برچسب‌دار و تعداد زیادی نمونه بدون برچسب دارید. یک مدل کاملاً نظارتی داده‌های بدون برچسب را به کلی نادیده می‌گیرد؛ خوشه‌بندی خالص نیز برچسب‌های شما را نادیده می‌گیرد. SS-GMM این دو را با هم ترکیب می‌کند: داده‌ها را به عنوان مخلوطی از خوشه‌های گوسی مدل‌سازی می‌کند، نقاط برچسب‌دار را به مؤلفه صحیح خود قفل می‌کند و به نقاط بدون برچسب اجازه می‌دهد به صورت احتمالی در بین مؤلفه‌ها شناور باشند. تکرارهای EM به طور مداوم گوسی‌ها را به سمت توصیف بهتر کل ابر داده سوق می‌دهند، به طوری که برچسب‌های کمیاب از طریق ساختار چگالی مشترک به اکثریت بدون برچسب منتشر می‌شوند.

تاریخ

مدل‌های GMM نیمه‌نظارتی از ادبیات گسترده‌تر یادگیری نیمه‌نظارتی اواخر دهه ۱۹۹۰ پدید آمدند. Nigam و همکاران (۲۰۰۰) این رویکرد را برای طبقه‌بندی متن با استفاده از EM بر روی یک مدل مولد بیز ساده (یک حالت خاص از GMM قطری) نشان دادند که بهبودهای قابل توجهی را از اسناد بدون برچسب نشان داد. چارچوب کلی در جلد تأثیرگذار انتشارات MIT توسط Chapelle، Scholkopf و Zien (۲۰۰۶) تثبیت شد، که SS-GMM را به عنوان یک رویکرد مولد کانونی برای طبقه‌بندی نیمه‌نظارتی در کنار جایگزین‌های تمایزگر و مبتنی بر گراف معرفی کرد.

چه زمانی استفاده شود

از SS-GMM زمانی استفاده کنید که نمونه‌های برچسب‌دار کمیاب هستند اما داده‌های بدون برچسب فراوانند و زمانی که توزیع‌های شرطی کلاس زیربنایی تقریباً گوسی هستند یا می‌توانند با تبدیل به این شکل درآیند. این مدل برای فضاهای ویژگی پیوسته با ابعاد کم تا متوسط (تقریباً تا ۲۰-۵۰ ویژگی بدون کاهش ابعاد) مناسب است. از آن زمانی اجتناب کنید که ویژگی‌ها به شدت غیرگوسی یا طبقه‌ای هستند، زمانی که تعداد کلاس‌ها نسبت به نمونه‌های برچسب‌دار زیاد است، زمانی که ساختار خوشه با مرزهای کلاس همسو نیست (فرضیه خوشه نقض شده است)، یا زمانی که یک مدل تمایزگر مانند SVM نیمه‌نظارتی یا انتشار برچسب هندسه داده را بهتر برازش می‌دهد.

محدودیت‌ها و ملاحظات

  • برازش مدل زمانی که فرضیه گوسی به شدت نقض می‌شود، کاهش می‌یابد — ممکن است به تبدیل‌های غیرخطی یا روش‌های هسته نیاز باشد.
  • EM به یک بهینه محلی همگرا می‌شود؛ نتایج به مقداردهی اولیه حساس هستند و راه‌اندازی‌های مجدد متعدد ضروری است.
  • داده‌های با ابعاد بالا (نفرین ابعاد) تخمین کوواریانس را بدون منظم‌سازی یا کاهش ابعاد غیرقابل اعتماد می‌کند.
  • داده‌های بدون برچسب می‌توانند به جای کمک، آسیب برسانند اگر فرضیه خوشه برقرار نباشد (خوشه‌ها با مرزهای کلاس همسو نباشند).
  • بدون استفاده از نسخه‌های تصادفی یا مینی‌بچ EM، مقیاس‌پذیری ضعیفی برای مجموعه‌داده‌های بدون برچسب بسیار بزرگ دارد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • از داده‌های بدون برچسب برای بهبود تخمین پارامترها زمانی که برچسب‌ها پرهزینه یا کمیاب هستند، استفاده می‌کند.
  • احتمالات پسین کلاس احتمالی اصولی را فراهم می‌کند که امکان کمی‌سازی عدم قطعیت کالیبره شده را می‌دهد.
  • مدل مولد شفاف از نظر ریاضی با تضمین‌های همگرایی EM که به خوبی درک شده‌اند.
  • به طور طبیعی مسائل چندکلاسی را بدون تجزیه یک-دربرابر-بقیه مدیریت می‌کند.
  • می‌تواند با چندین گوسی در هر کلاس برای ثبت توزیع‌های چندوجهی درون‌کلاسی گسترش یابد.

کاربردها

  • طبقه‌بندی متن و سند زمانی که تنها بخش کوچکی از متون را می‌توان به صورت دستی برچسب‌گذاری کرد.
  • تجزیه و تحلیل تصاویر پزشکی که در آن حاشیه‌نویسی تخصصی پرهزینه است و اسکن‌های بدون برچسب فراوان هستند.
  • وظایف بیوانفورماتیک مانند خوشه‌بندی بیان ژن با برچسب‌های کلاس جزئی.
  • طبقه‌بندی داده‌های حسگر و سری زمانی در استقرار IoT با حقیقت زمینی پراکنده.
  • تشخیص ناهنجاری نیمه‌نظارتی با مدل‌سازی چگالی کلاس عادی از داده‌های بدون برچسب فراوان.
  • یادگیری ویژگی‌های پردازش زبان طبیعی قبل از اینکه یادگیری عمیق غالب شود.

چگونه کار می‌کند

چگونه کار می‌کند

1

پارامترهای مخلوط — میانگین‌های مؤلفه، کوواریانس‌ها و وزن‌های ترکیب — را می‌توان یا تنها از زیرمجموعه برچسب‌دار (مثلاً میانگین‌های مشروط به کلاس) یا از طریق k-means بر روی تمام داده‌های موجود مقداردهی اولیه کرد. تعداد مؤلفه‌ها K معمولاً برابر با تعداد کلاس‌های شناخته‌شده تنظیم می‌شود، اگرچه چندین مؤلفه برای هر کلاس نیز امکان‌پذیر است.

2

برای هر نقطه بدون برچسب، مسئولیت‌های نرم را محاسبه کنید: احتمال پسین اینکه نقطه i به مؤلفه k تعلق دارد، با توجه به پارامترهای فعلی. نقاط برچسب‌دار تخصیص‌های سخت دریافت می‌کنند — مسئولیت آنها برای مؤلفه کلاس صحیح یک و در سایر موارد صفر تنظیم می‌شود — که نظارت را بدون شکستن چارچوب EM اعمال می‌کند.

فرمول
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}
3

محدودیت تخصیص سخت بر روی نقاط برچسب‌دار تفاوت اصلی با GMM بدون نظارت است. این محدودیت هویت مؤلفه را به معناشناسی کلاس متصل می‌کند، از مشکل شناخته‌شده تغییر برچسب جلوگیری می‌کند و تضمین می‌کند که ساختار خوشه‌ای که از داده‌های بدون برچسب یاد گرفته شده است، از نظر کلاس‌های شناخته‌شده قابل تفسیر باشد.

4

تمام پارامترهای مخلوط را با استفاده از آماره‌های وزن‌دار مسئولیت ترکیبی از نقاط برچسب‌دار و بدون برچسب به‌روزرسانی کنید. از آنجا که نقاط بدون برچسب سهم‌های کسری به هر مؤلفه می‌دهند، آنها به طور مؤثر تخمین‌های پارامتر را در مناطقی که داده‌های برچسب‌دار کمیاب هستند، هموار و پایدار می‌کنند.

فرمول
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}
5

مراحل E و M را تکرار کنید تا زمانی که لگاریتم درست‌نمایی داده‌های مشاهده‌شده (جمع‌بندی شده بر روی نقاط برچسب‌دار و بدون برچسب) از یک تلرانس کوچک فراتر نرود. همگرایی را با دقت نظارت کنید: راه‌اندازی‌های مجدد تصادفی متعدد توصیه می‌شود زیرا EM به یک بهینه محلی همگرا می‌شود و راه‌حل نهایی وابسته به مقداردهی اولیه است.

6

یک نقطه جدید را با یافتن مؤلفه‌ای با بالاترین احتمال پسین با توجه به پارامترهای همگرا شده، طبقه‌بندی کنید. کلاس پیش‌بینی شده، برچسب مرتبط با آن مؤلفه است. احتمالات پسین در بین مؤلفه‌ها نیز به عنوان نمرات اطمینان کالیبره شده عمل می‌کنند.

فرمول
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)

دام‌های رایج

  • اجرای تنها یک مقداردهی اولیه EM و پذیرش اولین راه‌حل همگرا شده — همیشه از راه‌اندازی‌های مجدد متعدد استفاده کنید.
  • تنظیم K برابر با تعداد کلاس‌ها بدون در نظر گرفتن چندوجهی بودن درون‌کلاسی، که منجر به ثبت ضعیف چگالی می‌شود.
  • اعمال مدل در ابعاد بالا بدون کاهش ابعاد یا منظم‌سازی ماتریس‌های کوواریانس (مثلاً کوواریانس قطری یا مشترک).
  • فرض اینکه داده‌های بدون برچسب همیشه کمک می‌کنند — اگر فرضیات خوشه و منیفولد نقض شوند، داده‌های بدون برچسب می‌توانند دقت را کاهش دهند.
  • غفلت از وزن‌دهی مناسب به عبارت لگاریتم درست‌نمایی برچسب‌دار؛ یک راه‌حل رایج این است که سهم نقاط برچسب‌دار را با یک عامل lambda افزایش دهیم.

پرسش‌های متداول

SS-GMM چه تفاوتی با GMM کاملاً بدون نظارت دارد؟

یک GMM بدون نظارت ساختار خوشه را بدون هیچ دانشی از برچسب‌های کلاس پیدا می‌کند و از تغییر برچسب رنج می‌برد — شاخص‌های خوشه هیچ معنای معنایی ندارند. SS-GMM نقاط برچسب‌دار را در هر مرحله E به مؤلفه‌های صحیح خود ثابت می‌کند، هویت خوشه را به معناشناسی کلاس متصل می‌کند و به نقاط بدون برچسب اجازه می‌دهد تا تخمین‌های چگالی را اصلاح کنند.

اگر داده‌های بدون برچسب به دقت من آسیب برسانند چه؟

این مشکل «نقض فرضیه خوشه» است: اگر مرزهای کلاس با خوشه‌های چگالی طبیعی همسو نباشند، داده‌های بدون برچسب مدل را در جهت اشتباه هدایت می‌کنند. مراحل تشخیصی شامل بصری‌سازی داده‌ها در 2D (PCA/t-SNE)، افزایش وزن lambda بر روی نقاط برچسب‌دار، یا تغییر به یک روش نیمه‌نظارتی تمایزگر مانند SVM نیمه‌نظارتی است.

چند مؤلفه گوسی باید برای هر کلاس استفاده کنم؟

با یک مؤلفه برای هر کلاس شروع کنید. اگر یک کلاس ساختار چندوجهی واضحی دارد (مثلاً دو زیرجمعیت)، دو یا چند مؤلفه برای آن کلاس در نظر بگیرید. از BIC یا درست‌نمایی نگه‌داشته شده بر روی زیرمجموعه برچسب‌دار برای مقایسه مرتبه‌های مدل بدون بیش‌برازش استفاده کنید.

آیا باید از ماتریس‌های کوواریانس کامل، قطری یا مشترک استفاده کنم؟

کوواریانس کامل انعطاف‌پذیرترین است اما به نمونه‌های زیادی در هر مؤلفه نیاز دارد. کوواریانس قطری (ویژگی‌ها مستقل فرض می‌شوند) امن‌ترین پیش‌فرض در ابعاد متوسط تا بالا است. کوواریانس مشترک (همه مؤلفه‌ها یک ماتریس را به اشتراک می‌گذارند) پارامترها را بیشتر کاهش می‌دهد و زمانی مناسب است که کلاس‌ها پراکندگی مشابهی دارند.

آیا وزنی برای سهم‌های برچسب‌دار در مقابل بدون برچسب وجود دارد؟

بله. یک گسترش رایج، لگاریتم درست‌نمایی برچسب‌دار را در یک عامل lambda > 1 ضرب می‌کند تا تعداد معمولاً بسیار بیشتر نقاط بدون برچسب را جبران کند. بدون این کار، اکثریت بدون برچسب می‌توانند بر به‌روزرسانی‌های پارامتر غالب شوند و سیگنال نظارتی را از بین ببرند.

روش‌های مرتبط

منابع

  1. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    شابک: 978-0-262-03358-9
    کپی شد.
  2. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.

    باز کردن مرجع DOI
    کپی شد.