Skip to content
بازگشت به نتایج جست‌وجو

مدل آمیخته گوسی

معرفی‌شده توسط
Dempster, Laird & Rubin (EM algorithm)
سال
1977
نوع
Probabilistic (soft) clustering — mixture model

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

مدل آمیخته گوسی یک روش خوشه‌بندی احتمالی است که داده‌ها را به صورت یک آمیخته وزنی از چندین توزیع گوسی مدل‌سازی می‌کند و با الگوریتم بیشینه‌سازی-انتظار که توسط دمپستر، لیرد و رابین در سال ۱۹۷۷ فرموله شد، برازش می‌شود. این تعمیمی از K-means است که در آن هر خوشه می‌تواند شکل، اندازه و جهت‌گیری خاص خود را داشته باشد.

شهود پشت روش

تصور کنید داده‌ها با کشیدن نقاط از چند ابر شکلی زنگی شکل همپوشان تولید شده‌اند که هر کدام مرکز، پراکندگی و شیب خاص خود را دارند. مدل آمیخته گوسی تلاش می‌کند تا این ابرها را مهندسی معکوس کند: می‌پرسد چند زنگ وجود دارد و کجا قرار گرفته‌اند، و به جای اجبار هر نقطه به یک خوشه واحد، به هر نقطه احتمالی تعلق به هر جزء را می‌دهد. این تخصیص نرم (soft assignment) همان چیزی است که به آن اجازه می‌دهد تا خوشه‌های کشیده یا چرخانده شده را که یک روش سخت و کروی مانند K-means به اشتباه تقسیم می‌کند، ثبت کند.

تاریخ

الگوریتم بیشینه‌سازی-انتظار که مدل‌های آمیخته گوسی را قدرت می‌بخشد، توسط دمپستر، لیرد و رابین در مقاله سال ۱۹۷۷ خود در مورد حداکثر احتمال از داده‌های ناقص فرموله شد، که خوشه‌بندی را به عنوان تخمین پارامترهای یک آمیخته پنهان چارچوب‌بندی کرد. دیدگاه مدل آمیخته، خوشه‌بندی را به یک مسئله احتمال تبدیل می‌کند و زیربنای ابزارهای خوشه‌بندی مبتنی بر مدل است که امروزه به طور گسترده مورد استفاده قرار می‌گیرند.

چه زمانی استفاده شود

از مدل آمیخته گوسی برای خوشه‌بندی یا کاوش داده‌های پیوسته و تقریباً گوسی شکل استفاده کنید، زمانی که خوشه‌ها ممکن است همپوشانی داشته باشند، در اندازه‌های مختلف باشند یا کشیده باشند نه کروی، و شما عضویت‌های احتمالی نرم را به جای برچسب‌های سخت می‌خواهید. این مدل فرض می‌کند که داده‌ها توسط ترکیبی از گوسی‌ها تولید شده‌اند، بر روی متغیرهای پیوسته کار می‌کند و به حداقل حدود ۵۰ مشاهده نیاز دارد. تعداد اجزا را می‌توان با BIC یا AIC انتخاب کرد و پیش‌پردازش PCA در برابر نفرین ابعاد توصیه می‌شود. با کمتر از حدود ۵۰ مشاهده، یا زمانی که فرض گوسی شکست می‌خورد، K-means انتخاب قوی‌تری است.

محدودیت‌ها و ملاحظات

  • فرض می‌کند که داده‌ها توسط ترکیبی از گوسی‌ها تولید شده‌اند؛ نتایج در صورت شکست این فرض، آسیب می‌بینند.
  • EM می‌تواند به یک بهینه محلی همگرا شود، بنابراین نتایج به مقداردهی اولیه بستگی دارد.
  • ماتریس‌های کوواریانس می‌توانند منفرد شوند، به خصوص در ابعاد بالا یا نمونه‌های کوچک.
  • به حداقل حدود ۵۰ مشاهده نیاز دارد و از پیش‌پردازش PCA برای جلوگیری از نفرین ابعاد بهره می‌برد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • عضویت‌های خوشه‌ای نرم و احتمالی به جای تخصیص‌های سخت اجباری.
  • هر جزء کوواریانس خاص خود را دارد، بنابراین خوشه‌ها می‌توانند کشیده، چرخانده یا با اندازه‌های متفاوت باشند.
  • یک تعمیم واقعی از K-means که فرض خوشه کروی و با اندازه برابر را تعدیل می‌کند.
  • تعداد اجزا را می‌توان به طور عینی با معیارهای اطلاعاتی مانند BIC یا AIC انتخاب کرد.

کاربردها

  • خوشه‌بندی نرم و احتمالی داده‌های پیوسته که در آن خوشه‌ها همپوشانی دارند.
  • تحلیل اکتشافی زیرجمعیت‌ها با خوشه‌های با شکل یا اندازه متفاوت.
  • تخمین چگالی با نمایش داده‌ها به صورت یک آمیخته وزنی از گوسی‌ها.
  • یک جایگزین انعطاف‌پذیرتر برای K-means زمانی که خوشه‌های کروی و با اندازه برابر غیرواقعی هستند.

چگونه کار می‌کند

چگونه کار می‌کند

1

داده‌ها به عنوان حاصل از مجموع وزنی K توزیع گوسی در نظر گرفته می‌شوند. هر جزء دارای وزن اختلاط، بردار میانگین و ماتریس کوواریانس است، بنابراین یک جزء واحد می‌تواند کشیده یا کج باشد به جای اینکه مجبور به یک کره شود. هدف یافتن وزن‌ها، میانگین‌ها و کوواریانس‌هایی است که داده‌های مشاهده شده را محتمل‌تر کنند.

فرمول
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)
2

در گام E (انتظار)، مدل برای هر مشاهده، مسئولیت هر جزء را محاسبه می‌کند - احتمال پسین که نقطه توسط آن گوسی تولید شده است. این عضویت‌های نرم جایگزین تخصیص‌های همه یا هیچ یک از K-means می‌شوند و همپوشانی بین خوشه‌ها را ثبت می‌کنند.

فرمول
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}
3

در گام M (بیشینه‌سازی)، پارامترهای هر جزء به عنوان آماره‌های وزنی مسئولیت مجدداً تخمین زده می‌شوند: میانگین، کوواریانس و وزن اختلاط با استفاده از هر نقطه به نسبت میزان تعلق قوی آن به آن جزء به‌روزرسانی می‌شوند. گام‌های E و M متناوباً احتمال را افزایش می‌دهند تا زمانی که برازش همگرا شود.

فرمول
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}
4

تعداد اجزا از پیش تعیین نمی‌شود: مقادیر کاندید با استفاده از معیارهای اطلاعاتی مانند BIC یا AIC که برازش را در برابر پیچیدگی متعادل می‌کنند، مقایسه می‌شوند. از آنجایی که EM می‌تواند در یک بهینه محلی گیر کند و ماتریس‌های کوواریانس می‌توانند منفرد شوند، کاهش ابعاد مانند PCA از قبل و چندین راه‌اندازی مجدد توصیه می‌شود.

دام‌های رایج

  • اجرای GMM بر روی نمونه‌های کمتر از حدود ۵۰، که در آن EM در بهینه‌های محلی گیر می‌کند و کوواریانس‌ها منفرد می‌شوند.
  • نادیده گرفتن PCA یا سایر کاهش ابعاد بر روی داده‌های با ابعاد بالا، که منجر به ماتریس‌های کوواریانس منفرد می‌شود.
  • تعیین تعداد اجزا به صورت چشمی به جای مقایسه BIC/AIC در بین کاندیداها.
  • تکیه بر یک اجرای EM واحد به جای چندین راه‌اندازی مجدد برای فرار از بهینه‌های محلی ضعیف.
  • کاربرد آن بر روی داده‌های به وضوح غیر گوسی که در آن K-means قوی‌تر خواهد بود.

پرسش‌های متداول

مدل آمیخته گوسی چگونه با K-means متفاوت است؟

K-means هر نقطه را به دقیقاً یک خوشه کروی و با اندازه برابر اختصاص می‌دهد. مدل آمیخته گوسی تعمیم آن است: هر جزء دارای کوواریانس خاص خود است، بنابراین خوشه‌ها می‌توانند کشیده، چرخانده یا با اندازه‌های متفاوت باشند، و هر نقطه به جای یک برچسب سخت واحد، احتمالی برای تعلق به هر جزء دریافت می‌کند.

چگونه تعداد اجزا را انتخاب کنم؟

مدل را برای چندین تعداد جزء کاندید برازش دهید و آنها را با معیارهای اطلاعاتی مانند BIC یا AIC که خوبی برازش را در برابر پیچیدگی مدل وزن می‌کنند، مقایسه کنید، سپس تعداد بهینه‌کننده معیار را انتخاب کنید.

چرا GMM من هر بار نتایج متفاوتی می‌دهد؟

این مدل با EM برازش می‌شود که می‌تواند بسته به مقداردهی اولیه به یک بهینه محلی همگرا شود. اجرای چندین راه‌اندازی مجدد و حفظ بهترین برازش، و کاهش ابعاد با PCA در ابتدا، نتیجه را پایدارتر می‌کند.

چه زمانی باید K-means را ترجیح دهم؟

زمانی که نمونه کوچک است (کمتر از حدود ۵۰) یا داده‌ها به وضوح گوسی نیستند، EM می‌تواند در یک بهینه محلی قرار گیرد و ماتریس‌های کوواریانس می‌توانند منفرد شوند؛ K-means در این موارد انتخاب قوی‌تری است.

روش‌های مرتبط

منابع

  1. Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.

    باز کردن مرجع DOI
    کپی شد.