Skip to content
بازگشت به نتایج جست‌وجو

مدل مخلوط گوسی بیزی

معرفی‌شده توسط
Attias, H.; Bishop, C. M.
سال
1999–2006
نوع
Probabilistic clustering / density estimation
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

مدل مخلوط گوسی بیزی توزیع‌های پیشین را بر روی تمام پارامترهای مخلوط قرار می‌دهد و پسین‌های آن‌ها را استنتاج می‌کند — معمولاً از طریق واریشنال بِیِز یا MCMC — به جای برازش تخمین‌های نقطه‌ای ثابت. این امر منجر به کمی‌سازی عدم قطعیت اصولی، انتخاب خودکار تعداد مؤثر مؤلفه‌ها، و مقاومت در برابر بیش‌برازش مجموعه داده‌های کوچک می‌شود.

شهود پشت روش

یک GMM استاندارد می‌پرسد که چند خوشه را برازش دهد و سپس به آن تعداد پایبند می‌ماند، میانگین‌ها و کوواریانس‌های ثابت را با EM بهینه‌سازی می‌کند. نسخه بیزی به جای آن، توزیع‌های احتمال را بر روی هر پارامتر نگه می‌دارد: نسبت به مکان، شکل هر خوشه و حتی اینکه آیا اصلاً به خوشه‌ای نیاز است، نامطمئن باقی می‌ماند. مؤلفه‌هایی که داده‌ها از آن‌ها پشتیبانی نمی‌کنند، از طریق پیشین به طور خودکار به سمت وزن صفر کوچک می‌شوند، بنابراین مدل می‌تواند پیچیدگی مؤثر خود را بدون انتخاب مدل متقاطع اعتبارسنجی شده در میان مقادیر متعدد K تعیین کند.

تاریخ

رفتار بیزی مدل‌های مخلوط از طریق نمونه‌گیرهای MCMC در دهه ۱۹۹۰ رسمی شد. آتییاس (۱۹۹۹) رویکرد واریشنال بِیِز را به GMMها معرفی کرد و این چارچوب توسط بیشاپ (۲۰۰۶) در تشخیص الگو و یادگیری ماشین محبوب و نظام‌مند شد، جایی که فصل ۱۰ مشتق کامل را ارائه می‌دهد. تعمیم‌های غیرپارامتری با استفاده از پیشین‌های فرآیند دیریکله، که اجازه K کاملاً باز را می‌دهد، در راسموسن (۲۰۰۰) و بلِی و جردن (۲۰۰۶) دنبال شد.

چه زمانی استفاده شود

زمانی استفاده کنید که به خوشه‌بندی نرم احتمالی یا تخمین چگالی بر روی داده‌های پیوسته چندمتغیره نیاز دارید و می‌خواهید از تعیین پیشاپیش تعداد مؤلفه‌های K اجتناب کنید، یا زمانی که به تخمین‌های عدم قطعیت در مورد تخصیص‌های خوشه و پارامترها نیاز دارید. ایده‌آل برای مجموعه داده‌های کوچک تا متوسط (ده‌ها تا ده‌ها هزار مشاهده) که در آن‌ها GMMهای استاندارد EM بیش‌برازش می‌شوند. برای داده‌های با ابعاد بسیار بالا بدون کاهش ابعاد، برای ویژگی‌های صرفاً دسته‌ای یا ترتیبی، یا زمانی که یک پارتیشن سخت غیر احتمالی تنها مورد نیاز است و سرعت اولویت دارد، مناسب نیست.

محدودیت‌ها و ملاحظات

  • واریشنال بِیِز بهینه محلی ELBO را پیدا می‌کند، نه پسین سراسری؛ نتایج می‌تواند به مقداردهی اولیه بستگی داشته باشد.
  • انتخاب ابرپارامترهای پیشین (به ویژه تمرکز دیریکله) بر روی اینکه کدام مؤلفه‌ها باقی می‌مانند تأثیر می‌گذارد و باید توجیه شود.
  • از نظر محاسباتی در هر تکرار گران‌تر از GMM استاندارد EM و پیاده‌سازی آن از ابتدا دشوارتر است.
  • داده‌های با ابعاد بالا (ویژگی‌های زیاد) نیازمند پارامترسازی دقیق کوواریانس یا کاهش ابعاد پیشین هستند.
  • تفسیر پسین‌های مؤلفه نیازمند آشنایی با مفاهیم استنتاج واریشنال است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • به طور خودکار مؤلفه‌های استفاده نشده را هرس می‌کند و نیاز به پیش‌تعیین K از طریق جستجوهای شبکه‌ای مکرر را کاهش می‌دهد.
  • توزیع‌های پسین کامل را بر روی پارامترها برمی‌گرداند و امکان کمی‌سازی عدم قطعیت کالیبره شده در تخصیص‌های خوشه را فراهم می‌کند.
  • به دلیل اینکه پیشین کوواریانس‌ها و وزن‌های مؤلفه را منظم می‌کند، در برابر بیش‌برازش در مجموعه داده‌های کوچک مقاوم است.
  • تخصیص‌های نرم آن را برای خطوط لوله احتمالی پایین‌دستی و شبکه‌های چگالی مخلوط مناسب می‌سازد.
  • پیاده‌سازی واریشنال بِیِز بهتر از MCMC کامل مقیاس‌پذیر است و در عین حال مزایای بیزی را حفظ می‌کند.

کاربردها

  • تمایزگویی گوینده و بخش‌بندی صدا که در آن تعداد گویندگان ناشناخته است.
  • تشخیص ناهنجاری با شناسایی مشاهداتی که احتمال کمی تحت همه مؤلفه‌های آموخته شده به آن‌ها اختصاص داده شده است.
  • بخش‌بندی تصویر و کوانتیزاسیون رنگ با عضویت نرم پیکسل به خوشه.
  • تخمین چگالی برای مدل‌سازی مولد و شبیه‌سازی داده‌های پیوسته چندمتغیره.
  • خوشه‌بندی پروفایل‌های ژنومی یا بالینی بیماران زمانی که تعداد واقعی زیرگروه‌ها نامشخص است.
  • مقداردهی اولیه مدل‌های مولد پیچیده‌تر مانند خودرمزگذارهای متغیر.

چگونه کار می‌کند

چگونه کار می‌کند

1

پیشین‌های مزدوج بر روی نسبت‌های اختلاط (دیریکله)، میانگین‌های مؤلفه (گوسی)، و ماتریس‌های دقت (ویشارت) قرار می‌گیرند. پارامتر تمرکز دیریکله کنترل می‌کند که وزن مخلوط چقدر در میان مؤلفه‌ها پخش می‌شود: مقدار کوچک وزن را به سمت چند خوشه سوق می‌دهد و به طور مؤثر مؤلفه‌های غیرضروری را جریمه می‌کند.

فرمول
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)
2

مرحله E واریشنال، مسئولیت‌های نرم r_nk — احتمال پسین تقریبی اینکه مشاهده n به مؤلفه k تعلق دارد — را با استفاده از انتظارات فعلی وزن‌های اختلاط لگاریتمی و مقادیر تعیین‌کننده دقت لگاریتمی به جای تخمین‌های نقطه‌ای محاسبه می‌کند، بنابراین عدم قطعیت پارامتر به تخصیص‌های خوشه گسترش می‌یابد.

فرمول
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]
3

آماره‌های کافی برای هر مؤلفه از مسئولیت‌های نرم انباشته می‌شوند: شمارش مؤثر N_k، میانگین وزنی، و ماتریس پراکندگی وزنی. این‌ها جایگزین معادل‌های EM شمارش سخت می‌شوند و به‌روزرسانی‌های پسین پارامتر بعدی را هدایت می‌کنند.

فرمول
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\top
4

پارامترهای طبیعی هر پسین مزدوج با افزودن آماره‌های کافی به ابرپارامترهای پیشین به‌روز می‌شوند. پسین دیریکله مؤلفه‌های با N_k پایین را به سمت وزن صفر کوچک می‌کند و هرس خودکار خوشه‌های استفاده نشده را پیاده‌سازی می‌کند.

فرمول
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
5

همگرایی توسط کران پایین شواهد (ELBO)، کرانی پایین برای لگاریتم احتمال حاشیه‌ای، نظارت می‌شود. ELBO تضمین شده است که در هر چرخه واریشنال EM غیرکاهشی باشد؛ تکرار تا زمانی ادامه می‌یابد که بهبود کمتر از یک تلورانس شود.

فرمول
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]

دام‌های رایج

  • تنظیم تعداد اولیه مؤلفه‌های K خیلی کوچک، مانع از کشف تمام ساختار واقعی توسط مدل می‌شود، حتی اگر مؤلفه‌های استفاده نشده هرس شوند.
  • نادیده گرفتن حساسیت به تمرکز پیشین دیریکله بدون اجرای یک پیمایش کوتاه ابرپارامتر.
  • اعتماد به یک مقداردهی اولیه تصادفی واحد؛ راه‌اندازی‌های متعدد با انتخاب بهترین ELBO مهم هستند.
  • اعمال مدل بر روی داده‌های گسسته یا مختلط بدون تبدیل ویژگی‌ها به شکل تقریبی گوسی پیوسته.
  • گزارش فقط برچسب‌های خوشه بدون مسئولیت‌های نرم، که خروجی احتمالی کلیدی مدل را دور می‌اندازد.

پرسش‌های متداول

این مدل چگونه با GMM استاندارد برازش شده با EM متفاوت است؟

EM استاندارد تخمین‌های نقطه‌ای (میانگین‌ها، کوواریانس‌ها، وزن‌های ثابت) را ارائه می‌دهد و نیاز دارد K قبل از برازش تعیین شود. GMM بیزی پسین‌های کامل را بر روی تمام پارامترها استنتاج می‌کند، مؤلفه‌های خالی را به طور خودکار هرس می‌کند و عدم قطعیت پارامتر را به پیش‌بینی‌ها گسترش می‌دهد.

چگونه K اولیه تعداد مؤلفه‌ها را انتخاب کنم؟

K را به طور سخاوتمندانه بزرگتر از تعداد مورد انتظار خوشه‌های خود تنظیم کنید. پیشین دیریکله شمارش مؤثر را کوچک می‌کند: مؤلفه‌هایی که توسط داده‌ها پشتیبانی نمی‌شوند، وزن نزدیک به صفر جمع می‌کنند و به طور خودکار هرس می‌شوند. یک قاعده سرانگشتی رایج شروع با K = ۲ × (خوشه‌های مورد انتظار) است.

آیا واریشنال بِیِز همیشه برای این مدل بهتر از MCMC است؟

واریشنال بِیِز سریعتر و قطعی است اما پسین را با یک توزیع فاکتورگیری شده تقریب می‌زند که می‌تواند عدم قطعیت را دست کم بگیرد. MCMC به طور مجانبی دقیق است اما پرهزینه است. برای اکثر مسائل عملی با داده‌های متوسط، واریشنال بِیِز انتخاب عملی است.

کدام ابرپارامترها بیشترین اهمیت را دارند؟

تمرکز دیریکله alpha_0 کنترل می‌کند که مؤلفه‌ها با چه شدتی هرس می‌شوند. مقدار کوچک (مثلاً ۰.۰۱ تا ۱) راه‌حل‌های پراکنده را ترجیح می‌دهد؛ مقدار بزرگ وزن را به طور مساوی‌تری پخش می‌کند. درجات آزادی nu_0 و مقیاس W_0 ویشارت کنترل می‌کنند که اشکال کوواریانس چقدر محدود می‌شوند.

چه زمانی باید به جای آن از GMM فرآیند دیریکله استفاده کنم؟

از GMM فرآیند دیریکله (مخلوط بی‌نهایت) زمانی استفاده کنید که به یک رفتار کاملاً غیرپارامتری نیاز دارید که نیازی به تعیین حد بالای K نداشته باشد. مبادله آن پیچیدگی پیاده‌سازی بالاتر و استنتاج کندتر است.

روش‌های مرتبط

منابع

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.

    شابک: 978-0-387-31073-2
    کپی شد.
  2. Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.

    باز کردن مرجع انتشار
    کپی شد.