الانتقال إلى المحتوى
العودة إلى نتائج البحث

نموذج الخليط الغاوسي البيزي

قدّمه
Attias, H.; Bishop, C. M.
السنة
1999–2006
النوع
Probabilistic clustering / density estimation
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يضع نموذج الخليط الغاوسي البيزي توزيعات مسبقة على جميع معلمات الخليط ويستدل على توزيعاتها اللاحقة - عادةً عبر بايز المتغير أو MCMC - بدلاً من ملاءمة تقديرات نقطية ثابتة. ينتج عن هذا قياس كمي موثوق للشكوك، واختيار تلقائي للعدد الفعال للمكونات، ومقاومة للإفراط في التجهيز لمجموعات البيانات الصغيرة.

الفكرة الحدسية وراء الطريقة

يطلب نموذج الخليط الغاوسي القياسي عدد المجموعات التي يجب ملاءمتها ثم يلتزم بهذا العدد، ويحسن المتوسطات الثابتة والمصفوفات المشتركة بواسطة EM. النسخة البيزية تحتفظ بدلاً من ذلك بتوزيعات احتمالية على كل معلمة: تظل غير متأكدة من موقع كل مجموعة وشكلها، وحتى ما إذا كانت هناك حاجة إلى مجموعة على الإطلاق. المكونات التي لا تدعمها البيانات يتم تقليصها تلقائيًا نحو وزن الصفر عبر التوزيع المسبق، لذلك يمكن للنموذج تحديد تعقيده الفعال الخاص به دون اختيار نموذج متحقق منه عبر التقاطع لقيم K متعددة.

التاريخ

تمت صياغة المعالجة البيزية لنماذج الخليط من خلال عينات MCMC في التسعينيات. قدم Attias (1999) نهج بايز المتغير لنماذج GMM، وتم تعميم الإطار وتنظيمه بواسطة Bishop (2006) في Pattern Recognition and Machine Learning، حيث يقدم الفصل 10 الاشتقاق الكامل. تبعت التوسعات غير المعلمية باستخدام توزيعات Dirichlet Process المسبقة، مما يسمح بـ K مفتوح النهاية حقًا، في Rasmussen (2000) و Blei & Jordan (2006).

متى تُستخدم

استخدمه عندما تحتاج إلى تجميع احتمالي ناعم أو تقدير كثافة للبيانات المستمرة متعددة المتغيرات وترغب في تجنب تحديد عدد المكونات K مسبقًا، أو عندما تحتاج إلى تقديرات عدم اليقين حول تعيينات المجموعات والمعلمات. مثالي لمجموعات البيانات الصغيرة إلى المتوسطة (عشرات إلى عشرات الآلاف من الملاحظات) حيث تفرط نماذج GMM القياسية التي تعمل بـ EM في التجهيز. غير مناسب للبيانات عالية الأبعاد جدًا بدون تقليل الأبعاد، أو للميزات الفئوية أو الترتيبية فقط، أو عندما يكون التقسيم الصلب غير الاحتمالي هو كل ما هو مطلوب والسرعة أمر بالغ الأهمية.

الحدود والاعتبارات

  • يجد بايز المتغير حدًا محليًا لـ ELBO، وليس التوزيع اللاحق العام؛ يمكن أن تعتمد النتائج على التهيئة.
  • يؤثر اختيار المعلمات الفائقة للتوزيع المسبق (خاصة تركيز ديريتشليه) على المكونات التي تنجو ويجب تبريره.
  • أكثر تكلفة حسابيًا من EM-GMM القياسي لكل تكرار وأصعب في التنفيذ من الصفر.
  • تتطلب البيانات عالية الأبعاد (العديد من الميزات) معلمات مشتركة حذرة أو تقليل الأبعاد المسبق.
  • يتطلب تفسير التوزيعات اللاحقة للمكونات الإلمام بمفاهيم الاستدلال المتغير.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يقوم بتقليم المكونات غير المستخدمة تلقائيًا، مما يقلل من الحاجة إلى تحديد K مسبقًا من خلال عمليات بحث شبكية متكررة.
  • يعيد توزيعات لاحقة كاملة على المعلمات، مما يتيح قياس كمي موثوق للشكوك حول تعيينات المجموعات.
  • مقاوم للإفراط في التجهيز لمجموعات البيانات الصغيرة لأن التوزيع المسبق ينظم المصفوفات المشتركة وأوزان المكونات.
  • التعيينات الناعمة تجعله مناسبًا لخطوط الأنابيب الاحتمالية اللاحقة وشبكات كثافة الخليط.
  • تنفيذ بايز المتغير يتوسع بشكل أفضل من MCMC الكامل مع الاحتفاظ بالفوائد البيزية.

التطبيقات

  • تحديد المتحدث في الصوت وتقسيم الصوت عندما يكون عدد المتحدثين غير معروف.
  • كشف الشذوذ عن طريق تحديد الملاحظات المعينة احتمالية منخفضة تحت جميع المكونات المتعلمة.
  • تقسيم الصور وتكميم الألوان مع عضوية بكسل-إلى-مجموعة ناعمة.
  • تقدير الكثافة للنمذجة التوليدية ومحاكاة البيانات المستمرة متعددة المتغيرات.
  • تجميع ملفات تعريف المرضى الجينومية أو السريرية عندما يكون العدد الحقيقي للأنواع الفرعية غير مؤكد.
  • تهيئة نماذج توليدية أكثر تعقيدًا مثل أجهزة التشفير التلقائي المتغيرة.

كيف يعمل

كيف يعمل

1

توضع التوزيعات المسبقة المترافقة على نسب الخلط (ديريتشليه)، ومتوسطات المكونات (غاوسي)، ومصفوفات الدقة (ويشارت). يتحكم معامل تركيز ديريتشليه في مدى انتشار وزن الخليط عبر المكونات: قيمة صغيرة تدفع الوزن إلى عدد قليل من المجموعات، مما يعاقب بشكل فعال المكونات غير الضرورية.

الصيغة
p(\pi, \mu, \Lambda) = \text{Dir}(\pi|\alpha_0)\prod_k \mathcal{N}(\mu_k|m_0, (\beta_0 \Lambda_k)^{-1}) \mathcal{W}(\Lambda_k|W_0, \nu_0)
2

يحسب خطوة E المتغيرة مسؤوليات ناعمة r_nk - الاحتمال اللاحق التقريبي لانتماء الملاحظة n إلى المكون k - باستخدام التوقعات الحالية لأوزان الخلط اللوغاريتمية ومحددات الدقة اللوغاريتمية بدلاً من التقديرات النقطية، لذلك تنتشر عدم اليقين في المعلمات إلى تعيينات المجموعات.

الصيغة
r_{nk} = \frac{\rho_{nk}}{\sum_j \rho_{nj}}, \quad \ln \rho_{nk} = \mathbb{E}[\ln \pi_k] + \tfrac{1}{2}\mathbb{E}[\ln |\Lambda_k|] - \tfrac{D}{2}\ln 2\pi - \tfrac{1}{2}\mathbb{E}_{\mu_k,\Lambda_k}[(x_n - \mu_k)^\top \Lambda_k (x_n - \mu_k)]
3

يتم تجميع الإحصائيات الكافية لكل مكون من المسؤوليات الناعمة: العدد الفعال N_k، والمتوسط الموزون، ومصفوفة التشتت الموزونة. تحل هذه محل مكافئات EM ذات العد الصحيح وتدفع تحديثات المعلمات اللاحقة.

الصيغة
N_k = \sum_n r_{nk}, \quad \bar{x}_k = N_k^{-1}\sum_n r_{nk} x_n, \quad S_k = N_k^{-1}\sum_n r_{nk}(x_n-\bar{x}_k)(x_n-\bar{x}_k)^\top
4

يتم تحديث المعلمات الطبيعية لكل توزيع لاحق مترافق عن طريق إضافة الإحصائيات الكافية إلى المعلمات الفائقة للتوزيع المسبق. يقلص التوزيع اللاحق لديريتشليه المكونات ذات N_k المنخفضة نحو وزن الصفر، مما ينفذ تقليمًا تلقائيًا للمجموعات غير المستخدمة.

الصيغة
\alpha_k = \alpha_0 + N_k, \quad \beta_k = \beta_0 + N_k, \quad \nu_k = \nu_0 + N_k + 1
5

تتم مراقبة التقارب بواسطة الحد الأدنى الأدنى للدليل (ELBO)، وهو حد أدنى على الاحتمالية الهامشية اللوغاريتمية. يضمن ELBO أن يكون غير متناقص في كل دورة EM متغيرة؛ يستمر التكرار حتى ينخفض التحسن عن حد معين.

الصيغة
\mathcal{L} = \mathbb{E}_q[\ln p(X, Z, \pi, \mu, \Lambda)] - \mathbb{E}_q[\ln q(Z, \pi, \mu, \Lambda)]

الأخطاء الشائعة

  • تعيين العدد الأولي للمكونات K صغير جدًا، مما يمنع النموذج من اكتشاف كل الهيكل الحقيقي حتى لو تم تقليم المكونات غير المستخدمة.
  • تجاهل الحساسية لتركيز التوزيع المسبق لديريتشليه دون إجراء مسح سريع للمعلمات الفائقة.
  • الثقة في تهيئة عشوائية واحدة؛ عمليات إعادة تشغيل متعددة مع اختيار أفضل ELBO مهمة.
  • تطبيق النموذج على بيانات منفصلة أو مختلطة الأنواع دون تحويل الميزات إلى شكل غاوسي مستمر تقريبًا.
  • الإبلاغ عن تسميات المجموعات فقط دون المسؤوليات الناعمة، مما يتجاهل المخرجات الاحتمالية الرئيسية للنموذج.

الأسئلة الشائعة

كيف يختلف هذا عن نموذج GMM القياسي الذي تم ملاءمته بواسطة EM؟

يعطي EM القياسي تقديرات نقطية (متوسطات ثابتة، مصفوفات مشتركة، أوزان) ويتطلب تحديد K قبل الملاءمة. يستدل نموذج GMM البيزي على توزيعات لاحقة كاملة على جميع المعلمات، ويقوم بتقليم المكونات الفارغة تلقائيًا، وينشر عدم اليقين في المعلمات في التنبؤات.

كيف أختار العدد الأولي للمكونات K؟

اضبط K ليكون أكبر بكثير من العدد المتوقع للمجموعات. سيقوم التوزيع المسبق لديريتشليه بتقليص العدد الفعال: المكونات التي لا تدعمها البيانات تتراكم حول وزن قريب من الصفر ويتم تقليمها تلقائيًا. قاعدة إرشادية شائعة هي البدء بـ K = 2 × (المجموعات المتوقعة).

هل بايز المتغير دائمًا أفضل من MCMC لهذا النموذج؟

بايز المتغير أسرع وحتمي ولكنه يقرب التوزيع اللاحق بتوزيع مفكك يمكن أن يقلل من تقدير عدم اليقين. MCMC دقيق بشكل مقارب ولكنه مكلف. بالنسبة لمعظم المشاكل العملية مع البيانات المعتدلة، يعد بايز المتغير الخيار العملي.

ما هي المعلمات الفائقة الأكثر أهمية؟

يتحكم تركيز ديريتشليه alpha_0 في مدى عدوانية تقليم المكونات. قيمة صغيرة (على سبيل المثال، 0.01 إلى 1) تفضل الحلول المتفرقة؛ قيمة كبيرة تنشر الوزن بشكل أكثر توازنًا. تتحكم درجات حرية Wishart nu_0 والمقياس W_0 في مدى تقييد أشكال المصفوفات المشتركة.

متى يجب أن أستخدم نموذج Dirichlet Process GMM بدلاً من ذلك؟

استخدم نموذج Dirichlet Process GMM (خليط لا نهائي) عندما تريد معالجة غير معلمية بالكامل لا تتطلب تحديد حد أعلى K على الإطلاق. المقايضة هي تعقيد تنفيذ أعلى واستدلال أبطأ.

طرق ذات صلة

المصادر

  1. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 10). Springer.

    ردمك: 978-0-387-31073-2
    تم النسخ.
  2. Attias, H. (1999). Inferring parameters and structure of latent variable models by variational Bayes. Proceedings of the 15th Conference on Uncertainty in Artificial Intelligence (UAI), 21–30.

    افتح مرجع المنشور
    تم النسخ.