نموذج الخليط الغاوسي (Gaussian Mixture Model)
- قدّمه
- Dempster, Laird & Rubin (EM algorithm)
- السنة
- 1977
- النوع
- Probabilistic (soft) clustering — mixture model
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
نموذج الخليط الغاوسي هو طريقة تجميع احتمالية تُنمذج البيانات كمزيج مرجح من عدة توزيعات غاوسية، يتم ملاءمتها باستخدام خوارزمية التوقع-التعظيم (Expectation–Maximization) التي صاغها Dempster و Laird و Rubin في عام 1977. وهو تعميم لخوارزمية K-means حيث يمكن لكل عنقود أن يأخذ شكله وحجمه واتجاهه الخاص.
الفكرة الحدسية وراء الطريقة
تخيل أن البيانات تم إنشاؤها عن طريق سحب نقاط من بضعة سُحب متداخلة على شكل جرس، لكل منها مركزه وانتشاره وميله الخاص. يحاول نموذج الخليط الغاوسي عكس هندسة هذه السحب المخفية: فهو يسأل عن عدد الأجراس ومكان وجودها، وبدلاً من إجبار كل نقطة على الانتماء إلى عنقود واحد، فإنه يعطي كل نقطة احتمالية للانتماء إلى كل مكون. هذا التعيين الناعم هو ما يسمح له بالتقاط العناقيد الممتدة أو المدورة التي قد تقسمها طريقة كروية صارمة مثل K-means بشكل غير صحيح.
التاريخ
تمت صياغة خوارزمية التوقع-التعظيم التي تشغل نماذج الخليط الغاوسي بواسطة Dempster و Laird و Rubin في ورقتهم البحثية عام 1977 حول الاحتمالية القصوى من البيانات غير المكتملة، والتي أطرت التجميع كمشكلة تقدير لمعلمات خليط كامن. يحول منظور نموذج الخليط التجميع إلى مشكلة احتمالية ويشكل الأساس لأدوات التجميع القائمة على النماذج المستخدمة على نطاق واسع اليوم.
متى تُستخدم
استخدم نموذج الخليط الغاوسي للتجميع أو استكشاف البيانات المستمرة ذات الشكل الغاوسي التقريبي عندما قد تتداخل العناقيد، أو تختلف في الحجم، أو تكون ممتدة بدلاً من كروية، وتريد عضويات احتمالية ناعمة بدلاً من تسميات صارمة. يفترض أن البيانات تم إنشاؤها بواسطة خليط من التوزيعات الغاوسية، ويعمل على المتغيرات المستمرة، ويحتاج إلى حوالي 50 ملاحظة على الأقل. يمكن اختيار عدد المكونات باستخدام BIC أو AIC، ويُنصح بالمعالجة المسبقة باستخدام PCA لتجنب لعنة الأبعاد. مع أقل من حوالي 50 ملاحظة، أو عندما يفشل الافتراض الغاوسي، فإن K-means هو خيار أكثر قوة.
الحدود والاعتبارات
- يفترض أن البيانات تم إنشاؤها بواسطة خليط من التوزيعات الغاوسية؛ النتائج تتأثر عندما يفشل هذا الافتراض.
- يمكن أن يتقارب EM إلى حد أمثل محلي، لذا تعتمد النتائج على التهيئة.
- يمكن أن تصبح مصفوفات التغاير مفردة، خاصة في الأبعاد العالية أو العينات الصغيرة.
- يحتاج إلى حوالي 50 ملاحظة على الأقل ويستفيد من المعالجة المسبقة باستخدام PCA لتجنب لعنة الأبعاد.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- عضويات تجميع ناعمة واحتمالية بدلاً من تعيينات صارمة مجبرة.
- لكل مكون تغايره الخاص، لذا يمكن أن تكون العناقيد ممتدة، أو مدورة، أو بأحجام مختلفة.
- تعميم حقيقي لخوارزمية K-means يخفف من افتراض العناقيد الكروية والمتساوية الحجم.
- يمكن اختيار عدد المكونات بشكل موضوعي باستخدام معايير المعلومات مثل BIC أو AIC.
التطبيقات
- تجميع ناعم واحتمالي للبيانات المستمرة حيث تتداخل العناقيد.
- تحليل استكشافي للمجموعات الفرعية ذات العناقيد ذات الأشكال أو الأحجام المختلفة.
- تقدير الكثافة عن طريق تمثيل البيانات كمزيج مرجح من التوزيعات الغاوسية.
- بديل أكثر مرونة لـ K-means عندما تكون العناقيد الكروية والمتساوية الحجم غير واقعية.
كيف يعمل
كيف يعمل
تُعامل البيانات على أنها قادمة من مجموع مرجح لتوزيعات غاوسية K. كل مكون له وزن خلط، ومتجه متوسط، ومصفوفة تغاير، لذلك يمكن لمكون واحد أن يكون ممدودًا أو مائلاً بدلاً من إجباره على شكل كرة. الهدف هو إيجاد الأوزان والمتوسطات ومصفوفات التغاير التي تجعل البيانات المرصودة الأكثر احتمالاً.
الصيغة
p(x) = \sum_{k=1}^{K} \pi_k\, \mathcal{N}(x \mid \mu_k, \Sigma_k)في خطوة التوقع (E-step)، يحسب النموذج لكل ملاحظة مسؤولية كل مكون - الاحتمال اللاحق بأن النقطة تم إنشاؤها بواسطة هذا التوزيع الغاوسي. هذه العضويات الناعمة تحل محل تعيينات الكل أو لا شيء في K-means وتلتقط التداخل بين العناقيد.
الصيغة
\gamma_{ik} = \dfrac{\pi_k\, \mathcal{N}(x_i \mid \mu_k, \Sigma_k)}{\sum_{j} \pi_j\, \mathcal{N}(x_i \mid \mu_j, \Sigma_j)}في خطوة التعظيم (M-step)، يُعاد تقدير معلمات كل مكون كإحصائيات مرجحة بالمسؤولية: يتم تحديث المتوسط ومصفوفة التغاير ووزن الخلط باستخدام كل نقطة بما يتناسب مع مدى انتمائها القوي لهذا المكون. تتناوب خطوات E و M، مما يزيد الاحتمالية حتى تتقارب الملاءمة.
الصيغة
\mu_k = \dfrac{\sum_i \gamma_{ik} x_i}{\sum_i \gamma_{ik}}عدد المكونات غير ثابت مسبقًا: تتم مقارنة القيم المرشحة باستخدام معايير المعلومات مثل BIC أو AIC، والتي توازن بين الملاءمة والتعقيد. نظرًا لأن EM يمكن أن تستقر في حد أمثل محلي وقد تصبح مصفوفات التغاير مفردة، يُوصى بتقليل الأبعاد مثل PCA مسبقًا والعديد من عمليات إعادة التشغيل.
الأخطاء الشائعة
- تشغيل GMM على عينات أقل من حوالي 50، حيث تعلق EM في حدود مثلى محلية وتصبح مصفوفات التغاير مفردة.
- تخطي PCA أو تقليل الأبعاد الأخرى على البيانات عالية الأبعاد، مما يؤدي إلى مصفوفات تغاير مفردة.
- تثبيت عدد المكونات بالعين بدلاً من مقارنة BIC/AIC عبر المرشحين.
- الاعتماد على تشغيل EM واحد بدلاً من عمليات إعادة تشغيل متعددة للخروج من الحدود المثلى السيئة.
- تطبيقه على بيانات غير غاوسية بوضوح حيث يكون K-means أكثر قوة.
الأسئلة الشائعة
كيف يختلف نموذج الخليط الغاوسي عن K-means؟
يقوم K-means بتعيين كل نقطة إلى عنقود كروي واحد متساوي الحجم بالضبط. نموذج الخليط الغاوسي هو تعميمه: لكل مكون تغايره الخاص، لذا يمكن أن تكون العناقيد ممتدة، أو مدورة، أو بأحجام مختلفة، ويتلقى كل نقطة احتمالية للانتماء إلى كل مكون بدلاً من تسمية صارمة واحدة.
كيف أختار عدد المكونات؟
قم بملاءمة النموذج لعدة أعداد مرشحة للمكونات وقارنها بمعايير المعلومات مثل BIC أو AIC، والتي تزن جودة الملاءمة مقابل تعقيد النموذج، ثم اختر العدد الذي يحسن المعيار.
لماذا يعطي GMM الخاص بي نتائج مختلفة في كل مرة تشغيل؟
يتم ملاءمته باستخدام EM، والذي يمكن أن يتقارب إلى حد أمثل محلي اعتمادًا على التهيئة. تشغيل عدة عمليات إعادة تشغيل والاحتفاظ بأفضل ملاءمة، وتقليل الأبعاد باستخدام PCA أولاً، يجعل النتيجة أكثر استقرارًا.
متى يجب أن أفضل K-means بدلاً من ذلك؟
عندما تكون العينة صغيرة (أقل من حوالي 50) أو البيانات ليست غاوسية بوضوح، يمكن أن يستقر EM في حد أمثل محلي ويمكن أن تصبح مصفوفات التغاير مفردة؛ K-means هو الخيار الأكثر قوة في تلك الحالات.
طرق ذات صلة
المصادر
Dempster, A.P., Laird, N.M. & Rubin, D.B. (1977). Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society: Series B, 39(1), 1–22.
افتح مرجع DOIتم النسخ.