نموذج جاوس المختلط شبه المُشرف
- قدّمه
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- السنة
- 2000
- النوع
- Generative semi-supervised classifier
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
نموذج جاوس المختلط شبه المُشرف (SS-GMM) هو مُصنِّف احتمالي توليدي يُلائم خليطًا من توزيعات جاوس للبيانات المُصنَّفة وغير المُصنَّفة باستخدام خوارزمية التوقع-التعظيم. تُقيِّد النقاط المُصنَّفة تعيينات المكونات بينما تُحسِّن النقاط غير المُصنَّفة تقديرات الكثافة، مما يُمكِّن التعلم الفعّال عندما تكون الشروح نادرة.
الفكرة الحدسية وراء الطريقة
تخيل أن لديك عددًا قليلاً من الأمثلة المُصنَّفة والعديد من الأمثلة غير المُصنَّفة. يتجاهل النموذج المُشرف البحت البيانات غير المُصنَّفة تمامًا؛ ويتجاهل التجميع البحت تسمياتك. يُحقق SS-GMM التوازن: فهو يُنمذِج البيانات كخليط من تجمعات جاوس، ويُثبِّت النقاط المُصنَّفة في مكوناتها الصحيحة، ويسمح للنقاط غير المُصنَّفة بالطفو احتماليًا عبر المكونات. تُبقي تكرارات خوارزمية EM على تحريك توزيعات جاوس لوصف سحابة البيانات بأكملها بشكل أفضل، بحيث تنتشر التسميات النادرة إلى الأغلبية غير المُصنَّفة عبر بنية الكثافة المشتركة.
التاريخ
نشأت نماذج GMM شبه المُشرفة من أدبيات التعلم شبه المُشرف الأوسع في أواخر التسعينيات. أظهر نيغام وآخرون (2000) النهج لتصنيف النصوص باستخدام EM على نموذج توليدي Naive Bayes (حالة خاصة من GMM القطري)، مما أظهر مكاسب قابلة للقياس من المستندات غير المُصنَّفة. تم توحيد الإطار العام في المجلد المؤثر لمطبعة MIT بواسطة Chapelle و Scholkopf و Zien (2006)، والذي أسس SS-GMM كنهج توليدي معياري للتصنيف شبه المُشرف جنبًا إلى جنب مع البدائل التمييزية والقائمة على الرسوم البيانية.
متى تُستخدم
استخدم SS-GMM عندما تكون الأمثلة المُصنَّفة نادرة ولكن البيانات غير المُصنَّفة وفيرة وعندما تكون التوزيعات الشرطية للفئات الأساسية تقريبًا من توزيع جاوس أو يمكن جعلها كذلك عن طريق التحويل. إنه مناسب تمامًا لمساحات الميزات المستمرة منخفضة إلى متوسطة الأبعاد (حتى حوالي 20-50 ميزة بدون تقليل الأبعاد). تجنبه عندما تكون الميزات غير جاوسية للغاية أو فئوية، وعندما يكون عدد الفئات كبيرًا بالنسبة للعينات المُصنَّفة، وعندما لا تتماشى بنية التجميع مع حدود الفئة (انتهاك افتراض التجميع)، أو عندما يكون النموذج التمييزي مثل SVM شبه المُشرف أو انتشار التسمية مناسبًا لهندسة البيانات بشكل أفضل.
الحدود والاعتبارات
- تتدهور ملاءمة النموذج عندما يتم انتهاك افتراض جاوس بشكل كبير — قد تكون التحويلات غير الخطية أو طرق النواة ضرورية.
- يتقارب EM إلى حد أمثل محلي؛ النتائج حساسة للتهيئة وتكون عمليات إعادة التشغيل المتعددة ضرورية.
- البيانات عالية الأبعاد (لعنة الأبعاد) تجعل تقدير المصفوفة التغايرية غير موثوق به بدون تنظيم أو تقليل الأبعاد.
- يمكن أن تضر البيانات غير المُصنَّفة بدلاً من المساعدة إذا لم يتم استيفاء افتراض التجميع (التجمعات لا تتماشى مع حدود الفئة).
- قابلية التوسع ضعيفة لمجموعات البيانات غير المُصنَّفة الكبيرة جدًا بدون متغيرات EM عشوائية أو مصغرة الدفعات.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يستفيد من البيانات غير المُصنَّفة لتحسين تقدير المعلمات عندما تكون التسميات باهظة الثمن أو نادرة.
- يوفر احتمالات لاحقة للفئة الاحتمالية المبدئية، مما يُمكِّن من قياس عدم اليقين المُعاير.
- نموذج توليدي شفاف رياضيًا مع ضمانات تقارب EM مفهومة جيدًا.
- يتعامل بشكل طبيعي مع مشاكل الفئات المتعددة دون الحاجة إلى تقسيم واحد ضد الباقي.
- يمكن توسيعه باستخدام توزيعات جاوس متعددة لكل فئة لالتقاط التوزيعات المتعددة الوسائط داخل الفئة.
التطبيقات
- تصنيف النصوص والمستندات عندما يمكن تسمية جزء صغير فقط من النصوص يدويًا.
- تحليل الصور الطبية حيث يكون توضيح الخبراء مكلفًا والمسح الضوئي غير المُصنَّف وفيرًا.
- مهام المعلوماتية الحيوية مثل تجميع التعبير الجيني مع تسميات فئات جزئية.
- تصنيف بيانات المستشعرات والسلاسل الزمنية في عمليات نشر إنترنت الأشياء مع بيانات أرضية متفرقة.
- الكشف عن الشذوذ شبه المُشرف عن طريق نمذجة كثافة الفئة العادية من البيانات غير المُصنَّفة الوفيرة.
- تعلم ميزات معالجة اللغة الطبيعية قبل أن تهيمن التعلم العميق.
كيف يعمل
كيف يعمل
قم بتهيئة معلمات الخليط — متوسطات المكونات، والمصفوفات التغايرية، وأوزان المزج — إما من المجموعة الفرعية المُصنَّفة وحدها (على سبيل المثال، متوسطات مشروطة بالفئة) أو عبر خوارزمية k-means على جميع البيانات المتاحة. عادةً ما يتم تعيين عدد المكونات K مساويًا لعدد الفئات المعروفة، على الرغم من أن المكونات المتعددة لكل فئة ممكنة.
لكل نقطة غير مُصنَّفة، احسب المسؤوليات الناعمة: الاحتمال اللاحق لانتماء النقطة i إلى المكون k، بالنظر إلى المعلمات الحالية. تتلقى النقاط المُصنَّفة تعيينات صارمة — يتم تعيين مسؤوليتها للمكون الصحيح للفئة إلى واحد وصفر في أماكن أخرى — مما يفرض الإشراف دون كسر إطار عمل EM.
الصيغة
r_{ik} = \frac{\pi_k \mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j \pi_j \mathcal{N}(x_i|\mu_j,\Sigma_j)}إن قيد التعيين الصارم على النقاط المُصنَّفة هو الفرق الرئيسي عن نموذج GMM غير المُشرف. فهو يربط هوية المكون بدلالات الفئة، ويمنع مشكلة تبديل التسميات المعروفة ويضمن أن بنية التجميع التي تم تعلمها من البيانات غير المُصنَّفة قابلة للتفسير من حيث الفئات المعروفة.
قم بتحديث جميع معلمات الخليط باستخدام الإحصائيات المرجحة بالمسؤولية المجمعة من كل من النقاط المُصنَّفة وغير المُصنَّفة. نظرًا لأن النقاط غير المُصنَّفة تساهم بعدّات جزئية لكل مكون، فإنها تُنعِّم وتُثبِّت تقديرات المعلمات بفعالية في المناطق التي تكون فيها البيانات المُصنَّفة متفرقة.
الصيغة
\mu_k = \frac{\sum_i r_{ik} x_i}{\sum_i r_{ik}},\quad \Sigma_k = \frac{\sum_i r_{ik}(x_i-\mu_k)(x_i-\mu_k)^T}{\sum_i r_{ik}}كرر خطوات E و M حتى يتوقف الاحتمال اللوغاريتمي للبيانات المرصودة (المجموع على النقاط المُصنَّفة وغير المُصنَّفة) عن الزيادة بما يتجاوز هامش صغير. راقب التقارب بعناية: يُنصح بإعادة التشغيل العشوائي المتعدد لأن EM يتقارب إلى حد أمثل محلي والحل النهائي يعتمد على التهيئة.
صنِّف نقطة جديدة عن طريق إيجاد المكون ذي الاحتمال اللاحق الأعلى بالنظر إلى المعلمات المتقاربة. الفئة المتوقعة هي التسمية المرتبطة بهذا المكون. تعمل الاحتمالات اللاحقة عبر المكونات أيضًا كدرجات ثقة مُعايرة.
الصيغة
\hat{y} = \arg\max_k \pi_k \mathcal{N}(x^*|\mu_k,\Sigma_k)الأخطاء الشائعة
- تشغيل تهيئة EM واحدة وقبول الحل الأول المتقارب — استخدم دائمًا عمليات إعادة تشغيل متعددة.
- تعيين K مساويًا لعدد الفئات دون مراعاة تعدد الوسائط داخل الفئة، مما يؤدي إلى ضعف التقاط الكثافة.
- تطبيق النموذج في أبعاد عالية دون تقليل الأبعاد أولاً أو تنظيم المصفوفات التغايرية (على سبيل المثال، مصفوفات قطرية أو مرتبطة).
- افتراض أن البيانات غير المُصنَّفة تساعد دائمًا — إذا تم انتهاك افتراضات التجميع والسطح المتعدد، يمكن للبيانات غير المُصنَّفة أن تُضعف الدقة.
- إهمال وزن حد الاحتمال اللوغاريتمي المُصنَّف بشكل مناسب؛ حل شائع هو زيادة مساهمات النقاط المُصنَّفة بعامل lambda.
الأسئلة الشائعة
كيف يختلف SS-GMM عن GMM غير المُشرف بالكامل؟
يجد GMM غير المُشرف بنية التجميع دون معرفة تسميات الفئات ويعاني من تبديل التسميات — مؤشرات التجميع لا تحمل معنى دلاليًا. يُثبِّت SS-GMM النقاط المُصنَّفة في مكوناتها الصحيحة أثناء كل خطوة E، ويربط هوية التجميع بدلالات الفئة ويسمح للنقاط غير المُصنَّفة بتحسين تقديرات الكثافة.
ماذا لو بدت البيانات غير المُصنَّفة تضر بدقتي؟
هذه هي مشكلة 'انتهاك افتراض التجميع': إذا لم تتماشى حدود الفئة مع تجمعات الكثافة الطبيعية، فإن البيانات غير المُصنَّفة توجه النموذج في الاتجاه الخاطئ. تشمل خطوات التشخيص تصور البيانات في ثنائي الأبعاد (PCA/t-SNE)، وزيادة الوزن lambda على النقاط المُصنَّفة، أو التبديل إلى طريقة شبه مُشرفة تمييزية مثل SVM شبه المُشرف.
كم عدد مكونات جاوس التي يجب أن أستخدمها لكل فئة؟
ابدأ بمكون واحد لكل فئة. إذا كانت الفئة تحتوي على بنية متعددة الوسائط واضحة (على سبيل المثال، مجموعتان فرعيتان)، فاسمَح بمكونين أو أكثر لهذه الفئة. استخدم BIC أو الاحتمال المُحتجز على المجموعة الفرعية المُصنَّفة لمقارنة أوامر النموذج دون الإفراط في الملاءمة.
هل يجب أن أستخدم مصفوفات تغاير كاملة أو قطرية أو مرتبطة؟
المصفوفة التغايرية الكاملة هي الأكثر مرونة ولكنها تحتاج إلى عينات كثيرة لكل مكون. المصفوفة التغايرية القطرية (يُفترض استقلال الميزات) هي الافتراضي الأكثر أمانًا في الأبعاد المتوسطة إلى العالية. المصفوفة التغايرية المرتبطة (تتشارك جميع المكونات في مصفوفة واحدة) تُقلِّل المعلمات بشكل أكبر وهي مناسبة عندما يكون للفئات انتشار متشابه.
هل هناك وزن لمساهمات البيانات المُصنَّفة مقابل غير المُصنَّفة؟
نعم. امتداد شائع يضرب الاحتمال اللوغاريتمي المُصنَّف بعامل lambda > 1 للتعويض عن العدد الأكبر عادةً من النقاط غير المُصنَّفة. بدون هذا، يمكن للأغلبية غير المُصنَّفة أن تُهيمن على تحديثات المعلمات وتُبطل الإشارة الإشرافية.
طرق ذات صلة
المصادر
Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ردمك: 978-0-262-03358-9تم النسخ.Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39(2-3), 103-134.
افتح مرجع DOIتم النسخ.