نايف بايز شبه مُشرف عليه
- قدّمه
- Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
- السنة
- 2000
- النوع
- Semi-supervised generative classifier
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
يمتد نموذج نايف بايز التوليدي الكلاسيكي شبه المُشرف عليه ليستفيد من مجموعات كبيرة من البيانات غير المُصنفة جنبًا إلى جنب مع مجموعة صغيرة مُصنفة. باستخدام خوارزمية التوقع-التعظيم (Expectation-Maximization)، فإنه يستنتج بشكل تكراري تعيينات فئات ناعمة للأمثلة غير المُصنفة ويعيد تقدير معلمات الفئة والميزات، مما ينتج عنه مصنفات أفضل بكثير عندما تكون الأمثلة المُصنفة نادرة.
الفكرة الحدسية وراء الطريقة
يحتاج نموذج نايف بايز الكلاسيكي إلى أمثلة مُصنفة لتقدير احتمالات الفئة واحتمالات الميزات. عندما تكون التصنيفات باهظة الثمن ولكن البيانات الأولية وفيرة، فإن معظم المعلومات الموجودة في البيانات تذهب سدى. يقوم نموذج نايف بايز شبه المُشرف عليه بإصلاح ذلك عن طريق معاملة التصنيفات غير المعروفة للأمثلة غير المُصنفة كمتغيرات مخفية: فهو يتناوب بين تخمين تلك التصنيفات بالنظر إلى النموذج الحالي (خطوة التوقع E-step) وتحسين النموذج باستخدام تلك التخمينات (خطوة التعظيم M-step). على مدار عدة تكرارات، يقوم النموذج بتحسين نفسه لتقدير معلمات أكثر دقة بكثير مما يمكن أن تدعمه البيانات المُصنفة وحدها.
التاريخ
شاع كل من Nigam و McCallum و Thrun و Mitchell (2000) نموذج نايف بايز شبه المُشرف عليه لتصنيف النصوص، موضحين أن خوارزمية التوقع-التعظيم (EM) مع نموذج نايف بايز متعدد الحدود يمكن أن تقلل معدلات الخطأ إلى النصف على مجموعات البيانات المعيارية عندما تكمل مقالات الأخبار غير المُصنفة مجموعة صغيرة مُصنفة. استند النهج إلى أعمال سابقة لخوارزمية التوقع-التعظيم (EM) لنماذج المزيج وأصبح مثالًا معياريًا في الأدبيات المتعلقة بالتعلم شبه المُشرف عليه، وتمت مناقشته على نطاق واسع في Chapelle et al. (2006).
متى تُستخدم
مثالي عندما يكون عدد الأمثلة المُصنفة في حدود العشرات إلى المئات المنخفضة ولكن تتوفر كميات كبيرة من البيانات غير المُصنفة من نفس التوزيع - وهو وضع شائع في تصنيف النصوص، وتصفية البريد العشوائي، وتصنيف المستندات الطبية الحيوية. يجب أن تكون الميزات مستقلة شرطيًا بالنظر إلى الفئة (أو قريبة منها)، مما يجعل تمثيلات حقيبة الكلمات (bag-of-words) والتمثيلات القائمة على العدّ مناسبة بشكل طبيعي. تجنب ذلك عندما تأتي البيانات غير المُصنفة من توزيع مختلف عن مجموعة البيانات المُصنفة (انحراف المتغير المشترك)، حيث يمكن لتحديثات التوقع-التعظيم (EM) أن تضر بدلاً من أن تنفع؛ يجب ضبط معامل الوزن lambda في مثل هذه الحالات. تجنب ذلك أيضًا عندما يتم انتهاك افتراض الاستقلال الشرطي بشدة ويفضل نموذج تمييزي بقوة بغض النظر عن ندرة التصنيفات.
الحدود والاعتبارات
- يرث افتراض الاستقلال الشرطي لنموذج نايف بايز؛ الميزات المترابطة تدهور تقديرات المعلمات.
- تتقارب خوارزمية التوقع-التعظيم (EM) إلى حد أقصى محلي يعتمد على التهيئة؛ قد تكون هناك حاجة إلى عمليات إعادة تشغيل عشوائية متعددة.
- يمكن للبيانات غير المُصنفة من توزيع منحرف أن تدهور الدقة (نقل سلبي) ما لم يتم تقليل وزنها بعناية.
- أقل تنافسية من الطرق شبه المُشرفة التمييزية (مثل آلات المتجهات الداعمة التحويلية، انتشار التصنيف) على مجموعات الميزات الصغيرة ذات الارتباطات القوية للميزات.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- يستفيد بكفاءة من البيانات غير المُصنفة التي قد يتم تجاهلها بخلاف ذلك، وغالبًا ما يقلل بشكل كبير من البيانات المُصنفة المطلوبة.
- سريع حسابيًا: كل تكرار لخوارزمية التوقع-التعظيم (EM) خطي بالنسبة لحجم البيانات، مما يجعله مناسبًا لمجموعات النصوص الكبيرة.
- إطار عمل احتمالي مبدئي مع ضمانات تقارب مفهومة جيدًا (إلى حد أقصى محلي للاحتمالية).
- ينتج احتمالات لاحقة مُعايرة، مما يتيح الترتيب وتحديد العتبة في المراحل اللاحقة.
- سهل التنفيذ والتوسيع - يوفر وزن lambda مقبضًا عمليًا للتحكم في تأثير البيانات غير المُصنفة.
التطبيقات
- تصنيف النصوص والمستندات مع بيانات تدريب مُصنفة محدودة.
- اكتشاف البريد العشوائي والتصيد الاحتيالي حيث يكون البريد العشوائي المُصنف نادرًا ولكن البريد الإلكتروني غير المُصنف وفيرًا.
- تحليل المشاعر مُعزز بمجموعة صغيرة من المراجعات المُصنفة.
- تصنيف الأدبيات الطبية الحيوية (مثل فرز مقالات PubMed) باستخدام مجموعات فرعية صغيرة مُصنفة من قبل خبراء.
- تصنيف موضوعات صفحات الويب باستخدام بذرة صغيرة مُصنفة يدويًا ومجموعات كبيرة مُجمعة.
- توجيه البريد الإلكتروني أو التذاكر حيث يكون جزء فقط من التذاكر التاريخية لديه تسميات فئة مؤكدة.
كيف يعمل
كيف يعمل
تدريب نموذج نايف بايز أولي باستخدام الأمثلة المُصنفة فقط. هذا يعطي التقديرات الأولى لاحتمالات الفئة الأولية P(y) واحتمالات الميزة الشرطية P(x_j | y) - عادةً مع تنعيم لابلاس للتعامل مع قيم الميزات غير المرئية. النموذج الناتج هو نقطة انطلاق لحلقة التوقع-التعظيم (EM) بدلاً من كونه مصنفًا نهائيًا.
تطبيق النموذج الحالي على كل مثال غير مُصنف لحساب أوزان عضوية الفئة الناعمة (الاحتمالية). يتم تعيين كل مستند أو مثيل غير مُصنف بشكل جزئي لجميع الفئات بما يتناسب مع الاحتمال اللاحق P(y | x, theta). تكمل هذه العدّات الجزئية العدّات الصلبة من البيانات المُصنفة.
الصيغة
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}إعادة تقدير جميع معلمات النموذج - احتمالات الفئة الأولية واحتمالات الميزات - عن طريق تجميع العدّات الصلبة من الأمثلة المُصنفة مع العدّات الجزئية المتراكمة في خطوة التوقع (E-step). تساهم الأمثلة غير المُصنفة بما يتناسب مع أوزان فئاتها المستنتجة، لذا فإن البيانات غير المُصنفة المفيدة تحول المعلمات بشكل هادف.
تكرار خطوة التوقع (E-step) وخطوة التعظيم (M-step) حتى يتقارب اللوغاريتم الاحتمالي لجميع البيانات (المُصنفة وغير المُصنفة) أو يتم الوصول إلى الحد الأقصى لعدد التكرارات. يمكن لمعامل الوزن lambda تقليل وزن مساهمة البيانات غير المُصنفة إذا كان توزيع البيانات غير المُصنفة يختلف عن توزيع البيانات المُصنفة، مما يحمي من النقل السلبي.
بمجرد التقارب، قم بتصنيف الأمثلة الجديدة باستخدام قاعدة نايف بايز القياسية: قم بتعيين الفئة ذات الاحتمال اللاحق الأعلى ضمن المعلمات المتعلمة. الاستدلال في وقت التشغيل مطابق لنموذج نايف بايز العادي - سريع، وصيغة مغلقة، ومناسب لمجموعات المستندات الكبيرة.
الصيغة
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)الأخطاء الشائعة
- تجاهل عدم تطابق التوزيع بين مجموعات البيانات المُصنفة وغير المُصنفة - تحقق دائمًا من أن كلا العينتين مستمدتان من نفس المهمة والمجال.
- إغفال ضبط معامل lambda عندما تكون جودة البيانات غير المُصنفة غير مؤكدة؛ قد يؤدي تعيين lambda=1 افتراضيًا إلى الإضرار بالأداء.
- التقييم فقط على مجموعة البيانات المُصنفة التدريبية بدون مجموعة اختبار منفصلة، مما يؤدي إلى تضخيم الدقة الظاهرية.
- معاملة تقارب خوارزمية التوقع-التعظيم (EM) على أنها مثالية مضمونة - قارن دائمًا مع خط أساس مُصنف فقط وخط أساس بسيط للتدريب الذاتي.
- نسيان تنعيم لابلاس، الذي يسبب أعطالًا باحتمالية صفر لقيم الميزات غير المرئية أثناء خطوة التوقع (E-step).
الأسئلة الشائعة
ما هو عدد الأمثلة المُصنفة التي أحتاجها للحصول على نموذج بداية جيد؟
يمكن أن تكون عشرة إلى خمسين لكل فئة كافية للنصوص ذات الميزات العديدة، بشرط تطبيق تنعيم لابلاس. المزيد من الأمثلة المُصنفة تساعد دائمًا، ولكن النهج شبه المُشرف عليه يتألق بشكل خاص عندما يكون لديك أقل من بضع مئات من المثيلات المُصنفة.
ما هو معامل lambda وكيف أقوم بضبطه؟
يتحكم lambda في مقدار الوزن الذي تتلقاه الأمثلة غير المُصنفة مقارنة بالأمثلة المُصنفة أثناء خطوة التعظيم (M-step) (lambda=1 يعاملهما بالتساوي؛ lambda=0 يتجاهلهما). قم بضبطه عبر التحقق المتقاطع على مجموعة البيانات المُصنفة، بدءًا من قيم في {0.1, 0.3, 0.5, 1.0}. قلل lambda عندما تشك في عدم تطابق التوزيع.
هل ستحسن خوارزمية التوقع-التعظيم (EM) دائمًا على نموذج نايف بايز المُصنف فقط؟
لا. إذا كانت البيانات غير المُصنفة تأتي من توزيع مختلف، يمكن لخوارزمية التوقع-التعظيم (EM) تحريك المعلمات في الاتجاه الخاطئ وزيادة الخطأ. قم دائمًا بإجراء مقارنة مع خط الأساس المُصنف فقط قبل نشر النموذج شبه المُشرف عليه.
كيف يختلف هذا عن التدريب الذاتي مع نموذج نايف بايز؟
يقوم التدريب الذاتي بتعيين تسميات صلبة للأمثلة غير المُصنفة فوق عتبة ثقة، ثم يعيد التدريب. يقوم نموذج نايف بايز شبه المُشرف عليه عبر خوارزمية التوقع-التعظيم (EM) بتعيين تسميات جزئية ناعمة لجميع الأمثلة غير المُصنفة في كل تكرار، وهو أمر مبدئي إحصائيًا ويتجنب سلسلة الأخطاء الواثقة التي يمكن أن تحدث في التدريب الذاتي.
هل هذا مناسب للبيانات الجدولية غير النصية؟
نعم. بالنسبة للميزات المستمرة، استبدل الاحتمالية متعددة الحدود بالاحتمالات الغاوسية (أو غيرها من الاحتمالات البارامترية) لكل فئة. هيكل حلقة التوقع-التعظيم (EM) متطابق؛ فقط صيغ معلمات خطوة التعظيم (M-step) تتغير.
طرق ذات صلة
المصادر
Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.
افتح مرجع DOIتم النسخ.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ردمك: 978-0-262-03358-9تم النسخ.