الانتقال إلى المحتوى
العودة إلى نتائج البحث

الانحدار اللوجستي شبه المُشرف

قدّمه
Nigam, K.; McCallum, A. et al. (EM variant); Yarowsky, D. (self-training)
السنة
1995–2000
النوع
Semi-supervised classifier
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

يُوسّع المُصنِّف اللوجستي القياسي ليشمل البيانات غير المُصنَّفة أثناء التدريب. باستخدام أغلفة التعلّم الذاتي (self-training)، أو تقدير التوقعات-تعظيم القيم (expectation-maximization)، أو نشر التسميات (label-propagation)، فإنه يُعيّن بشكل تكراري تسميات ناعمة (soft labels) للأمثلة غير المُصنَّفة ويُحسِّن معلمات النموذج، مما يُحسِّن التعميم عندما تكون البيانات المُصنَّفة نادرة مقارنةً بمجموعة البيانات الكاملة.

الفكرة الحدسية وراء الطريقة

تخيل تدريب مُصنِّف للأمراض بخمسين تشخيصًا مؤكدًا فقط ولكن بخمسة آلاف سجل مريض لا يُعرف فيها النتيجة. يتجاهل الانحدار اللوجستي القياسي تمامًا تلك السجلات غير المُصنَّفة. يستخدم الانحدار اللوجستي شبه المُشرف تنبؤات الاحتمالات الخاصة بالنموذج لتعيين تسميات مؤقتة للحالات غير المُصنَّفة، ويعيد التدريب على المجموعة الموسعة ذات التسميات الزائفة (pseudo-labeled)، ويكرر العملية. كل تكرار يدفع حدود القرار نحو مناطق ذات كثافة بيانات عالية، مما يسمح فعليًا للبيانات غير المُصنَّفة بتوجيه مكان وجود الحد دون الحاجة إلى تعليقات توضيحية مكلفة من الخبراء.

التاريخ

تم تنظيم التعلم شبه المُشرف للمُصنِّفات الاحتمالية في أواخر التسعينيات. قام Yarowsky (1995) بتعميم التعلّم الذاتي لمهام معالجة اللغة الطبيعية (NLP)، وقام Nigam وآخرون (2000) بتشكيل نهج EM لتصنيف النصوص باستخدام نماذج Naive Bayes والنماذج الشبيهة باللوجستية. قام Chapelle و Scholkopf و Zien في عام 2006 بتوحيد الأسس النظرية في مجلد MIT Press. يُعد الانحدار اللوجستي شبه المُشرف الآن تقنية قياسية في الإعدادات التي تكون فيها ميزانيات التعليقات التوضيحية محدودة، وهو مُنفَّذ في غلاف SelfTrainingClassifier الخاص بـ scikit-learn ومكتبات SSL المخصصة.

متى تُستخدم

اختر الانحدار اللوجستي شبه المُشرف عندما تكون الأمثلة المُصنَّفة قليلة - عادةً عندما تكون نسبة البيانات المُصنَّفة أقل من 20٪ من إجمالي البيانات المتاحة - ولكن توجد مجموعة كبيرة من البيانات غير المُصنَّفة من نفس التوزيع ويكون التعليق التوضيحي مكلفًا. إنه مناسب تمامًا لتصنيف النصوص، والتنبؤ بالنتائج السريرية، وأبحاث المسح حيث تكون النتائج مُلاحظة جزئيًا. لا تستخدمه عندما تأتي البيانات غير المُصنَّفة من توزيع مختلف عن المجموعة المُصنَّفة (تحول المتغيرات المشتركة - covariate shift)، أو عندما تكون التسميات مفقودة بشكل غير عشوائي ويكون الفقد مُعلِمًا، أو عندما تكون المجموعة المُصنَّفة كبيرة بما يكفي بالفعل لتحقيق الانحدار اللوجستي القياسي أداءً جيدًا - في تلك الحالات، تضيف ضوضاء التسمية الزائفة ضررًا أكثر من فائدتها.

الحدود والاعتبارات

  • إذا كانت البيانات المُصنَّفة الأولية قليلة جدًا أو غير ممثلة، فإن التسميات الزائفة المبكرة تكون صاخبة وتتضاعف الأخطاء عبر التكرارات.
  • يفترض أن البيانات غير المُصنَّفة مستمدة من نفس التوزيع مثل البيانات المُصنَّفة - وهذا الانتهاك يحدث في العديد من سيناريوهات الجمع في العالم الحقيقي.
  • التقارب إلى حد أمثل محلي ليس مضمونًا أن يحسن الأداء مقارنة بالخط الأساسي المُشرف.
  • تتطلب عتبات الثقة في التعلّم الذاتي ضبطًا وتتفاعل مع اختلال توازن الفئات بطرق غير واضحة.
  • يصبح تفسير المعاملات أصعب لأن مجموعة التدريب الفعالة تتضمن تسميات تم إنشاؤها خوارزميًا.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يستغل مجموعات كبيرة من البيانات غير المُصنَّفة لتحسين مُصنِّف لوجستي دون تكلفة تسمية إضافية.
  • يحافظ على قابلية تفسير معاملات الانحدار اللوجستي ونسب الأرجحية (odds ratios).
  • غلاف التعلّم الذاتي مستقل عن النموذج وسهل الإضافة إلى أي خط أنابيب انحدار لوجستي موجود.
  • يوفر متغير EM إطارًا احتماليًا مبدئيًا مع ضمان تقارب رسمي.
  • يمكن دمج التنظيم (L1/L2) بشكل مباشر للتحكم في فرط التخصيص (overfitting) على البيانات ذات التسميات الزائفة.

التطبيقات

  • التنبؤ بالنتائج السريرية حيث يكون لدى مجموعة فرعية فقط من المرضى تشخيصات مؤكدة.
  • تصنيف النصوص باستخدام مجموعات كبيرة من النصوص ومجموعات تدريب صغيرة مُصنَّفة من قبل خبراء.
  • أبحاث المسح حيث يجيب المستجيبون على مجموعة فرعية فقط من أسئلة النتائج.
  • تحليل المشاعر وتعدين الآراء باستخدام بيانات وسائل التواصل الاجتماعي المُعلَّقة جزئيًا.
  • اكتشاف الاحتيال حيث تكون حالات الاحتيال المؤكدة نادرة ولكن حجم المعاملات كبير.
  • دراسات التصوير الطبي حيث تتوفر تسميات أخصائيي الأشعة لمجموعة فرعية من الفحوصات.

كيف يعمل

كيف يعمل

1

يتم ملاءمة نموذج الانحدار اللوجستي القياسي على الأمثلة المُصنَّفة المتاحة. ينتج عن ذلك تقديرات أولية للمعاملات وتقديرات لاحتمالات الفئة لكل ملاحظة. حتى مع وجود تسميات قليلة، فإن هذه البداية الدافئة تنتج حدود قرار معقولة ستقوم التكرارات اللاحقة بتحسينها.

2

يقوم النموذج المُدرَّب بتقييم كل مثال غير مُصنَّف، وإنتاج احتمالية لاحقة P(y=k | x) لكل فئة. في التعلّم الذاتي، يتم تعيين تسمية زائفة صلبة (hard pseudo-label) للأمثلة التي تتجاوز أقصى احتمالية لها عتبة ثقة معينة. في الأساليب المستندة إلى EM، يتم تعيين عضويات كسرية ناعمة (soft fractional memberships) بدلاً من فئة صلبة، مما يحافظ على عدم اليقين بشكل صريح طوال العملية.

الصيغة
\hat{y}_u = \arg\max_k \, p(y=k \mid x_u; \theta)
3

يتم إعادة ملاءمة الانحدار اللوجستي على المجموعة المدمجة من الأمثلة المُصنَّفة حقًا والأمثلة غير المُصنَّفة ذات التسميات الزائفة (أو التسميات الناعمة). يتم تطبيق التنظيم (regularization) - L1 أو L2 - لمنع مجموعة البيانات الموسعة من دفع المعاملات نحو إشارة التسمية الزائفة الصاخبة بشكل مفرط.

4

تُكرر خطوات تقييم البيانات غير المُصنَّفة وإعادة التدريب حتى التقارب - عادةً عندما ينخفض التغيير في الاحتمالية اللوغاريتمية (log-likelihood) أو قيم المعاملات بين التكرارات عن حد صغير. يتبادل متغير EM رسميًا بين خطوة E (حساب التسميات المتوقعة) وخطوة M (تعظيم الاحتمالية اللوغاريتمية للبيانات الكاملة).

5

بمجرد التقارب، يتم تقييم النموذج النهائي على مجموعة اختبار مُصنَّفة مُحتفظ بها باستخدام مقاييس قياسية مثل الدقة (accuracy)، والمساحة تحت المنحنى (AUC)، و F1. يجب إجراء التحقق المتقاطع (cross-validation) فقط على الجزء المُصنَّف لتجنب تسرب التسميات من المجمع غير المُصنَّف إلى تقدير التحقق.

الأخطاء الشائعة

  • تضمين الأمثلة غير المُصنَّفة في مجموعة التحقق أو الاختبار، مما يؤدي إلى تضخيم تقديرات الأداء عن طريق تسريب المعلومات التوزيعية.
  • تعيين عتبة ثقة منخفضة تغمر مجموعة التدريب بتسميات زائفة غير مؤكدة، مما يؤدي إلى تفاقم الأخطاء المبكرة.
  • تجاهل اختلال توازن الفئات عند تعيين التسميات الزائفة، مما يتسبب في هيمنة الفئة الأغلبية على التكرارات المتعاقبة.
  • معاملة البيانات ذات التسميات الزائفة على أنها مكافئة للبيانات المُصنَّفة حقًا في تقدير عدم اليقين اللاحق أو اختبار الأهمية.
  • تخطي التنظيم على مجموعة التدريب الموسعة، مما يسمح لضوضاء التسمية الزائفة بقيادة فرط التخصيص.

الأسئلة الشائعة

كيف يختلف الانحدار اللوجستي شبه المُشرف عن الانحدار اللوجستي القياسي؟

يستخدم الانحدار اللوجستي القياسي الأمثلة المُصنَّفة فقط. يقوم المتغير شبه المُشرف بشكل تكراري بتعيين تسميات مؤقتة للبيانات غير المُصنَّفة ويدمجها في إعادة التدريب، لذا يتشكل حد القرار من خلال كل من التسميات المؤكدة وهيكل مجموعة البيانات غير المُصنَّفة الأكبر.

ما هي عتبة الثقة التي يجب أن أستخدمها للتعلّم الذاتي؟

نقاط البداية الشائعة هي 0.85-0.95 للتصنيف الثنائي. تعتمد العتبة الصحيحة على توازن الفئات وجودة التسمية. اضبطها على مجموعة التحقق المُصنَّفة وراقب نسبة الأمثلة غير المُصنَّفة المضافة في كل تكرار لتجنب فيضان التسميات الزائفة غير المؤكدة.

هل لا يزال بإمكاني تفسير المعاملات على أنها نسب أرجحية؟

نعم، ولكن بحذر. تحتفظ المعاملات المقدرة بتفسير اللوغاريتم المزدوج (log-odds)، ولكن فترات الثقة الخاصة بها تكون أقل من اللازم لأن البيانات ذات التسميات الزائفة تُعامل على أنها ملاحظات حقيقية. يجب أن يعتمد الاستدلال على الأهمية فقط على الجزء المُصنَّف حقًا.

ماذا لو كانت بياناتي غير المُصنَّفة تأتي من فترة زمنية أو مصدر مختلف؟

يُعد تحول التوزيع بين المجموعات المُصنَّفة وغير المُصنَّفة أحد أوضاع الفشل الرئيسية. إذا كانت البيانات غير المُصنَّفة تأتي من مجموعة سكانية أو فترة زمنية مختلفة، فقد تعزز التسميات الزائفة الأخطاء المنهجية. تحقق من تحول المتغيرات المشتركة قبل المتابعة.

هل هناك تطبيق جاهز؟

نعم. يقوم SelfTrainingClassifier الخاص بـ scikit-learn بتغليف أي مُصنِّف احتمالي، بما في ذلك LogisticRegression، للتعلّم الذاتي. يتطلب متغير EM تنفيذًا يدويًا أو مكتبات SSL مخصصة مثل SKSSL أو LASSL.

طرق ذات صلة

المصادر

  1. Nigam, K., McCallum, A., Thrun, S., & Mitchell, T. (2000). Text classification from labeled and unlabeled documents using EM. Machine Learning, 39, 103–134.

    افتح مرجع DOI
    تم النسخ.
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.) (2006). Semi-supervised Learning. MIT Press.

    ردمك: 978-0-262-03358-9
    تم النسخ.