الانتقال إلى المحتوى
العودة إلى نتائج البحث

التعزيز شبه المُشرف عليه

قدّمه
Mallapragada, P. K.; Bennett, K. P.; and others
السنة
1999–2009
النوع
Semi-supervised ensemble method
العائلة
Machine learning

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

التعزيز شبه المُشرف عليه هو نموذج تعلم تجميعي يوسع خوارزميات التعزيز الكلاسيكية — مثل AdaBoost — لاستغلال البيانات المصنفة وغير المصنفة على حد سواء. من خلال نشر معلومات التصنيف عبر هيكل تشابه على المثيلات غير المصنفة، فإنه يدرب مصنفات أقوى من التعزيز المُشرف عليه وحده عندما تكون البيانات المصنفة نادرة.

الفكرة الحدسية وراء الطريقة

يركز التعزيز الكلاسيكي بشكل متكرر على الأمثلة المصنفة المصنفة بشكل خاطئ. يضيف التعزيز شبه المُشرف عليه بُعدًا جديدًا: فهو يستخدم البنية الهندسية للبيانات غير المصنفة لاستنتاج تصنيفات ناعمة أو إعادة ترجيح الأمثلة. بديهيًا، إذا كان هناك نقطتان غير مصنفتين متشابهتين جدًا، فيجب أن تحصلان على نفس التصنيف. من خلال دمج ضغط الاتساق هذا في تحديثات ترجيح التعزيز، يمكن للمجموعة أن تعمم بشكل أفضل حتى عندما يكون هناك عدد قليل فقط من الأمثلة المصنفة المتاحة. النتيجة هي نموذج يستعير الإشارة من الأغلبية غير المصنفة بينما لا يزال موجهاً بالأقلية المصنفة.

التاريخ

ظهرت فكرة الجمع بين التعزيز والبيانات غير المصنفة في أواخر التسعينيات، وكان Bennett و Demiriz (1999) من أوائل من استكشفوا استراتيجيات التجميع شبه المُشرف عليها. أصبح خوارزمية SemiBoost، التي صاغها Mallapragada وآخرون في ورقة IEEE TPAMI عام 2009، المرجع القياسي للتعزيز شبه المُشرف عليه المستند إلى الرسم البياني. وسعت الأعمال اللاحقة الإطار ليشمل الإعدادات متعددة الفئات وربطته بنظرية تنظيم المشعب، مما أسس التعزيز شبه المُشرف عليه كخط أساس قياسي في أدبيات التعلم شبه المُشرف عليه.

متى تُستخدم

التعزيز شبه المُشرف عليه مناسب عندما تكون البيانات المصنفة نادرة ومكلفة للحصول عليها ولكن هناك مجموعة أكبر من البيانات غير المصنفة متاحة بسهولة — وهو أمر شائع في التعليق التوضيحي للصور الطبية، وتصنيف النصوص، والمراقبة المستندة إلى المستشعرات. وهو مناسب بشكل أفضل لمهام التصنيف الثنائي أو متعدد الفئات حيث يكون افتراض المجموعة أو المشعب معقولاً (المدخلات المتشابهة تشترك في التصنيفات). تجنب استخدامه عندما لا تكون البيانات غير المصنفة ممثلة لتوزيع الاختبار، وعندما يكون افتراض المجموعة غير معقول (على سبيل المثال، بيانات من عمليات مختلفة جوهريًا)، أو عندما تكون المجموعة المصنفة كبيرة بما يكفي بالفعل لإشباع معزز مُشرف عليه — في هذه الحالة، سيطابق التعزيز المتدرج العادي أو يتجاوزه بأداء أقل بكثير.

الحدود والاعتبارات

  • يتدهور الأداء بشكل حاد إذا كانت البيانات غير المصنفة لا تشترك في نفس التوزيع مثل البيانات المصنفة (تحول مجموعة البيانات).
  • يمكن أن تتراكم ضوضاء التصنيف الزائف عبر جولات التعزيز، مما يؤدي إلى تضخيم الأخطاء عندما تكون التنبؤات الأولية ضعيفة.
  • يتطلب بناء رسم بياني للتشابه اختيار عرض النواة أو عدد الجيران، وهو حساس ويتطلب التحقق.
  • التكلفة الحسابية أعلى بكثير من التعزيز المُشرف عليه بسبب بناء الرسم البياني وإعادة حساب التصنيف الزائف في كل جولة.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • يستفيد من البيانات غير المصنفة الوفيرة لتحسين الدقة بما يتجاوز ما تدعمه المجموعة المصنفة وحدها.
  • يرث الأداء التجريبي القوي والمرونة لأطر عمل التعزيز مثل AdaBoost.
  • يجعل هيكل تشابه الرسم البياني نشر التصنيف قابلاً للتفسير وقابلاً للضبط.
  • يعمل مع أي متعلم أساسي يقبل أوزان المثيلات، مما يحافظ على نمطية الإطار.
  • يتفوق باستمرار على التعزيز المُشرف عليه البحت في أنظمة معدل التصنيف المنخفض الموثقة في التجارب المعيارية.

التطبيقات

  • تصنيف النصوص والمستندات حيث تكون مجموعات النصوص المصنفة صغيرة ولكن مجموعات النصوص غير المصنفة الكبيرة متاحة.
  • تصنيف الصور الطبية مع صور محدودة تم التعليق عليها من قبل خبراء إلى جانب أرشيفات كبيرة غير مصنفة.
  • تصنيف محتوى الويب الذي يستغل هيكل رسم بياني للارتباط التشعبي كمصدر للتشابه.
  • الكشف عن الأعطال الصناعية مع قراءات مستشعرات وفيرة ولكن أحداث أعطال قليلة تم تصنيفها يدويًا.
  • مهام المعلوماتية الحيوية مثل التنبؤ بوظيفة البروتين مع تعليقات توضيحية قليلة تم التحقق منها.

كيف يعمل

كيف يعمل

1

يتم تدريب مصنف أساسي — عادةً جذع قرار أو شجرة ضحلة — على الجزء المصنف من مجموعة البيانات. يوفر هذا الفرضية الأولية ويؤسس إطار عمل التعزيز. تتلقى جميع المثيلات المصنفة أوزانًا موحدة في هذه الجولة الأولى.

2

يتم بناء تشابه زوجي أو رسم بياني على البيانات المصنفة وغير المصنفة المجمعة، غالبًا باستخدام نواة دالة أساسية شعاعية (RBF) أو رسم بياني لأقرب جيران (k-nearest-neighbor). هذا يرمز إلى افتراض أن النقاط القريبة في مساحة الميزات من المحتمل أن تشترك في نفس الفئة.

3

باستخدام نموذج المجموعة الحالي والرسم البياني للتشابه، يتم تعيين تصنيفات زائفة ناعمة للمثيلات غير المصنفة. النقاط القريبة من الأمثلة المصنفة المصنفة بثقة ترث تصنيفاتها؛ النقاط القريبة من حدود القرار تتلقى تصنيفات زائفة منخفضة الثقة وتساهم بشكل أقل في التحديث.

4

يتم ملاءمة المتعلم الضعيف الحالي على مجموعة البيانات الموسعة — الأمثلة المصنفة بالإضافة إلى الأمثلة غير المصنفة المصنفة زائفًا — باستخدام توزيع ترجيح التعزيز. يتم حساب وزن المتعلم alpha_t من الخطأ الموزون، تمامًا كما في AdaBoost، ولكن الخطأ الموزون يعكس الآن المساهمات من المثيلات المصنفة وغير المصنفة على حد سواء.

الصيغة
F_t(x) = F_{t-1}(x) + \alpha_t h_t(x)
5

يتم تحديث أوزان المثيلات بحيث تتلقى الأمثلة التي صنفها المتعلم الحالي بشكل خاطئ وزنًا أعلى في الجولة التالية. بالنسبة للمثيلات غير المصنفة، يتم تعديل تحديث الوزن بواسطة ثقة التصنيف الزائف: يتم زيادة وزن التصنيفات الزائفة عالية الثقة مثل الأمثلة المصنفة، بينما يتم تقليل وزن التصنيفات منخفضة الثقة للحد من انتشار الضوضاء.

6

بعد T جولات تعزيز، يكون التنبؤ النهائي هو علامة التصويت الموزون للأغلبية لجميع المتعلمين الضعفاء. تجمع المجموعة بين الإشارة من الإشراف المصنف والمعلومات الهيكلية المنتشرة من البيانات غير المصنفة في حدود قرار واحدة قوية.

الصيغة
\hat{y} = \text{sign}\left(\sum_{t=1}^{T} \alpha_t h_t(x)\right)

الأخطاء الشائعة

  • افتراض أن البيانات غير المصنفة ممثلة دون التحقق من التداخل التوزيعي مع الأمثلة المصنفة.
  • استخدام عدد كبير جدًا من جولات التعزيز مع تصنيفات زائفة صاخبة، مما يتسبب في زيادة ملاءمة النموذج للتخصيصات الناعمة الخاطئة.
  • تجاهل ضبط المعلمات الفائقة للرسم البياني (عرض النواة، k في k-NN) — جودة الرسم البياني الضعيفة تبطل خطوة النشر بأكملها.
  • الإبلاغ عن الدقة فقط دون مقاييس مصنفة (F1، AUC) عندما تكون المجموعة المصنفة غير متوازنة الفئات.
  • تخطي مجموعة اختبار مصنفة منفصلة وتقييمها على نفس مجمع البيانات المصنفة المستخدم لتغذية التصنيفات الزائفة.

الأسئلة الشائعة

متى يتفوق التعزيز شبه المُشرف عليه على AdaBoost العادي؟

بشكل أكثر موثوقية عندما تكون المجموعة المصنفة صغيرة جدًا — عادةً أقل من بضع مئات من الأمثلة لكل فئة — والبيانات غير المصنفة وفيرة ومستمدة من نفس التوزيع. مع مجموعات البيانات المصنفة الكبيرة، يتقلص الفارق ويكون التعزيز المُشرف عليه القياسي أبسط وأسرع.

كيف يجب أن أبني رسم بياني للتشابه؟

نواة دالة أساسية شعاعية (RBF) مع عرض نطاق تم ضبطه عبر التحقق المتقاطع على المجموعة المصنفة هي الخيار الأكثر شيوعًا. رسوم بيانية لأقرب جيران (k-nearest-neighbor) هي بديل أبسط. المعيار الرئيسي هو أن الرسم البياني يجب أن يربط الأمثلة من نفس الفئة ويفصل بين مجموعات الفئات المختلفة بأكبر قدر ممكن من الوضوح.

ما هو أفضل متعلم أساسي يعمل؟

جذوع القرارات (أشجار بعمق 1) هي الخيار القياسي، بما يتفق مع AdaBoost الكلاسيكي. يمكن للأشجار الضحلة (بعمق 2-4) تحسين الدقة عندما يكون حد القرار معقدًا ولكنه يزيد من خطر الاعتماد المفرط على التصنيفات الزائفة الصاخبة.

كم عدد جولات التعزيز المطلوبة؟

ابدأ بـ 100-200 جولة وراقب خطأ التحقق المصنف. على عكس التعزيز المُشرف عليه البحت، فإن إضافة عدد كبير جدًا من الجولات يمكن أن يضخم ضوضاء التصنيف الزائف، لذلك يوصى بشدة بالإيقاف المبكر على مجموعة تحقق مصنفة صغيرة.

هل عدم توازن الفئات مصدر قلق؟

نعم. عندما تكون مجموعة البيانات المصنفة غير متوازنة الفئات، تكون التنبؤات الأولية متحيزة، وستنشر التصنيفات الزائفة هذا التحيز إلى المجموعة غير المصنفة. أعد ترجيح الفئات المصنفة قبل التدريب أو قم بزيادة عينات الفئة الأقلية للتخفيف من ذلك.

طرق ذات صلة

المصادر

  1. Mallapragada, P. K., Jin, R., Jain, A. K., & Liu, Y. (2009). SemiBoost: Boosting for Semi-supervised Learning. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(11), 2000–2014.

    افتح مرجع DOI
    تم النسخ.
  2. Bennett, K. P., & Demiriz, A. (1999). Semi-supervised Support Vector Machines. Advances in Neural Information Processing Systems (NIPS), 11, 368–374.

    افتح مرجع المنشور
    تم النسخ.