آلة المتجهات الداعمة شبه المُشرف عليها (Semi-supervised Support Vector Machine)
- قدّمه
- Joachims, T.
- السنة
- 1999
- النوع
- Semi-supervised classifier
- العائلة
- Machine learning
هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية
ماذا تفعل؟
تُوسّع آلة المتجهات الداعمة شبه المُشرف عليها (S3VM) آلة المتجهات الداعمة الكلاسيكية عن طريق دمج كميات كبيرة من البيانات غير المُصنّفة إلى جانب مجموعة تدريب مُصنّفة صغيرة. تسعى إلى إيجاد مستوى فاصل بأقصى هامش لا يفصل فقط بين الأمثلة المُصنّفة، بل يمر أيضًا عبر مناطق ذات كثافة منخفضة لتوزيع البيانات الكامل، مما يؤدي إلى تعميم أفضل عندما تكون العينات المُصنّفة نادرة.
الفكرة الحدسية وراء الطريقة
تتعلم آلة المتجهات الداعمة القياسية حدًا فاصلًا من النقاط المُصنّفة فقط. تلاحظ آلة المتجهات الداعمة شبه المُشرف عليها أن البيانات غير المُصنّفة لا تزال تحمل معلومات هندسية حول أماكن كثافة تجمعات البيانات وأماكن تخلخلها. من خلال اشتراط أن يتجنب الحد الفاصل مناطق الكثافة العالية - سواء كانت هذه النقاط تحمل تصنيفات أم لا - يمكن للنموذج استغلال الأغلبية غير المُصنّفة لشحذ الحد الفاصل الذي قد يرسمه بخلاف ذلك من مجرد حفنة من الأمثلة المُصنّفة. النتيجة هي هامش يحترم بنية البيانات الأساسية، وليس فقط التصنيفات المعروفة.
التاريخ
تم وضع أسس آلة المتجهات الداعمة شبه المُشرف عليها بواسطة Vapnik في أعماله المبكرة حول الاستدلال الاستقرائي (transductive inference)، لكن الطريقة أصبحت معتمدة على نطاق واسع بعد أن أظهر Joachims (1999) فعاليتها في تصنيف النصوص تحت اسم آلة المتجهات الداعمة الاستقرائية (Transductive SVM). عززت المعالجة الشاملة في Chapelle، Scholkopf، و Zien (2006) آلة المتجهات الداعمة شبه المُشرف عليها جنبًا إلى جنب مع مناهج أخرى شبه مُشرف عليها ولا تزال المرجع القياسي. قدمت الأعمال اللاحقة استرخاءات محدبة وحلولًا قابلة للتوسع لمعالجة تحديات الطريقة الأصلية الحسابية والنقاط المثلى المحلية.
متى تُستخدم
تُعد آلة المتجهات الداعمة شبه المُشرف عليها الخيار الصحيح عندما تكون البيانات المُصنّفة باهظة الثمن أو نادرة (على سبيل المثال، أقل من بضع مئات من الأمثلة) ولكن تتوفر بيانات غير مُصنّفة وفيرة - وهو سيناريو شائع في تصنيف النصوص، أو المعلوماتية الحيوية، أو أي مجال يكون فيه التوصيف مُكلفًا. تعمل بشكل أفضل عندما يكون افتراض التجمّع صحيحًا: تشكل الفئات تجمعات مميزة ويقع الحد الفاصل في منطقة ذات كثافة منخفضة. تجنب آلة المتجهات الداعمة شبه المُشرف عليها عندما تكون البيانات المُصنّفة وفيرة بالفعل (ستطابق آلة المتجهات الداعمة القياسية أو تتجاوزها بتكلفة أقل)، أو عندما يتم انتهاك افتراض التجمّع (تتداخل الفئات بشدة في مساحة الميزات)، أو عندما ينحرف توزيع البيانات غير المُصنّفة عن توزيع البيانات المُصنّفة، مما قد يدفع الحد الفاصل في الاتجاه الخاطئ.
الحدود والاعتبارات
- التحسين غير محدب بسبب التصنيفات الزائفة، مما يجعله حساسًا للتهيئة وعرضة للنقاط المثلى المحلية.
- تتوسع التكلفة الحسابية بشكل سيء مع عدد الأمثلة غير المُصنّفة - تصبح مجموعات البيانات الكبيرة غير المُصنّفة مكلفة.
- تعتمد على افتراض التجمّع؛ إذا لم تشكل الفئات تجمعات منفصلة جيدًا، يمكن للبيانات غير المُصنّفة أن تدهور الأداء.
- تتطلب ضبطًا دقيقًا لمعامل خسارة البيانات المُصنّفة C ومعامل خسارة البيانات غير المُصنّفة C*، مما يزيد من تعقيد اختيار النموذج.
لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.
نقاط القوة
- تستفيد بفعالية من مجموعات البيانات الكبيرة غير المُصنّفة لتحسين التعميم عندما تكون الأمثلة المُصنّفة نادرة.
- ترث ضمانات الهامش الأقصى ومرونة النواة (kernel) لآلات المتجهات الداعمة القياسية.
- مناسبة للبيانات المتفرقة عالية الأبعاد مثل النصوص، حيث تتوفر مجموعات نصوص كبيرة غير مُصنّفة.
- توجد امتدادات احتمالية مبدئية (آلة المتجهات الداعمة شبه المُشرف عليها بعملية غاوس) ومتغيرات نواة للحدود غير الخطية.
- دقة تنافسية في أنظمة البيانات المُصنّفة قليلاً مقارنة بالبدائل المُشرف عليها بالكامل.
التطبيقات
- تصنيف النصوص والمستندات بأمثلة تدريب مُصنّفة قليلة.
- مهام المعلوماتية الحيوية مثل التنبؤ بوظيفة البروتين حيث يكون التوصيف التجريبي مُكلفًا.
- تصنيف صفحات الويب بالاستفادة من مجموعات النصوص الكبيرة المجمعة ولكن غير المُوصّفة.
- تحليل الصور الطبية حيث يكون توصيف الخبراء مستهلكًا للوقت ومكلفًا.
- أي مشكلة تصنيف عالية الأبعاد مع بيانات غير مُصنّفة وفيرة وتصنيفات نادرة.
كيف يعمل
كيف يعمل
يتم تركيب آلة متجهات داعمة أولية على الأمثلة المُصنّفة المتاحة، مما يؤدي إلى تعلم حد فاصل مبدئي وهامش. يوفر هذا نموذجًا أوليًا وتنبؤات أولية لمجموعة البيانات غير المُصنّفة، مما يؤسس التحسين شبه المُشرف اللاحق على حل مُشرف عليه.
تقوم آلة المتجهات الداعمة الأولية بتعيين تصنيفات مؤقتة (تصنيفات زائفة) لجميع الأمثلة غير المُصنّفة بناءً على الجانب الذي تقع فيه من الحد الفاصل الحالي. تسمح هذه التصنيفات الزائفة للنقاط غير المُصنّفة بالمشاركة في تعظيم الهامش على الرغم من أن تصنيفها الحقيقي غير معروف.
الهدف الأساسي لآلة المتجهات الداعمة شبه المُشرف عليها هو تقليل خسارة المفصلة (hinge loss) على الأمثلة المُصنّفة وخسارة المفصلة الزائفة على الأمثلة غير المُصنّفة بشكل مشترك مع تعظيم الهامش. يتحكم معامل الموازنة C* في مدى قوة تأثير النقاط غير المُصنّفة على الحد الفاصل، مما يوازن بين استغلال البنية في البيانات غير المُصنّفة ومطابقة البيانات الحقيقية المُصنّفة.
الصيغة
\min_{w,b,y^*} \frac{1}{2}\|w\|^2 + C\sum_{i}\xi_i + C^*\sum_{j}\xi_j^*نظرًا لأن التصنيفات الزائفة قد تكون خاطئة، فإن الخوارزمية تتكرر: تعيد تعيين التصنيفات الزائفة باستخدام الحد الفاصل المُحدّث وتعيد حل التحسين المشترك. يؤدي تبديل الأمثلة غير المُصنّفة التي تم تعيينها بشكل خاطئ إلى الفئة المقابلة وإعادة التحسين إلى تحريك الحد الفاصل تدريجيًا إلى فجوات ذات كثافة منخفضة في البيانات.
بمجرد الوصول إلى التقارب، يتم تصنيف الأمثلة الجديدة عن طريق إشارة دالة القرار الخطية المُتعلّمة. يتم وضع المستوى الفاصل الناتج في منطقة ذات كثافة منخفضة لتوزيع البيانات الكامل، مما يعطي تعميمًا أفضل على الأمثلة المحجوزة مقارنة بآلة متجهات داعمة مُشرف عليها بالكامل تم تدريبها على نفس مجموعة البيانات المُصنّفة الصغيرة.
الصيغة
f(x) = \text{sign}(w^\top x + b)الأخطاء الشائعة
- افتراض أن البيانات غير المُصنّفة تساعد دائمًا - إذا تم انتهاك افتراض التجمّع، يمكن أن تؤدي آلة المتجهات الداعمة شبه المُشرف عليها أداءً أسوأ من آلة متجهات داعمة مُشرف عليها.
- استخدام C* كبيرة جدًا مقارنة بـ C، مما يؤدي إلى زيادة وزن النقاط غير المُصنّفة والسماح للحد الفاصل بالانحراف بعيدًا عن الإشارة المُصنّفة.
- إهمال التحقق من صحة مجموعة بيانات مُصنّفة محجوزة، مما يجعل من المستحيل اكتشاف متى أضرت البيانات غير المُصنّفة بالأداء.
- تطبيق آلة المتجهات الداعمة شبه المُشرف عليها عندما تأتي البيانات المُصنّفة وغير المُصنّفة من توزيعات مختلفة (انحراف تلازمي)، مما ينتهك افتراضات الطريقة.
الأسئلة الشائعة
كيف تختلف آلة المتجهات الداعمة شبه المُشرف عليها عن آلة المتجهات الداعمة القياسية؟
تستخدم آلة المتجهات الداعمة القياسية البيانات المُصنّفة فقط لوضع حدها الفاصل. تدمج آلة المتجهات الداعمة شبه المُشرف عليها بالإضافة إلى ذلك أمثلة غير مُصنّفة عن طريق اشتراط مرور الحد الفاصل عبر مناطق ذات كثافة منخفضة لتوزيع البيانات الكامل، مما يحسن التعميم عندما تكون البيانات المُصنّفة نادرة.
ما هو افتراض التجمّع ولماذا هو مهم؟
ينص افتراض التجمّع على أن الحد الفاصل يقع في منطقة ذات كثافة بيانات منخفضة، مما يعني أن الفئات تشكل تجمعات منفصلة. تستغل آلة المتجهات الداعمة شبه المُشرف عليها هذا عن طريق توجيه الحد الفاصل بعيدًا عن المناطق الكثيفة. إذا تداخلت الفئات بشدة، يفشل هذا الافتراض ويمكن للبيانات غير المُصنّفة أن تضلل النموذج.
كيف أختار معامل الوزن غير المُصنّف C*؟
يتحكم C* في مدى قوة تأثير الأمثلة غير المُصنّفة على الهامش. استراتيجية شائعة هي البدء بـ C* أصغر بكثير من C وزيادتها تدريجيًا مع مراقبة دقة التحقق من الصحة على مجموعة بيانات مُصنّفة صغيرة محجوزة، والتوقف قبل تدهور الأداء.
هل يمكن لآلة المتجهات الداعمة شبه المُشرف عليها التعامل مع الحدود غير الخطية؟
نعم. مثل آلات المتجهات الداعمة القياسية، تدعم آلة المتجهات الداعمة شبه المُشرف عليها دوال النواة (مثل RBF، متعددة الحدود، إلخ) التي تقوم بتعيين البيانات ضمنيًا إلى مساحات ذات أبعاد أعلى حيث يصبح الحد الفاصل الخطي غير خطي في مساحة الميزات الأصلية.
متى يجب أن أفضل التدريب الذاتي أو انتشار التصنيف على آلة المتجهات الداعمة شبه المُشرف عليها؟
التدريب الذاتي أبسط في التنفيذ ويتوسع بشكل أفضل لمجموعات البيانات الكبيرة غير المُصنّفة؛ فضله عندما تكون الموارد الحسابية محدودة. انتشار التصنيف يعمل بشكل جيد على البيانات ذات البنية البيانية. تُفضل آلة المتجهات الداعمة شبه المُشرف عليها عندما تريد ضمانات الهامش الأقصى ومن المحتمل أن يكون افتراض التجمّع مُرضيًا.
طرق ذات صلة
المصادر
Joachims, T. (1999). Transductive Inference for Text Classification using Support Vector Machines. Proceedings of the 16th International Conference on Machine Learning (ICML), 200–209.
افتح مرجع المنشورتم النسخ.Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.
ردمك: 978-0-262-03358-9تم النسخ.