الانتقال إلى المحتوى
العودة إلى نتائج البحث

آلة المتجهات الداعمة (التصنيف)

قدّمه
Cortes, C. & Vapnik, V.
السنة
1995
النوع
Maximum-margin classifier (kernel method)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

آلة المتجهات الداعمة (SVM)، التي قدمتها كورينا كورتيس وفلاديمير فابنيك عام 1995، هي مصنف يجد المستوى الفائق الفاصل الأمثل بين الفئات في فضاء عالي الأبعاد. تختار الحدود التي تترك أوسع هامش ممكن لأقرب نقاط التدريب، مما يجعل قراراتها قوية على البيانات الجديدة.

الفكرة الحدسية وراء الطريقة

تخيل فصل مجموعتين من النقاط بحد مستقيم. يمكن للعديد من الخطوط القيام بذلك، لكن SVM تبحث عن الخط الموضوع بأبعد ما يمكن عن أقرب نقاط لكل فئة - 'الشارع' الأوسع بينهما. فقط تلك النقاط الأقرب، وهي المتجهات الداعمة، تشكل الحدود فعليًا؛ كل ما هو أبعد غير ذي صلة. عندما لا يمكن فصل الفئات بخط مستقيم، فإن النواة تعيد تشكيل الفضاء بحيث يصبح الفصل النظيف ممكنًا.

التاريخ

تم تقديم آلة المتجهات الداعمة (SVM) بواسطة كورينا كورتيس وفلاديمير فابنيك في ورقتهما البحثية عام 1995 بعنوان 'شبكات المتجهات الداعمة'، والتي جمعت بين فكرة الهامش الأقصى مع خدعة النواة للتعامل مع البيانات غير القابلة للفصل خطيًا. أصبحت واحدة من أكثر طرق التصنيف تأثيرًا في عصرها ومعيارًا قياسيًا للتعلم المراقب عالي الأبعاد.

متى تُستخدم

استخدم SVM للتصنيف الثنائي أو الفئوي على البيانات الجدولية مع حوالي 50 ملاحظة أو أكثر، خاصة عندما يكون فضاء الميزات عالي الأبعاد وتكون دقة التنبؤ أكثر أهمية من المعاملات الصريحة. لا تتطلب بيانات موزعة طبيعيًا، ولكن يجب توحيد الميزات ويجب ضبط النواة و C عن طريق التحقق المتقاطع. على العينات الصغيرة جدًا، فضل مصنفًا أبسط مثل الانحدار اللوجستي أو بايز الساذج.

الحدود والاعتبارات

  • حساسة لاختيار النواة ومعامل C، والتي يجب ضبطها عن طريق التحقق المتقاطع.
  • تتطلب توحيدًا دقيقًا للميزات؛ الميزات غير المقيّسة تشوه الهامش.
  • تصبح غير مستقرة على العينات الصغيرة، حيث توجد متجهات داعمة قليلة جدًا لتحديد حدود موثوقة.
  • لا توفر معاملات قابلة للتفسير بشكل مباشر ولا تقديرات احتمالية فئة أصلية.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • فعالة في فضاءات الميزات عالية الأبعاد، حتى عندما يكون عدد الميزات أكبر من قدرة نموذج بسيط.
  • مبدأ الهامش الأقصى واستخدام المتجهات الداعمة فقط يعطيان حدودًا قوية وقابلة للتعميم.
  • تسمح النوى بالتقاط حدود الفئات غير الخطية دون هندسة ميزات جديدة يدويًا.
  • افتراضات قليلة: لا تتطلب بيانات موزعة طبيعيًا.

التطبيقات

  • تصنيف ثنائي ومتعدد الفئات على البيانات الجدولية.
  • مشاكل التصنيف عالية الأبعاد حيث تفوق الميزات قدرة نموذج بسيط.
  • مهام التنبؤ حيث يكون الحد الفاصل الواضح والقوي أكثر أهمية من المعاملات القابلة للتفسير.
  • مشاكل ذات حدود فئات غير خطية، يتم معالجتها من خلال دوال النواة.

كيف يعمل

كيف يعمل

1

تبحث SVM عن المستوى الفائق الذي يفصل الفئات بأكبر هامش - أكبر مسافة إلى أقرب نقاط البيانات على كلا الجانبين. تلك النقاط الأقرب هي المتجهات الداعمة، وهي وحدها تحدد مكان وجود الحدود. يميل الهامش الواسع إلى التعميم بشكل أفضل على البيانات غير المرئية مقارنة بالحدود المتقاربة مع نقاط التدريب.

2

عندما لا تكون الفئات قابلة للفصل خطيًا، تقوم دالة النواة (مثل دالة الأساس الشعاعي) بتعيين الميزات ضمنيًا إلى فضاء عالي الأبعاد حيث يوجد مستوى فائق فاصل. هذا هو السبب في ضرورة توحيد الميزات أولاً (يلزم استخدام StandardScaler)، ولماذا يجب اختيار النواة ومعامل التنظيم C عن طريق التحقق المتقاطع.

3

يتم العثور على الحدود عن طريق تقليل الهدف أعلاه: فهو يقلل متجه الوزن (مما يوسع الهامش) مع دفع غرامة C لكل نقطة تقع على الجانب الخاطئ أو داخل الهامش (المرونة ξ). يتطلب C الكبير ملاءمة محكمة لبيانات التدريب؛ يتسامح C الصغير مع المزيد من الانتهاكات للحصول على هامش أوسع وأكثر سلاسة. مع الفئات غير المتوازنة، فإن class_weight='balanced' تمنع تجاهل الفئة الأقلية.

الصيغة
\min_{w,b}\; \tfrac{1}{2}\lVert w\rVert^2 + C\sum_i \xi_i

الأخطاء الشائعة

  • ملاءمة SVM على الميزات الخام غير المقيّسة بدلاً من توحيدها أولاً.
  • قبول قيم النواة و C الافتراضية بدلاً من اختيارها بالتحقق المتقاطع (مثل البحث الشبكي).
  • تجاهل عدم توازن الفئات بدلاً من تعيين class_weight='balanced'.
  • تطبيق SVM على عينة أقل من حوالي 50 ملاحظة، حيث يكون الحد غير مستقر وعرضة للتجاوز.
  • الإبلاغ عن الدقة فقط بدون مصفوفة الارتباك، الدقة/الاستدعاء/F1، و ROC-AUC.

الأسئلة الشائعة

لماذا يجب عليّ توحيد الميزات؟

تقيس SVM المسافات إلى المستوى الفائق الفاصل، لذا تهيمن الميزات ذات المقاييس الرقمية الأكبر على الهامش. توحيد كل ميزة (StandardScaler) يضعها على مقاييس قابلة للمقارنة بحيث يعكس الحد بنية الفئة الحقيقية بدلاً من الوحدات الاعتباطية.

ماذا يتحكم معامل C؟

يقايض C بين عرض الهامش وأخطاء التصنيف. يجبر C الكبير على ملاءمة محكمة لبيانات التدريب بهامش ضيق؛ يسمح C الصغير بمزيد من انتهاكات الهامش مقابل حدود أوسع وأكثر سلاسة. يتم العثور على القيمة الصحيحة عن طريق التحقق المتقاطع.

ما هي وظيفة النواة؟

عندما لا يمكن فصل الفئات بحد مستقيم، تقوم النواة (مثل دالة الأساس الشعاعي) بتعيين البيانات ضمنيًا إلى فضاء عالي الأبعاد حيث يوجد مستوى فائق فاصل، مما يسمح لـ SVM بنمذجة الحدود غير الخطية. يجب التحقق من اختيار النواة عن طريق التحقق المتقاطع.

متى لا ينبغي لي استخدام SVM؟

على العينات الصغيرة جدًا - أقل من حوالي 50 ملاحظة - هناك عدد قليل جدًا من المتجهات الداعمة لتحديد حدود مستقرة ولا توجد بيانات كافية لضبط النواة و C، لذا يخاطر النموذج بالتجاوز. في هذه الحالة، يفضل مصنف أبسط مثل الانحدار اللوجستي أو بايز الساذج.

طرق ذات صلة

المصادر

  1. Cortes, C. & Vapnik, V. (1995). Support-Vector Networks. Machine Learning, 20, 273–297.

    افتح مرجع DOI
    تم النسخ.